Как сын фельдмаршала М. М. Голицына, Александр был еще при рождении записан солдатом в гвардию и, достигнув совершеннолетия, стал капитаном лейб-гвардии Преображенского полка. В 17 лет был отправлен за границу, в армию принца Евгения Савойского, чтобы более глубоко изучить военное дело. В рядах австрийской армии молодой князь получил и свое боевое крещение.
Вернувшись в Россию, Голицын был определен в дипломатическую службу и в 1740 г. отправлен в свите посла А. И. Румянцева в Константинополь, а затем пожалован в камергеры и назначен полномочным министром (послом) в Саксонию. В 1744 г. произведен в генерал-поручики.
В знаменитом сражении Семилетней войны при Кунерсдорфе Голицын командовал левым крылом русской армии. 1 августа 1759 г. прусский король Фридрих II начал сражение, открыв сильный перекрестный огонь из своих батарей по русским позициям, особенно по левому флангу, предводимому князем Голицыным. Прусские войска пошли в атаку и вытеснили русских из окопов; не выдержав такого сильного натиска, они отступили. Голицын был ранен и вынужден сдать командование. Несмотря на первую неудачу, сильно эшелонированная русская армия перешла в контрнаступление во фронт и фланг и опрокинула армию Фридриха, а кавалерия Румянцева довершила разгром. Из 48 тысяч солдат прусскому королю не удалось собрать после сражения и десятой части. Императрица Елизавета Петровна в числе других отличившихся наградила Голицына орденом св. Александра Невского и произвела его в чин генерал-аншефа.
Вернувшись в 1761 г. с войны, Александр Михайлович получил в командование войска, расположенные в Ливонии. В день коронации Екатерины II он был награжден орденом св. Андрея Первозванного, произведен в генерал-адъютанты и назначен членом Совета при высочайшем дворе. С началом русско-турецкой войны 1768–1774 гг. был назначен главнокомандующим 1-й армией, с которой в апреле 1769 г. перешел Днестр и двинулся к Хотину, разбив 19 апреля под крепостью 40-тысячный турецкий корпус Караман-паши. Потеряв под Хотином даром время и не будучи в состоянии взять крепость, армия Голицына отступила за Днестр из-за недостатка продовольствия и целый месяц простояла без действия в Подолии; исключительно благоприятный момент для наступления был упущен. Тем временем великий визирь с 200 тысячами турок и татар переправился через Дунай у Исакчи и двинулся в Бессарабию. Он действовал так же вяло, как и его противник Голицын, и целый месяц, до середины июня, простоял на Пруте. Узнав об усилении турок в Хотине, командующий снова подошел к крепости. 24 июня он переправился через Днестр, отбил у села Пашкивцы атаку 80-тысячного турецко-татарского войска и полностью блокировал Хотин. Получив известие о прибытии войск сераскира Молдаванчи-паши и крымского хана Девлет-Гирея, Голицын снова снял осаду и отступил. Командующий 1-й армией счел цель похода — отвлечение турецких сил от Новороссии — достигнутой. Нерешительность князя побудила императрицу отозвать его из армии, которая была поручена Румянцеву. В рескрипте Екатерины II от 13 августа говорилось: «Князь Александр Михайлович! Отзывая вас от армии, хочу Я с вами объясниться, дабы вы отнюдь пе приняли с Моей стороны за гнев, но единственно, как оно и в самом деле есть, за обстоятельства, выходящие из положения дел Моих, кои требуют вашего присутствия здесь…»
Еще до сдачи командования Румянцеву князь Голицын нанес поражение Молдаванчи-паше, назначенному великим визирем. 29 августа великий визирь переправился через Днестр с 80-тысячным войском, но был сброшен Голицыным в реку, а отправленный 5 сентября за Днестр для фуражирования 12-тысячный турецкий отряд был полностью уничтожен. Через несколько дней от деморализованной турецкой армии осталось всего 5 тысяч человек. Но Голицын снова не воспользовался столь благоприятной обстановкой. Он без боя занял Хотин, брошенный турками, где захватил 163 пушки, а затем вступил в Яссы, по снова, третий раз за кампанию, отступил за Днестр.
Сдав армию Румянцеву, Голицын возвратился в Санкт-Петербург, где 20 октября 1769 г. был произведен в генерал-фельдмаршалы, а по заключении Кючук-Кайнарджийского мира ему была пожалована украшенная алмазами шпага с надписью: «За очищение Молдавии до самых Ясс». В октябре этого же года князь был назначен губернатором Санкт-Петербурга, а с 1775 г. стал сенатором. С учреждением в 1782 г. ордена св. Владимира в числе десяти заслуженных вельмож Голицын был удостоен его 1-й степени.
11 октября следующего года он скончался в Санкт-Петербурге. Состоял в браке с княжной Дарьей Алексеевной Гагариной, но детей не имел.