Потомок древних князей-Рюриковичей, принадлежавший к линии тарусских князей, внуков святого Михаила Черниговского, П. М. Волконский родился в Санкт-Петербурге, в семье бригадира князя Михаила Петровича Волконского и княжны Елизаветы Петровны Макуловой. Службу начал в конной гвардии, затем был переведен в лейб-гвардии Семеновский полк, где в 1793 г. получил свой первый офицерский чин. Будучи с 1797 г. полковым адъютантом Семеновского полка, сблизился с его шефом великим князем Александром Павловичем и принял участие в подготовке дворцового переворота 11 марта 1801 г., который привел Александра на российский престол. После переворота Петр Волконский получил чин генерал-майора и был назначен помощником начальника военно-походной его императорского величества канцелярии, а в день коронации Александра I стал генерал-адъютантом.
В кампанию 1805 г. Волконский состоял дежурным генералом и генерал-квартирмейстером при командующем русским вспомогательным корпусом генерале Ф. Ф. Буксгевдене, а после соединения с главными силами русской армии под командованием М. И. Кутузова дежурным генералом объединенной русско-австрийской армии. Под Аустерлицем Волконский отличился, показав необычайное мужество и присутствие духа. Когда бригада С. М. Каменского, атаковавшая Праценские высоты, была отброшена превосходящими силами противника, он, взяв знамя Фанагорийского полка, пошел в атаку на французов. Фанагорийцев поддержали солдаты Рижского пехотного полка и в едином порыве ударили на неприятеля. Трижды французы контратаковали и трижды русские отбрасывали их назад. Кутузов, на глазах которого все это происходило, писал впоследствии Александру I: «В Аустерлицком сражении князь Волконский оказал достоинства, кои при несчастии более видны, нежели при счастливом сражении. Он не только отличался храбростью, но благоразумием и сохранением всего нужного при подобных случаях хладнокровия, способствуя под самым огнем неприятельским троекратно к собранию людей Фанагорийского и Рижского полков, с которыми и мог я в некотором порядке ретироваться». За этот бой князь Волконский был удостоен ордена св. Георгия 3-й степени.
По завершении военных действий Петр Михайлович сопровождал Александра I на мирные переговоры с Наполеоном в Тильзите, после которых был направлен во Францию для изучения опыта французской армии и устройства французского генерального штаба. Пользуясь расположением Наполеона, сопровождал его на всех военных маневрах и смотрах.
В 1810–1812 гг. Волконский управлял квартирмейстерской частью; стал одним из организаторов службы Генерального штаба. В эти годы он возглавил разработку «Руководства к отправлению службы чиновниками дивизионного генерал-штаба», участвовал в работе над «Учреждением для управления большой действующей армией». Петр Михаилович стал инициатором создания карты России и карт некоторых иностранных государств, был основателем Петербургского военного училища колонновожатых и библиотеки Генштаба.
С началом Отечественной войны 1812 г. князь сопровождал императора в действующую армию и был в числе лиц, подавших свой голос за оставление укрепленного Дрисского лагеря, едва не погубившего всю армию. После оставления Москвы был послан императором к Кутузову для выяснения всех обстоятельств сдачи города. Затем находился в войсках П. X. Витгенштейна и П. В. Чичагова, участвовал в сражении при Сгудянке и разгроме остатков наполеоновской армии при Березине. С декабря 1812 г. Волконский был начальником главного штаба действующей армии при фельдмаршале Кутузове, а после его смерти находился при Александре I и сыграл важную роль в планировании военных действий в заграничных походах русской армии в 1813–1815 гг., и прежде всего в сражениях при Лейпциге и Кульме. Несмотря на противодействие австрийского командования, он настоял на наступлении союзных войск на Париж и лично принял участие в его взятии, сопровождал Александра I в Париж и на Венский конгресс. После возвращения Наполеона с острова Эльба на князя Волконского было возложено руководство русскими войсками от Вислы до Рейна в составе 225 тысяч человек, но поражение Наполеона при Ватерлоо от войск союзников остановило движение русских корпусов к границам Франции.
В 1815 1823 гг. Волконский был начальником императорского Главного штаба и фактически возглавлял управление русской армией. В 1817 г. Волконскому был дан чин генерала от инфантерии, с 1821 г. он стал членом Государственного совета, а в 1823 г. был награжден орденом св. Андрея Первозванного, однако в том же году, после столкновения с Аракчеевым по поводу сметы военного министерства, подал в отставку. В следующем году вернулся на службу и был направлен чрезвычайным послом во Францию на коронацию Карла X, а затем сопровождал императора во всех его поездках по России и странам Европы. В 1825 г. Петр Михайлович находился при умирающем Александре I в Таганроге.
Император Николай I в день своей коронации назначил Петра Михайловича министром Императорского двора и уделов и заведующим Императорским кабинетом. Эти должности князь Волконский занимал до самой своей смерти. 30 августа 1834 г., в день открытия Александровской колонны, Волконскому был пожалован титул светлейшего князя. В царствование Николая I он занимал высшие государственные и военные должности: с 1837 г. — генерал-инспектор всех запасных войск, с 1842 г. — канцлер Российской империи и всех императорских орденов; участвовал в работе различных правительственных комиссий и комитетов. С 1831 г. был членом комиссии по постройке Исаакиевского собора в Санкт-Петербурге, а в 1839 г. — ее председателем. В 1850 г. П. М. Волконский получил чин генерал-фельдмаршала, до этого не дававшийся российским подданным более двадцати лет.
По свидетельству современников, Волконский отличался педантичностью и твердостью характера, за что получил в светском обществе прозвище «каменный князь». Скончался в Санкт-Петербурге и похоронен во Введенской церкви лейб-гвардии Семеновского полка. Был женат на своей дальней родственнице княжне Софье Григорьевне Волконской и имел двоих сыновей и дочь.