Иосиф Владимирович Гурко принадлежал к дворянскому роду, происходящему из Белоруссии и известному со второй половины XVI в. Окончив Пажеский корпус, в 1846 г. был выпущен корнетом в лейб-гвардии Гусарский полк. Участвовал в Крымской войне 1853–1856 гг. В 1862–1866 гг. состоял флигель-адъютантом свиты Александра II, выполняя административные поручения по проведению крестьянской реформы в Самарской, Вятской и Калужской губерниях. С 1866 г. командовал 4-м гусарским Мариупольским полком, ас 1869 по 1874 г. — лейб-гвардии Конно-гренадерским полком и одновременно — бригадой 2-й гвардейской кавалерийской дивизии. В 1875–1877 гг. — начальник этой же дивизии.
В русско-турецкой войне, командуя передовым отрядом, Гурко совершил в июле успешный переход через Балканы и освободил значительную часть Болгарии. 25 июня его части вступили в Тырново — древнюю столицу Болгарии. Заняв Тырново, генерал Гурко двинулся на Казанлык, в обход Шипкинского перевала. В сильную жару по горным тропам передовой отряд прошел за 6 дней 120 верст. Двойная атака Шипки с севера и с юга успехом не увенчалась. Тем не менее известие о подходе русских войск привело противника в такое замешательство, что заставило его покинуть свои позиции и оставить Шипку; брошена была и вся артиллерия. 8 июля 1877 г. генерал-адъютант Гурко в чине генерал-лейтенанта был награжден орденом св. Георгия 3-й степени за взятие Казанлыка и Шипки.
К середине июля против войск Радецкого и Гурко выдвинулась армия Сулеймана-паши, усиленная до 45 тысяч человек. 16 июля отряд Гурко разбил стоявшую отдельно от главных сил 13-тысячную турецкую дивизию Реуфа при 24 орудиях, однако после подхода главных вражеских сил вынужден был отойти, удержав только стратегически важный Шипкинский перевал.
В сентябре — октябре Гурко был начальником кавалерии Западного отряда, куда вошла и его дивизия. Он выдвинул план решительных действий, для выполнения которого ему были подчинены войска гвардии. 12 октября Гурко штурмовал Горный Дубняк, занятый после кровопролитного боя. Атака на Телиш вначале была отражена, но после сильного артиллерийского обстрела 16 октября он сдался. Огонь гвардейской артиллерии и по Горному Дубняку был настолько интенсивен, что если бы атака была отложена на полчаса, крепость сдалась бы без боя. 23 октября Гурко был награжден золотой саблей «за храбрость», украшенной бриллиантами, за бои у деревень Горный Дубняк и Телиш 12 и 16 октября.
26 октября Гурко представил на рассмотрение императора план, по которому необходимо было выделить из-под Плевны гвардию и двинуть ее к Софии, разбив по частям формирующуюся Софийскую турецкую армию. 10 и И ноября Гурко разгромил передовые части Мехмеда-Али у Новачина, Правда и Этрополя, однако главное командование приостановило дальнейшее продвижение вперед его отряда. В декабре отряд Гурко, доведенный до 60 тысяч человек при 318 орудиях, начал труднейший переход через Балканы, считавшиеся зимой непроходимыми. Переход длился 8 дней. Позиция турок на Орханийском перевале была взята двойным охватом. 19 декабря гвардия, атакуя по колено в снегу, сбила турок у Ташкиссена. а на следующий день — у Горного Бугарова. В этот же день большая часть Западного отряда вышла в Комарницкую долину, по ту сторону Балканских гор. 23 декабря русские войска заняли Софию.
С 3 по 5 января 1878 г. русские части под командованием Гурко разбили у Филиппополя турецкую армию Сулеймана-паши. 3 января в сильнейший мороз русские перешли реку Марицу и целый день вели бой, ожидая подхода главных сил. 4-го утром был взят Филиппополь, а к 5-му числу турки были окончательно разгромлены, потеряв 20 тысяч человек и 114 орудий — всю свою артиллерию. После этой победы войска заняли 14 января Адрианополь, а 19 января там было подписано перемирие. 22 января 1879 г. генерал от инфантерии Гурко был удостоен ордена св. Георгия 2-й степени «…за личные боевые заслуги и за целый ряд блистательных подвигов, оказанных войска ми, находившимися под его начальством, как при двукратном переходе Балканских гор в 1877 году, так и во всех последующих делах с турками».
После окончания войны Гурко был назначен помощником главнокомандующего войсками гвардии и Санкт Петербургского военного округа. В апреле 1879 г. составил и ввел инструкцию «Порядок исполнения смертных приговоров», которая применялась в конце 70-х — начале 80-х гг. В 1882–1883 гг. командовал войсками Одесского военного округа и исполнял обязанности временного одесского генерал-губернатора. В 1883–1894 гг. под командованием Гурко находились войска Варшавского военного округа, а он занимал должность варшавского генерал-губернатора. В Польше он проводил русификаторскую политику, главным образом в области народного образования. Руководил подготовкой войск и территории округа к войне с державами Тройственного союза. В обучении войск придерживался принципов суворовской школы. По инициативе Гурко было проведено усиление укреплений Иван-города, Новогеоргиевска, Брест-Литовска и Варшавы, создан Варшавский укрепленный район, линия новых укрепленных пунктов; он также уделял внимание строительству в крае стратегических дорог. Одновременно с исполнением этих обязанностей Гурко состоял с 1884 г. членом Государственного совета.
Принимая в декабре 1894 г. отставку Иосифа Владимировича, император Николай II за долгую и добросовестную службу наградил его чином генерал-фельдмаршала. Последние годы жизни он провел в своем имении. Скончался в селе Сахарове Ржевского уезда Тверской губернии.