Свое происхождение род фон Эльмптов ведет от баронов, имеющих немецкое происхождение. Иван Эльмпт родился в городе Клеве и по окончании обучения вступил на военную службу во Франции, где к 24 годам дослужился до чина майора. В 1749 г. перешел на службу России с понижением в один чин, но благодаря настойчивости и усердию к службе уже в 1755 г. был полковником. Проявил храбрость в сражениях Семилетней войны, за что был награжден чинами бригадира и генерал-майора и назначен генерал-квартирмейстером.
С началом русско-турецкой войны в чине генерал-поручика Эльмпт командовал 10-тысячным корпусом в армии генерал-аншефа князя Голицына. В конце лета назначенный великим визирем Молдаванчи-паша получил повеление овладеть Подолией. С 80 тысячным авангардом он переправился через Днестр и двинулся к Каменцу, но 29 августа его войско было разгромлено Голицыным и отброшено обратно за Днестр. Действия Эльмпта в атом сражении заслужили похвалу главнокомандующего. К 10 сентября Эльмпт со своим корпусом в числе других войск занял покинутый турками пустой Хотин, а 26 сентября вступил в Яссы, где привел местное население к присяге на подданство России; был награжден орденом св. Александра Невского.
В эти же годы Эльмпт командовал частями в войне с польскими конфедератами, а в 1772 г. — корпусом на границе со Швецией. Несколько раз уходил со службы в бессрочный отпуск, продолжавшийся иногда до четырех лет. Несмотря на длительные перерывы в службе, 24 ноября 1780 г. был произведен в генерал-аншефы.
С началом новой русско-турецкой войны Эльмпт поступил под команду фельдмаршала Румянцева, получив 3-ю дивизию, насчитывавшую 7 тысяч человек. В кампанию 1788 г. переправился через Днестр в Коснице ниже Сороки, а затем прикрывал основные силы графа Салтыкова, осаждавшие Хотин, и отбил татарскую конницу, пытавшуюся пробиться к крепости. К зиме русские войска заняли северную часть Молдавии и расположились в районе между Яссами и Кишиневом. Генерал-аншеф Эльмпт со своей дивизией находился у Ясс, которые затем были переданы австрийским союзникам.
В последние годы царствования Екатерины II Иван Карпович командовал войсками, расположенными в Риге. Вступивший на престол в 1796 г. император Павел I переименовал его из генерал-аншефов в генералы от инфантерии и назначил командиром Лифляндской дивизии и шефом Санкт-Петербургского гренадерского полка, а в день своей коронации 5 апреля 1797 г. произвел в генерал-фельдмаршалы и наградил орденом св. Андрея Первозванного, но уже 10 января следующего года уволил в отставку, узнав об отрицательном отношении фельдмаршала к реформам в армии. Получив высшее военное звание, Эльмпт не проявил никаких качеств военачальника, оставаясь всегда на второстепенных должностях.
Скончался И. К. Эльмпт в 1802 г. и похоронен на принадлежавшей ему мызе Свитен в Курляндии. Оставил двоих сыновей и двух дочерей. Его старший сын Филипп фон Эльмпт, будучи в 1793 г. полковником Староингерманландского пехотного полка, одно время считался женихом дочери А. В. Суворова.