Разработка небольшого пассажирского реактивного самолета в КБ Туполева началась в июле 1958 года после соответствующего постановления Совета Министров. Новая машина предназначалась для «связи столицы с республиканскими областными и крупными промышленными центрами и связи между ними, а также для полетов на международных линиях».
Внешне Ту-124 чрезвычайно напоминал уменьшенный в размерах Ту-104. Но у этих самолетов были существенные различия: новый самолет имел более прочные крылья и оснащался двухконтурными турбореактивными двигателями Д-20П конструкции П.А. Соловьева. Эти моторы выпускались в Перми и обладали немалыми преимуществами перед предшественниками. Ту-124 стал одним из первых в мире пассажирских самолетов с двигателями такого типа (американские «Douglas DC-8—40» и «Boeing-707—120B» появились чуть раньше).
Длина Ту-124 – 31,5 метра, размах крыла – 25,5 метра, высота – 8 метров, взлетная масса – 38 тонн, скорость – 970 километров в час, дальность полета – 1200 километров, потолок – 11 700 метров. Вместимость первой версии – 44 пассажира.
24 марта 1960 года самолет выполнил первый полет (летчик А.Д. Калина). К испытаниям, памятуя большую аварийность Ту-104, подходили весьма тщательно, но выяснилось, что Ту-124 более устойчив, чем его «старший брат», и не склонен срываться в штопор. Благодаря новым двигателям заметно снизился и уровень шума в салоне. 2 октября 1962 года началась регулярная эксплуатация самолета на линии Москва – Таллин, в ноябре – Москва – Ульяновск, в декабре – Москва – Вильнюс и т. д. В апреле 1964 года Ту-124 вышли на международную линию Москва – Варшава, а в дальнейшем они летали также в Белград, Хельсинки и Стокгольм.
Первая версия самолета, 44-местный Ту-124, выпускалась до 1963 года. С 1964 года производился 56-местный Ту-124В, под параметры которого затем переделали и ранние самолеты. Существовали «салонные» варианты Ту-124К, транспортно-санитарный Ту-124ТС, планировалась постройка военно-транспортной версии Ту-127. Для подготовки штурманов военной авиации строились Ту-124Ш.
Ту-124 очень напоминал уменьшенный в размерах Ту-104
В первой половине 1960-х Ту-124 наряду с турбовинтовым Ан-24 закрывал нишу среднемагистральных пассажирских самолетов СССР и считался вполне современной машиной. У него не было такой «аварийной» репутации, как у Ту-104 или Ан-10, несмотря на то что в 1960-х с участием Ту-124 произошло несколько катастроф. Самым резонансным происшествием был инцидент с посадкой Ту-124 на Неву 21 августа 1963 года. Тогда самолет летел из Таллина в Ленинград, но носовую стойку шасси заклинило. Экипаж (командир В.Я. Мостовой, второй пилот В.Г. Чеченев, штурман В. Царёв, бортмеханик В. Смирнов, бортрадист И. Беремин) принял решение садиться в аэропорту Пулково и больше часа летал над Ленинградом, вырабатывая топливо. Однако затем внезапно остановился один двигатель, а потом и второй. Не потеряв самообладания, экипаж за 14 секунд мастерски спланировал с высоты 500 метров и, пролетев в четырех метрах над мостом Александра Невского, посадил Ту-124 на поверхность Невы. В ходе происшествия ни один из 52 находившихся на борту пассажиров не пострадал, всех их эвакуировали. Самолет к следующему утру затонул и впоследствии был списан.
Принято считать, что на судьбу Ту-124 оказало влияние высказывание Н.С. Хрущёва, весной 1960 года возмущенного большим шумом от близко расположенных к фюзеляжу двигателей и приказавшего ставить моторы «в хвост» самолета, как на французской «Каравелле». Действительно, уже в августе 1960-го начались работы по Ту-124А, у которого двигатели были установлены рядом с хвостовым оперением, – прообразу будущего Ту-134 (см. отдельную статью), в 1963-м он совершил первый полет. Однако это вовсе не означало, что эксплуатация Ту-124 на этом и завершилась. Самолеты продолжали летать все 1960-е и 1970-е, хотя их количество неуклонно сокращалось. К концу 1970-х в строю осталось всего девять машин, все они числились в Казанском авиаотряде. Их судьба была решена после катастрофы 28 августа 1979 года, когда Ту-124, летевший по маршруту Одесса – Киев – Казань, разрушился в воздухе, причем погибли 63 человека. После этого полеты самолетов этого типа были запрещены, последний рейс состоялся 15 сентября 1979-го. Штурманские учебные Ту-124Ш использовались в ВВС до 1983 года.
Наряду с СССР, самолет эксплуатировался также в Чехословакии, ГДР и Китае (по три машины), Ираке (две машины), Индии. Дольше всех пролетали иракские Ту-124 – до 1991 года.
Всего до 1966 года в Харькове было выпущено относительно небольшое количество Ту-124 – 165, из них 17 были потеряны в авариях. Некоторые такие самолеты сохранились в музеях: Ту-124 можно видеть в Монине, Ульяновске, Луганске, китайском музее авиации, индийских Дели и Лакнау. В 1984 году Ту-124 был установлен в качестве памятника на родине своего создателя А.Н. Туполева, в городе Кимры. В 2018 году этот самолет был капитально отреставрирован.