Правил с 11 декабря 969 г. до 10 января 976 г.
Цимисхий происходил из малоазиатской аристократии. Его дед Феофил был префектом Месопотамии и прославился в битвах с арабами, а сам Иоанн считался одним из талантливейших полководцев своего времени.
Убийство Никифора, который был прекрасным правителем, не вызвало никаких протестов населения столицы: император не пользовался популярностью (несмотря на его великолепные победы!), поскольку проводил жесткую налоговую политику. Церковь его тоже не слишком жаловала: Никифор резко противился разрастанию церковной собственности, и прежде всего монастырских владений. Он по своей наивности считал, что монахам она ни к чему — ведь их жизнь должна быть скромной и ограничения пойдут им только на пользу.
Однако церковь не преминула воспользоваться создавшейся ситуацией и оказать давление на нового императора. Патриарх потребовал, чтобы убийца покаялся еще до того, как будет коронован, и чтобы Феофано была отстранена от власти и отправлена в ссылку. И это было сделано. Более того, по неписаному соглашению Иоанн отказался от проводившейся его предшественником политики в отношении церковной собственности и отменил принятые Никифором законы. Император взял в жены Феодору, дочь Константина Порфирогенета и тетку мальчиков — соправителей Иоанна.
Несмотря на все старания узаконить новое правление, дело не обошлось без попыток узурпации власти. Самую опасную из них предпринял Варда Фока, который был схвачен и заточен в монастырь на острове Хиос, однако впоследствии ему еще суждено было сыграть важную роль в истории Византии.
В 971 году император повел армию в поход в захваченную киевским князем Святославом Болгарию. Иоанн вытеснил князя с занятых им территорий и осадил его в Силистрии на Дунае, принудив, в конце концов, к капитуляции на очень жестких условиях. Болгария полностью перешла под влияние Византии. На обратном пути в Киев Святослав погиб от рук печенегов.
В 972–975 годах император одержал ряд побед в битвах с арабами в северной Месопотамии, а затем и в Сирии. Он занял Дамаск и значительную часть Палестины (кроме самого Иерусалима) и Финикии.
В 972 году император Оттон II женился на родственнице Иоанна Цимисхия, принцессе Феофано.
Император умер вскоре после того, как возвратился из победоносного похода на Восток. Одни говорили, что он заразился на Востоке какой-то болезнью, другие — что императора отравили.