Под утро 25 ноября Елизавета привезла в свой дворец не только низложенного императора-младенца, но и его родителей — Антона-Ульриха и Анну Леопольдовну, где их взяли под арест. Кроме герцогской четы, были арестованы еще шесть человек: Юлия Менгден, Головкин, Остерман, Миних, Левенвольде и Лопухин.
Чтобы навсегда расстаться с Брауншвейгской фамилией, забегая вперед, скажем, что сначала их всех решили выслать на родину, но, довезя до Риги, посадили там в крепость, а затем стали перевозить как арестантов из одного острога в другой.
Анна Леопольдовна умерла от неудачных родов 7 марта 1746 года в Холмогорах, под Архангельском, На двадцать восьмом году жизни. На руках Антона-Ульриха осталось пятеро детей — Иван, Петр, Алексей, Елизавета и Екатерина. Обращало на себя внимание и то, что имена детей были родовыми, царскими, и даже это, казалось, таило в себе определенную опасность.
Мертвую Анну Леопольдовну, по приказу Елизаветы, увезли в Петербург и там торжественно похоронили в Благовенской церкви Александро-Невского монастыря, объявив, что причиной смерти была горячка-«огневица», а не роды, так как появление на свет еще нескольких претендентов на трон нужно было скрыть. А в 1756 году у Антона-Ульриха забрали шестнадцатилетнего сына Ивана и увезли в Шлиссельбург, в одиночный каземат, не сказав, разумеется, несчастному отцу, куда и зачем увозят от него сына.
Когда в 1762 году, более чем через двадцать лет после ареста «Брауншвейгской фамилии» на трон взошла Екатерина II, Антону-Ульриху была предложена свобода, при условии, что все его дети останутся там же, где и жили — в Холмогорах. Однако Антон-Ульрих отказался оставить детей и не поехал в Данию, где королевой была его родная сестра Юлиана-Мария. Он предпочел неволю с детьми одинокой жизни без них на воле и в достатке. От горя и нервных потрясений, от страданий и тоски по своему первенцу — Ивану Антоновичу, о чьей судьбе ему ничего не было известно, Антон-Ульрих ослеп. Он умер 4 мая 1774 года в Холмогорах в возрасте шестидесяти лет. Место его захоронения неизвестно.
О судьбе Ивана Антоновича будет рассказано дальше, что же касается его братьев и сестер, то судьба их была такова: проведя сорок лет в заточении и ссылке, в 1780 году они были освобождены и отправлены из Ново-Двинской крепости в датский город Горсенс. Там они и доживали свой век, получая ежегодную пенсию от Екатерины по восемь тысяч рублей в год на каждого. Да только не всем им оставалось долго жить — через два года умерла Елизавета, еще через пять — Алексей.
Петр прожил на свободе восемнадцать лет и умер в 1798 году. Последней осталась одинокая, глухая и косноязычная Екатерина, к тому же умевшая говорить только по-русски. Она долго просилась обратно в Россию, чтобы умереть монахиней в одном из монастырей, ибо и по крещению была православной, но ей было отказано. Екатерина умерла последней, 9 апреля 1807 года.