Втративши Київ, Ізяслав не важився його відбивати власними силами. Слідами Святополка Окаяного, він подався в Польщу й підбехтав Болеслава Сміливого помогти йому. Весною 1069 р. рушив Болеслав з Ізяславом і польським військом на Київ. Проти них вийшов з Військом Всеслав під Білгород, але зневірившись у можливість перемоги, ніччю покинув табор і втік до свого Полоцька. Як говориться в Слову о полку Ігоревому: «діткнувся зброєю золотого київського стола, вовком ніччю проскочив зпід Білгороду, окутаний синьою млою…»
Киянам не було що робити без проводу й вони вернулися до Києва; зразу хотіли здатися на ласку й неласку Ізяслава, але потім роздумали й попробували взяти собі котрогось з князів до помочі. Вони післали до Святослава й Всеволода післанців, які більше-менше сказали їм таке: «Ми зле зробили, що вигнали свого князя, а тепер він веде нас на Польщу. Ідіть до нас на свою батьківщину. Коли не прийдете, то нам не лишається нічого іншого, як запалити місто й іти собі геть, у грецьку землю»… Але ніодин з князів не захотів станути, бодай покищо, проти Ізяслава і сил його польського союзника. Князі відповіли киянам, що вони заступляться за ними перед Ізяславом, а навіть загрозять йому війною, якщо він допустить до нищення Київа польським військом. «Всеслав утік - переповідає літописець посольство Святослава й Всеволода до Ізяслава - тай нема кому противитися. Не веди ляхів у Київ, а коли ти хочеш мститися й нищити місто, то знай, що нам шкода нашої батьківщини!»
Загроза була поважна й Ізяслав увійшов до Київа тільки з малим відділом поляків та Болеславом поклявшись, що міщанам не зробить ніякого лиха. Але він не дарував киянам ворохобні. Виконавцем кари назначив свого старшого сина Мстислава. Сімдесять киян поклало свої голови під топір, багато осліпив, при чому поміж одних і других, як звичайно при таких самосудах, попали й непричасні до ворохобні. Вдруге в житті зломав Ізяслав слово. Перший раз при арештуванні Всеслава, тепер при недодержанні умови з містом. Тоді теж погорів київський Подол, а Ізяслав, щоби забезпечитися перед ворохобною на майбутнє, переніс торговицю на «гору», де пізніше був т. зв. бабин торг.
Відвоювавши київський стіл, Ізяслав затримав ще якийсь час польські війська й розділив їх по кватирах «на прокорм». Але вони почали бешкетувати й їх почали поволі різати. Це примусило Болеслава вертатись домів. По дорозі він зайняв, після довгої облоги, Перемишль на що мабуть була тиха згода Ізяслава…
Якийсь час по відібранню Києва, Ізяслав почував себе тут зовсім певно, але згодом почали псуватися відносини поміж старшими Ярославичами.
Як то часто буває у великій політиці, так і тепер прийшло до нежданої згоди поміж Ізяславом і полоцьким Всеславом, та до розладдя поміж Ізяславом та двома другими членами недавнього трьохмужжя - Святославом і Всеволодом. Що саме привело до розладдя - невідомо, але можна думати; що недавня пропозиція киян, які запрошували котрогось з братів Ізяслава на київський престіл, не проминула безслідно. Вона тільки підбехтала амбіції князів, а головно енергійного Святослава, хоч і Всеволод не був від того. До тогож і самі кияне не могли забути Ізяславові його кривавої розправи з бунтівниками, а такий впливовий чернець, як Антоній Печерський, не могучи чомусь погодитися з Ізяславом, перенісся потайки до Чернигова, де напевне не гамував апетитів Святослава на Київ. Вкінці прийшло до вибуху.
Ранньою весною 1073 р. виступив Святослав й Всеволод проти Ізяслава. Але, подібно, як підчас київської ворохобні Ізяслав не зважився на опір, а забрав скільки міг майна й родину, утік утертою дорогою до польського князя Болеслава. Безпосередно по тому проголошено київським князем Святослава, а оба брати-побідники поділилися Ізяславовими волостями. Видно, що за втікачем не гонив ніхто ані дороги йому не заставляв, коли Ізяслав міг вивезти з Києва багатства, від яких ставало людям моторошно в Польщі та Німеччині.
Коли вірити літописцеві, то Болеслав хоч і взяв від Ізяслава гроші за допомогу, але «показав йому путь від себе» й допомоги не дав. Бо й справді, в тогочасній середущій Европі не було кому цікавитися східними справами. Всі держави, були розбиті на дві ворожі партії - папську (північні німецькі князівства, Саксонія, Польща й угорський король Гейза) та цісарську (південно-німецькі землі, Чехія й угорський король Кольоман). Рівночасно в кожній з тих держав боролися поміж собою громадяни розєднані на такіж самі табори. Болеслав, хочби й хотів дати Ізяславові допомогу, не міг цього зробити. В кожному разі ця допомога не могла бути велика й рішаюча. Про якусь слабу акцію поляків на українському пограниччю говорить Мономах у своїм життєписі оповідає, як його вислав Святослав у Берестє, на пожарище, та як він ходив у Сутиск «творити мир з ляхами». В тому мирі Болеслав зрікся інтервенції в користь Ізяслава, за що дістав поміч українських князів проти Чехії та Угорщини.
З черги подався Ізяслав до німецького цісаря Гайнріха IV. Було це в січні 1075 р. На цісарському дворі в Майнцу зявилися рідкі гості й принесли з собою «безцінні багатства в золотому посуді й дорогоцінних одягах».
Діставши дорогі подарунки й напевне багато грошей, цісар Гайнріх, хоч і не думав чи не міг думати про інтервенцію, всеж таки вислав до Святослава трірcького владику Бурхарта й загрозив Святославові війною з Німеччиною, якщо він не поверне Ізяславові київського стола. На ділі з того посольства нічого не вийшло. Святослав тільки найшов нагоду похвалитися перед послами своїми багатствами, на що посли мали сказати, що багатство, само по собі нічого не значить, дорожче від багатства військо, що зможе й не таке здобути. Але так Святослав дома як і Ізяслав на чужині, заімпонували німцям своїми багатствами непомалу. Тогочасний німецький хроніст Лямберт каже, що Бурхарт привіз цісареві від Святослава стільки золота, що його ніхто з живих не затямив стільки в Німеччині. І недиво. Тогочасна Україна, безпосередна наслідниця культури грецьких кольоній, країна, що не переривала торговельно-культурних звязків з далеким Сходом, а в першу чергу Україна як переємниця візантійської культури, могла задивувати тогочасну Польщу чи Німеччину не тільки багатством золота, самоцвітів і якістю матерій, але й мистецьким рівенем своєї біжутерії та одягів.