А вось сямейнага шчасця Ягайла не набыў нават цягам усяго свайго доўгага жыцця. 22 чэрвеня 1399 года каралева Ядвіга нарадзіла дачку Эльжбету. Ягайла ж хацеў мець сына. Але кароткі век быў наканаваны і дачцэ. 13 ліпеня яе не стала. А праз чатыры дні памерла Ядвіга, не пакінуўшы дзяцей. Занепакоілася польская шляхта, якая была вельмі заклапочана сваімі ўласнымі прывілеямі. Каб не страціць іх, трэба было мець надзейнага спадчынніка каралеўскай улады. Таму яна вітала імкненне караля да новай жаніцьбы. Ягайла жаніўся яшчэ тройчы. Аднак шлюб з Ганнай Цылейскай, пасля з Эльжбетай Граноўскай аказаўся няўдалым. Яны рана памерлі, не пакінуўшы спадчынніка на каралеўскі трон.
Ганна Цылейская (1380/1381? – 21.3.1416) – другая жонка Ягайлы, дачка Вільгельма, графа Цылейскага (Венгрыя), унучка Казіміра Вялікага. 19 верасня 1392 года памёр яе бацька. У 1394 годзе ўдава графа Ганна выйшла замуж за князя Ульрыка, назаўсёды з’ехала з ім і пакінула 13-гадовую дачку Ганну ў Цыліі. Каб умацаваць пазіцыі аўдавелага Ягайлы, каралеўскі пасад ад якога мог уцячы – ён не быў спадчынным уладальнікам трона, а апынуўся на вяршыні ўлады праз шлюб з Ядвігай, патрабаваўся адпаведны шлюб з дынастычнай асобай. Ядвіга, першая жонка Ягайлы, намаўляла мужа, калі не стане яе, пашлюбіцца з Ганнай Цылейскай – праўнучкай Лакеткі. З падтрымкі польскіх паноў на пачатку 1401 года ў Цылію прыбыло пасольства ад Ягайлы. Аднак спярша належала атрымаць згоду папы рымскага, бо Ганна была краўнячкай Ядвігі. 23 красавіка папа даў згоду і 16 ліпеня 1401 года Ганна прыехала ў Кракаў.
Ягайла быў не надта задаволены і зрабіў вымову сваім паслам, што прывезлі такую брыдкую нявесту, пагражаў адмовіцца ад заручын. Шлюб адклалі. Фармальнай прычынай лічылася тое, што Ягайла не ведаў нямецкай мовы, а Ганна польскай. Ганна жыла ў адным з кляштараў і вучыла мову, а кароль выехаў у Княства, што надта часта рабіў і пасля, пакідаючы жонку адну. 29 студзеня 1402 года адбыўся шлюб. У забавах і турнірах, якія доўжыліся некалькі дзён, браў удзел Вітаўт з жонкай Ганнай, а вось малодшага Ягайлавага брата Свідрыгайлы не было, бо ён з’ехаў да крыжакоў, каб паспрыялі ў барацьбе з Вітаўтам за ўладу. На шлюб рада Кракава падаравала манаршай пары 200 грыўнаў.
Праз год, 23 лютага 1403 года адбылася каранацыя Ганны. Яе маці, дачка польскага караля Казіміра Вялікага, якую запрасілі на ўрачыстасць і якая не толькі забылася польскую мову, але не бачылася з Ганнай 9 гадоў, была да слёз узрушана, калі арцыбіскуп гнезненскі Дабрагост усклаў карону на галаву дачкі. Ягайла не вельмі дбаў пра Ганну, удзяляў ёй мала ўвагі, заглядваўся на іншых кабет, кажуць, нават сваю будучую пасля Ганны жонку Эльжбету таксама прыгледзеў у гэты час. У 1408 годзе абвінаваціў яе ў нявернасці, закаваў за гэта ў кайданы рыцара Якуба з Кабыліна і тры гады трымаў у вязніцы. Ганне з цяжкасцю ўдалося апраўдацца, каб неўзабаве зноў быць абвінавачанай у здрадзе з Янам Тэньчынскім.
Ганна была ціхай жонкай, не ўнікала ў справы караля, не ўплывала на палітыку. Адно толькі цікавілася арганізаваным Ягайлам развядзеннем ільвоў, якіх у 1406 годзе прывезлі з Фларэнцыі.
8 красавіка 1408 года ў іх нарэшце нарадзілася дачка Ядвіга. Дарэчы, усе Ягелоны сваіх старэйшых дочак называлі ў гонар першай Ягайлавай жонкі Ядвігі. У 1413 годзе на едлінскім з’ездзе Ядвігу назвалі будучай каралевай (у выпадку адсутнасці братоў). Пасля смерці бацькі яна мела атрымаць Карону і Княства.
21 сакавіка 1416 года Ганна памерла ў Кракаве ў прысутнасці караля, які ледзь паспеў вярнуцца з Княства, хоць па дарозе яшчэ заехаў на Лысую Гару ля Любліна, дзе любіў бываць часта і дзе пакланяўся часцінцы святога крыжа з Галгофы, на якім быў укрыжаваны Хрыстос.
Эльжбета з Пільчы (1370/1372/1380 – 12.5.1420) – трэцяя жонка Ягайлы, дачка ваяводы сандамірскага Атона з Пільчы, удава пасля Вінцэнта з Гранова, кашталяна накельскага і старасты вялікапольскага, найбагацейшая пані ў Польшчы. У 1382 годзе памёр яе бацька. 15 лютага 1386 года, падчас хрышчэння Ягайлы ў Кракаве, маці Эльжбеты Ядвіга была ягонай хроснай маці.
Надзвычай цікавы, як падаюць гісторыкі, замужні лёс Эльжбеты. Яе ўкраў мараўскі альбо шлёнскі рыцар Вышла Чамбар, адвёз на Маравы і зрабіў сваёй жонкай. Аднак там адбылася яшчэ адна неспадзянка. Янчык Янчыкавіч Гічынскі звёў багатую паню і ўзяў з ёй шлюб. Калі Чамбар запратэставаў, Гічынскі напаў на яго ў Кракаве і забіў. Ягайла не вынес за гэта кары, бо Чамбар спрыяў крыжакам, а Гічынскі падтрымліваў караля, выступаў супраць Ордэна. Неўзабаве яна аўдавела. Дзядзька Эльжбеты Спытак з Мельштына выдаў яе за Лелевіта Вінцэнта Граноўскага. Ягайла зрабіў яго кашталянам накельскім. Пасля Грунвальдскай бітвы Граноўскі быў атручаны. У Эльжбеты засталося двое дзяцей.
Калі 21 сакавіка 1416 года памерла другая жонка Ягайлы Ганна Цылейская, Ягайла меў дзвюх кандыдатак на новую жонку: дачку вялікага князя маскоўскага Васіля Дзмітравіча, унучку Вітаўта, і ўдаву брабанскую князёўну Эльжбету, братанку венгерскага караля і імператара Свяшчэннай Рымскай імперыі Сігізмунда Люксембургскага. Аднак пераважылі пачуцці да трэцяй кандыдаткі – Эльжбеты Граноўскай, у якую Ягайла раптоўна закахаўся. Яна ў адрозненне ад ранейшых жонак нарадзілася і выхоўвалася ў Польшчы, ведала мову і звычаі народа. У студзені 1417 года Эльжбета разам з сястрой Ягайлы Аляксандрай наведвае караля ў Любамлі над Бугам. Пасля адбыліся яшчэ дзве сустрэчы, і Ягайла, які прыехаў да Эльжбеты ў Саноку, нечакана для ўсіх аб’явіў пра свой выбар.
На пачатку мая 1417 года адбываецца шлюб Ягайлы і “простай полькі” Эльжбеты ў парафіяльным касцёле ў Саноку. Жаніцьба караля на сваёй падданай выклікала моцны супраціў каронных радцаў, іншых уладных асобаў, для Польшчы гэта было нязвыклым. Да таго ж многія нягледзячы на дазвол папы рымскага лічылі гэты шлюб грэшным, бо Эльжбета, як дачка хроснай маці Ягайлы, лічылася кананічнай сястрой караля. Пасля вянчання адбыўся непрыемны выпадак: падчас вяртання з касцёла пачалася моцная навальніца, а кола ў карэце зламалася, каралева па гразі пешкі вярталася ў замак. Для прымхлівага Ягайлы гэта мела нядобры знак.
Кароль прызначыў каранацыю жонкі на 19 лістапада 1417 года, дзень патронкі Эльжбеты. Гэта выклікала бурлівыя пратэсты, у тым ліку вялікапольскай шляхты, якая заявіла, што няхай Ягайла ўганаруе Эльжбету хоць пяццю каронамі, яны ўсё адно не прызнаюць яе каралевай. Супраць былі Вітаўт і Збігнеў Алясьніцкі, на той час падканцлер. Ягайла палохаў, што вернецца ў Княства, а карону перадасць малалетняй Ядвізе, ягонай дачцы з Ганнай Цылейскай. Пісар каралеўскай канцылярыі Станіслаў Цёлак нават напісаў “пасквіль” з гэтай нагоды, назваў жаніцьбу з Эльжбетай шлюбам “арла са свінёй”. Толькі сястра Ягайлы Аляксандра дбала пра яго асабістае шчасце і падтрымлівала гэткі выбар. Праз Львоў Ягайла з жонкай прыбыў у Кракаў, дзе арцыбіскуп львоўскі Ян Мікалай каранаваў Эльжбету. Гэта быў шчаслівы для Ягайлы шлюб, кароль усюды браў з сабой жонку, што раней бывала не часта, іхняе сумеснае жыццё не мела аніякіх скандалаў. Ды ў жніўні 1419 года Эльжбета захварэла, Ягайла ў гэты час стаў менш выязджаць з Кракава. 12 мая 1420 года яна памерла, караля ў Вавелі не было. Многія з каралеўскага атачэння адкрыта радаваліся гэтаму. Пахавана ў Вавельскай катэдры без прысутнасці Ягайлы.
І тады 70-гадовы кароль і вышэйшы князь літоўскі жэніцца чацвёрты і апошні раз. Ягонай жонкай стала 17-гадовая княгіня Соф’я Гальшанская, апекуном якой быў друцкі князь Сямён, празваны Сякерай. Вянчаліся яны 7 лютага 1422 года ў Навагрудку, у касцёле Праабражэння Гасподняга, пра што дагэтуль нагадвае памятная дошка. Сватам быў стрыечны брат Ягайлы вялікі князь літоўскі Вітаўт, жонка якога даводзілася стрыечнай сястрой Соф’і Гальшанскай. Ягайла папрасіў Вітаўта: “Меў я тры жонкі, дзве ляшкі і адну немку. А цяпер прашу дамовіцца з Соф’яй, каб літоўскі род даў нам нашчадкаў”. Соф’я нарадзіла Ягайлу Уладзіслава і Казіміра. Казімір з’явіўся на свет, калі каралю было 76 гадоў, але пражыў нядоўга.
І тут Вітаўт зразумеў, што пралічыўся. Калі б у Ягайлы не было сыноў, ён мог бы разлічваць на высокі каралеўскі польскі пасад. А так шанец меў Ягайлаў сын Уладзіслаў. Тады, як сведчаць некаторыя даследчыкі, Вітаўт выступіў у нязвыклай ролі паклёпніка (праўда, іншыя даследчыкі даказваюць, што гэтую ганебную ролю выконваў не Вітаўт). Так ці інакш, але Вітаўт не застаўся ўбаку ад гэтай справы. На Гарадзельскім сейме ён заявіў, што Ягайла не можа быць бацькам дзяцей ад Соф’і Гальшанскай – узрост не той, ды і Сонька, як з’едліва называлі каралеву многія з незычлівых дваровых, не чураецца кампаніі з вясёлымі і ахвочымі да авантурных прыгод рыцарамі. Вакол гэтага разгарэліся сапраўды шэкспіраўскія страсці. З вялікімі намаганнямі каралеву ўдалося апраўдаць, і яна нарадзіла Ягайлу трэцяга сына. Пазней ён стаў вялікім князем літоўскім і польскім каралём Казімірам ІV Ягелончыкам.
А Вітаўту была падрыхтавана вялікалітоўская каралеўская карона. Ён мог стаць каралём літоўскім, другім пасля заснавальніка Вялікага княства Літоўскага Міндоўга. Але не собіла. Інтрыгі польскай шляхты перашкодзілі здзейсніцца каранацыйным намерам. Не дачакаўся васьмідзесяцігадовы Вітаўт каралеўскай кароны, 27 кастрычніка 1430 адышоў у іншы свет толькі з тытулам вялікага князя літоўскага, хоць, праўда, яшчэ пры жыцці атрымаў назву Вялікага. І яшчэ невядома, што было вышэй і больш значна. Бо гэта адзіная асоба ў беларускай гісторыі, якае насіла гэткі высокі назоў – Вялікі.
Ягайла ж караляваў 48 гадоў, шмат зрабіў для карысці Кароны і Княства. Але нават у Вавельскім замку, што ў стольным польскім Кракаве, не адмовіўся ад многіх язычніцкіх звычак, не цураўся падтрымліваць праваслаўе. У Любліне, горадзе, дзе яго абралі на каралеўскі пасад, загадаў распісаць праваслаўную капліцу на візантыйскі, практычна, рускі лад. Меў такія роспісы і ў сваёй спальні, і ў іншых месцах іх рабілі.
Дарэчы, і Соф’я з роду Гальшанскіх не здрадзіла сваім праваслаўным традыцыям. Яна не толькі падтрымлівала Ягайлава жаданне распісваць у візантыйскім стылі храмы, а і сама збудавала пры галоўным кафедральным касцёле Кракава праваслаўную капліцу з адпаведнымі роспісамі і аздобамі, дзе каралева і была пахавана па праваслаўнаму звычаю. Яе сын Казімір, кароль польскі і вялікі князь літоўскі, таксама пахаваны ў аздобленай візантыйскімі роспісамі капліцы ў тым жа кафедральным кракаўскім касцёле.
Ды вернемся да Ягайлы. Ён і ў Кракаве не пазбыўся ахвоты насіць звычайны беларускі кажух, пацягнуты сукном. Часта з’язджаў са сталіцы ў беларускія бары, каб майскімі начамі паслухаць спевы салаўёў, якіх ён вельмі любіў, захаваўшы гэтую звычку праз усё сваё доўгае жыццё. Дарэчы, гэтае захапленне стала прычынай мо і заўчаснай смерці Ягайлы. Калі чарговы раз паехаў да Львова, каб пацешыць душу салаўінымі спевамі, халоднымі начамі прастудзіўся. Дактары не дапамаглі. Ягайлу ішоў тады восемдзясят другі год.
Памёр кіраўнік самай вялікай дзяржавы ў Цэнтральнай Еўропе 1 чэрвеня 1434 года. Каралева Соф’я перажыла свайго мужа на 27 гадоў і памерла ў 1461 годзе.