Dzīve sagrautajā Jeruzalemē bija neizsakāmi grūta. Repatriantiem vispirms vajadzēja rast sev pajumti un kaut cik novākt drupas no pilsētas ielām. Tāpēc viņi tikai septītajā mēnesī pēc atgriešanās uzcēla Jahvem upuru altāri, bet otrā gadā ķērās pie dievnama atjaunošanas.
Kad to uzzināja samarieši, viņi atsūtīja pārstāvjus un lūdza atjauju arī viņiem piedalīties svētnīcas būvdarbos, taču Zerubabels un Jozua noteikti noraidīja piedāvāto palīdzību. Pret samariešiem, kuri bija nometināti Ziemeļkānaānā pēc izraēliešu izvešanas, viņi izturējās ar nicināšanu, lai gan arī tie tāpat pielūdza Jahvi.
Šādas attieksmes sekas izrādījās visai nepatīkamas. Samarieši un citas ciltis, kuras bija apmetušās bez iedzīvotājiem palikušajos jūdu zemes apvidos, ar neparastu ietiepību pretojās atjaunošanas darbiem, rīkodami bruņotus uzbrukumus, nopostīdami jau uzceltos mūrus un ar dažādām intrigām sēdami apjukumu Jeruzalemē. Beidzot jūdi, kurus bija nogurdinājušas grūtības un arvien sliktākie dzīves apstākļi, pārtrauca dievnama atjaunošanu un pievērsās ikdienas darbam iztikas sagādāšanai. Rūpēs par dienišķās maizes kumosu viņi pret reliģijas jautājumiem sāka izturoties vienaldzīgi un par svētnīcu vairs neraizējās.
Tā pagāja piecpadsmit gadu. Pasaulē pa šo laiku bija notikušas lielas pārmaiņas. Kīrs 529. gadā pirms m. ē. bija kritis kaujā pret tautām, kuras uzbruka viņa valsts ziemeļu robežām, un tronī nāca viņa dēls Kambīzs. Viņš valdīja tikai septiņus gadus, bet šajā laikā paspēja iekarot visu Ēģipti un tādējādi radīja visplašāko impēriju senās pasaules vēsturē. Persijas nākamā ķēniņa Dārija I (522.— 485. g.) valdīšanas laikā pravieši Hagajs un Zaharja šaustīja jeruzalemiešu nevīžību un Jahves vārdā paskubināja tos atkal pamēģināt atjaunot templi.
Taču arī šoreiz radās grūtības. Persiešu satraps Tatnajs, kuram bija padota Kānaāna, nosūtīja uz Jeruzalemi komisiju, lai tā pārbaudītu, ar kādām tiesībām tiek atjaunots Jeruzalemes templis. Tā kā jūdi atsaucās uz Ķīra dekrētu, viņš savam valdniekam lūdza norādījumus, ko darīt tālāk. Dārijs bija iecietīgs cilvēks. Viņa uzdevumā tika izdarīti meklējumi Ekbatanas arhīvā, kur atrada Ķīra dekrētu. Tāpēc ķēniņš pavēlēja satrapam, lai viņš ne tikai kā netraucētu svētnīcas atjaunošanas darbus, bet pat palīdzētu
repatriantiem, piegādājot tiem būvmateriālus un dzīvniekus dedzināmiem upuriem.
Celtniecība ilga četrarpus gadus. Jahves jaunais miteklis ne ar ko neatgādināja agrāko grezno Salamana celto templi. Nabadzīga, maza, bez jebkādiem izgreznojumiem uzceltā svētnīca nožēlojamā kārtā atgādināja pašas zemes postu un pagrimumu. Vissvētākā vieta, kur agrāk noslēpumainā mirdzumā atdusējās zelta derības šķirsts, tagad bija tukša. Jeruzaleme pati vēl bija milzīga gruvešu kaudze, un tur tikai vietumis rēgojās uz ātru roku sakleķētas mājeles, kas deva pajumti nedaudzajiem pilsētas iemītniekiem.