Люди, що повернулись до Бердичева після окупації, мріяли про увіковічення пам’яті жертв геноциду, але в роки сталінізму це було неможливим. На початку 60-х років, у часи хрущовської відлиги, єврейська община Бердичева зібрала необхідні кошти, привела у порядок земляний вал, під яким лежать тисячі загиблих, і встановила гранітний пам’ятник-обеліск висотою 2,5 м., обгородивши його масивними ланцюгами. На пам’ятник нанесли присвятний напис. Реакція партійно-радянського керівництва була негайною: на засідання бюро обкому партії запросили голову Великоп’ятигірського колгоспу «Маяк» С. М. Прейгермана, секретаря гарнізонної партійної організації, командира військової частини Магерина, партійне та радянське керівництво міста та району, а також міліції та відділення комітету держбезпеки (КДБ). Аргументи влади були лаконічними: пам’ятник — це орієнтир, що демаскує військовий аеродром. Та кожен розумів, що триметровий пам’ятник навряд чи є кращим орієнтиром, ніж дзвіниця церкви чи водонапірна башта, що також знаходились поряд аеродрому. Дісталось усім присутнім, навіть військовим — за те, що дозволили впорядкувати могилу та встановити біля неї пам’ятник. Винесли догану офіцеру запасу бердичівлянину Співаку, одному з організаторів встановлення пам’ятного знаку. Наступної ночі пам’ятник демонтували та вивезли у невідомому напрямку.
Через чверть століття після цих подій пам’ятник віднайшли на території єврейського кладовища по вулиці Леніна (нині вулиця Житомирська) та встановили при вході до нього. 6 травня 1990 р. біля пам’ятника в день його відкриття відбувся траурний мітинг, організований Товариством єврейської культури Бердичева. Безпосередню участь у відновленні пам’ятника брали активісти товариства Д. Ю. Крис, Л. С. Тартаковський, М. Гельбер, Г. Рапопорт та інші.
На пам’ятнику викарбовано зірку Давида та напис на російській мові та їдиш:«В пам’ять євреям Бердичева, павшим в борьбе с фашизмом в годы Великой Отечественной войны и мирным жителям расстрелянных фашистами 1941-1945».