Окупувавши місто, німці відразу почали здійснювати злочини по відношенню до євреїв. Вони примушували їх стрибати у величезні ями, заповнені їдким дубильним екстрактом в цеху шкіряного заводу. В Старому місті нацисти наказали людям похилого віку влаштувати богослужіння в старій синагозі, але її двері замкнули і приміщення підпалили. Біля млина вони наказали жінкам роздягнутися і пливти через Гнилоп’ять, а потім — пливти назад у зворотному напрямку. Більшість жінок потонуло, не допливши до протилежного берега. Німці забавлялися цим видовищем поки усі вони не потонули.
28 серпня 1941 р. нацистські окупанти розстріляли у внутрішньому дворі старої бердичівської фортеці 300 євреїв, які не переселилися з різних причин в гетто. Їх брали із квартир, на вулицях, прилеглих до заповідника. Розстріляли також багато комуністів, працівників радянських органів і громадських організацій, а також військовополонених — євреїв, українців, росіян — всього 960 осіб. Імена страчених досі невідомі.
Полонений німецький унтер-офіцер, льотчик-радист Бруно Манчі розповів: «Влітку, в липні-серпні 1941 року, ми стояли зі своїм загоном (9 літаків) біля Бердичева. Одного разу поширилася чутка, що біля старої бердичівської фортеці збираються розстріляти тисячі євреїв. Я зі своїм пілотом фельдфебелем Шнейдером і ще декількома товаришами поїхали в місто пересвідчитися, чи можуть дійсно бути вбиті люди тільки тому, що вони євреї. На подвір’ї фортеці приговорені до смерті стояли групами. Записали їх прізвища, завели в підвал, але через короткий проміжок часу вивели знову. За головною стіною місцевими жителями була викопана глибока яма. Засуджених по одному підводили до ями, примушували ставати на коліна і вбивали пострілом в потилицю. Вся ця „операція“ проводилася групою в складі офіцера і 5 солдат СД. Засуджені йшли на смерть, не опираючись. Ми все це добре спостерігали, знаходячись поблизу місця страти, біля ями. Оскільки я не міг дивитися далі на цю бійню, ми покинули це місце жаху, повні обурення».
У 1944 р. на могилі було встановлено двометровий обеліск із сірого граніту з меморіальним надписом.