Кастаньетт (его звали Поль-Матюрен) появился на свет в Париже 15 августа 1770 года, ровно год спустя после рождения мальчика, которому суждено было стать императором Наполеоном I. Кровавые эпизоды Революции происходили у него на глазах, и это сделало юного Кастаньетта настоящим философом. Он видел столько страданий, что в конце концов стал принимать все как должное. Да и к нему самому судьба не благоволила: к пятнадцати годам он успел трижды вывалиться из окна, дважды упасть в колодец и четыре раза — в реку.
Один из его приятелей выбил ему глаз кулаком за то, что Кастаньетт отказался кидать камни в королеву Марию-Антуанетту, когда ту вели на эшафот (16 октября 1793 года). «Подумаешь, — сказал он, вернувшись домой одноглазым, — я же был косым с двумя глазами, зато теперь наверняка не буду косить…»