В 1892 г. назначен батальонным адъютантом в 1-ый понтонный батальон (1892–1894 гг.), расквартированный в с. Медведь Новгородской губернии.
В Новгородской губернии служил и дядя Антония Андреевича — Александр Иванович Веселовский (Штабс-капитан. Командир 16 роты 85 Выборгского полка (1879)), и брат Михаил Андреевич Веселовский — в Гренадёрском сапёрном батальоне (на 1884 г. командир роты Его Высочества) (записано в памятных книжках Новгородской губернии).
С 1994 года А.А. занимался педагогической деятельностью. Преподавал математику в кадетском корпусе г. Владикавказа, затем в кадетском корпусе г. Тифлиса (с декабря 1896 г.). "Я вполне сознательно занялся воспитанием военного юношества. Тщательно воспитанный офицер — воспитанный в духе здорового патриотизма, в служении Родине и глубоко развитом чувстве долга — это залог непобедимости армии. Конечно, техника — техникой, но суровое сознание своего долга — это великое дело. Я всегда старался воскресить рыцарские традиции в лучшем, благороднейшем смысле этого слова." Сохранилась воспоминания учеников кадетского корпуса (см. в конце книги), а в семейном архиве есть благодарственное письмо от отца одного из кадетов.
Был награжден орденами Святого Станислава 3-й степени (1892), Святой Анны 3-й степени (1897), Святого Станислава 2-й степени (1901), Святой Анны 2-й степени (1909), Святого Владимира 4 степени (1912).