За время службы в Тегеране был награжден орденом Святой Анны 3-й степени (1909).
5 июля 1910 году полковник А.А. Веселовский был назначен командиром Апшеронского полка, сменив на этой должности полковника Н.П. Кучина. С 1913 года генерал-майор ("за отличие по службе" со ст. 9.09.1913 (Выс. пр. 1913)). Полк был расквартирован во Владикавказе и во многом определял жизнь этого города.
О 81-м Апшеронском полке нужно сказать отдельно. Он был создан по специальному указу Петра I 09 июля 1724 года в крепости Святого Креста на основе частей, участвовавших в Персидском походе (Богуславский Л.А. История Апшеронского полка. 1700–1892. Т. 1–3. (1722–1839 г.г., 1839–1891 г.г. и приложения). — Спб, 1892).
Апшеронцы исходили всю Европу и Азию, и где только они не проливали свою кровь во славу Отечества. Ни один полк в России не имел столько наград — Георгиевское знамя, Георгиевские трубы, серебряные трубы и т. д. и т. д.