Произведение создавалось в два приема: в 1890–1891 гг. и в 1898 г.
Впервые Толстой упомянул в дневнике о своем желании написать «историю жития» и «соблазнения», о том, что «рука сжигается пустынником», в феврале 1890 г. Весной 1890 г., обдумывая этот замысел, писатель посетил Оптину пустынь, откуда вынес отрицательное впечатление. Он записал в дневнике о монахах: «Горе их, что они живут чужим трудом. Это святые, воспитанные рабством» (т. 51, с. 23).
В 1890 г. Толстой сделал первый краткий набросок повести и послал его В. Г. Черткову, который все время побуждал его писать «житие». В этой первоначальной редакции бегло рассказывалось о судьбе Касатского, о его уходе в монастырь; оканчивалась она приездом веселящейся компании к келье отца Сергия. «Надо рассказать все, что было у него в душе, — записывает он в дневнике в октябре 1890 г., — зачем и как он пошел в монахи. Большое самолюбие (Кузминский и Урусов), честолюбие и потребность безукоризненности» (т. 51, с. 98). Толстой упоминает А. М. Кузминского (1843–1917), мужа сестры С. А. Толстой, Т. А. Берс, а также своего друга, тульского вице-губернатора Л. Д. Урусова (ум. 1885), которых он хорошо знал и от которых взял некоторые черты для своего героя.
К началу 1891 г. Толстому стало ясно, что идейный упор повести должен быть сделан не на «соблазнении», как ему первоначально представлялось, а на борьбе с человеческим тщеславием. «Борьба с похотью тут эпизод, или скорее одна ступень; главная борьба с другим — с славой людской», — пишет он Черткову 16 февраля 1891 г. (т. 87, с. 71). На прояснение идеи «Отца Сергия» оказала влияние работа Толстого над книгой «Царство божие внутри вас», которую он в то время вел. 10 июня 1891 г. Толстой сделал в дневнике важнейшую запись: «К Отцу Сергию. Он узнал, что значит полагаться на бога только тогда, когда совсем безвозвратно погиб в глазах людей (во второй редакции отец Сергий, согрешив с купеческой дочерью, убивает ее. — А. С.). Только тогда он узнал твердость, полную жизни. Явилось полное равнодушие к людям и их действиям. Его берут, судят, допрашивают, спасают, — ему все равно. — Два состояния: первое — славы людской — тревога, второе — преданность воле божьей, полное спокойствие» (т. 52, с. 39). Эта мысль сохранилась в последней редакции «Отца Сергия».
Спустя семь лет, 17 июля 1898 г., Толстой сделал запись, в которой отражена окончательная идея произведения: «К отцу Сергию. Один хорош — с людьми падает. Какое очевидное заблуждение: жить для целей земных… Нет успокоения ни тому, который живет для мирских целей среди людей, ни тому, который живет для духовной цели один. Успокоение только тогда, когда человек живет для служения богу среди людей» (т. 53, с. 204).
В редакции 1898 г. Толстой развил повествование о невесте Касатского, убрал сцену убийства Марьи, ввел эпилог. Но все же он не отдал в печать «Отца Сергия», так как считал, что повесть доведена до той стадии, когда в ней все «связано и последовательно. Но хочется отделывать», — как он писал в письме к Черткову от 31 августа 1902 г. (т. 88, с. 274). Этого намерения Толстой не осуществил. В. Г. Чертков издал «Отца Сергия» после смерти Толстого, в 1911 г.