Единственно, что сдерживало занятия, это военная служба. Граф подал в отставку и был уволен с флота, однако она считалась временной, перед переводом его в Кавалергардский полк. «Получив отставку, – позже вспоминал Ф. П. Толстой, – я мог вполне посвятить все время моим занятиям, а особливо в художестве, к которому час от часа прилеплялся все более. Выставляемые мною из воска, в довольно большом виде, скульптурные работы были всегда одобряемы Советом, и говорили уже о них и в городе, тем более что раньше никто не выставлял восковых барельефов подобных размеров. Спустя около восьми или девяти месяцев после отставки государь обедал у Петра Александровича (его дяди). После обеда Марья Алексеевна показала Его Величеству собранные у нее разные мои из воску работы. Был призван и я. Когда я вошел, Государь, любуясь и хваля мою работу, сказал мне: „Я обещал перевести вас в Кавалергардский полк; но так как у меня много кавалергардских офицеров, и я могу их пожаловать, сколько захочу, а художников – нет, то мне бы хотелось, чтоб вы, при вашем таланте к художествам, пошли по этой дороге“. После таких слов мне ничего не оставалось делать, как исполнить волю императора. Как мне ни хотелось всегда служить в коннице, но это предложение более всего согласовалось с моею привязанностью к художествам и с твердо принятыми мною правилами быть по службе обязану только самому себе, полученным наградам и повышениям, а отнюдь не с помощью протекции и покровительства, для чего я был слишком горд».356

В то время Ф. Толстой жил в доме своего дяди, к которому переселился после смерти матери; когда граф П. А. Толстой отправился послом в Париж, он остался один и практически без средств к существованию. Препятствия не надломили сил молодого художника, под гнетом обстоятельств воля его только крепла. Перестав посещать великосветское общество, удалился на время и от прочих своих знакомых, заперся в убогой квартирке и еще ревностнее стал учиться. Два года жил единственно трудами рук своих, делая из воска на грифельных дощечках гребни и брошки, подражавшие камеям, которые были тогда в большой моде. Часто питался одним только черным хлебом с квасом, думая единственно о том, чтобы обогатить свой ум новыми познаниями и лишнюю копейку употребить на покупку книг. В числе тех немногих лиц, которые, хотя не часто, но все же посещали художника, был президент Академии граф А. С. Строганов.

Ф. П. Толстой. Портрет работы С. К. Зарянко. 1850 г.

Однажды в 1806 г. Толстой у Строганова встретился с Н. Н. Новосельцовым, который, узнав, в каком затруднительном положении находится Толстой, немедленно доложил об этом императору, и на другой же день состоялся указ об определении Толстого на службу в Эрмитаж с окладом 1500 рублей.