Расположение Павла Петровича, будущего Павла I, Ростопчин сумел завоевать еще до его восхождения на престол, когда был прикомандирован к «малому двору» наследника. При Павле он занимался внешней политикой страны, успел побывать генерал-адъютантом, действительным тайным советником. В феврале 1801 года, перед самым убийством императора, Ростопчина отправили в отставку. Он поселился в Воронове и с увлечением занялся благоустройством усадьбы и писательством. Граф приглашал известных садовников из Европы, ставил опыты в сельском хозяйстве и ветеринарии, сажал пихты и липу. Ростопчин вернулся на службу в 1812 году, когда он был назначен московским военным губернатором и главнокомандующим. Когда французы вступили в Москву, он не захотел отдавать неприятелю собственную усадьбу. Отправив всех жителей в другое имение, Ростопчин лично сжег Вороново. В пожаре погиб львовский дом, а с ним, по слухам, и многие ценности, которые граф попросту не успел бы вывезти. Легенды о сокровищах Ростопчина, спрятанных в неких подземных ходах под усадьбой, до сих пор будоражат воображение кладоискателей.