После смерти поэта в 1816 году имением продолжала заниматься его жена. В 1842 году Дарья Алексеевна скончалась, завещав свое имение под создание женского монастыря и училища для «бедных девиц духовного звания». Званский Знаменский женский монастырь будет открыт только в 1869 году. За это время усадьба потеряет свой внешний облик и придет в запустение. Яков Грот, посетивший имение в 1863 году, оставил свидетельство: «…видны только остатки крыльца, на месте же самого дома лежат разбросанные кирпичи и сложена груда камней… Влево от дома (если стоять перед ним лицом к реке) был сад, теперь совершенно заросший; только на стоящем отдельно крутом холме видны деревянные столбы находившейся здесь беседки, около которой еще и теперь особенно густо растет зелень с одичалыми цветами… уцелели только немногие строения: баня, где отводилось иногда помещение некоторым из гостей, съезжавшимся на Званку, каретный сарай и часовня. Стоявшая внизу, вправо от усадьбы, ткацкая, где приготовляли сукна и полотна, совершенно исчезла. Но позади места, где был господский дом, виден теперь навес, под которым сложены разобранные бревна и доски его».