В 1819 году монастырь упразднили, а на его территории разместилась резиденция орловских епископов. В 1821–1824 годах был возведен архиерейский дом с домовой церковью и консисторией. Тут же находилось кладбище, где был захоронен герой Бородинского сражения барон Федор Корф (1773–1823). В 1843–1845 годах была построена каменная Троицкая церковь — семейная усыпальница орловского губернатора Аркадия Васильевича Кочубея (1790–1878), а в 1860–1879 годах на территории архиерейского дома по типовому проекту Константина Тона (1794–1881) возвели новый пятиглавый Троицкий собор.