Конец XVIII века стал периодом расцвета семейного суконного бизнеса: на гарденинских фабриках трудилось около 2000 человек. Однако в первое же десятилетие следующего века наследникам Потапа Гарденина пришлось расстаться со всеми фабриками. Так, интересующая нас фабрика, которую унаследовал Онуфрий Гарденин, по распоряжению министра внутренних дел была передана коммерции советнику Лиону, который принял ее в 1812 году. В те же 1810-е годы Яков Гарденин продал предприятие в Тамбовском уезде, оставив за собой только одну суконную фабрику — в Крутогорской слободе Задонского уезда. Последняя же суконная фабрика Воронежа прекратила свою деятельность в 1857 году — это было предприятие, принадлежавшее другой известной династии воронежских суконщиков, Тулиновым.