Есть сведения, что именно здесь, в Каменке, родился в 1730 году и провел детство его сын Александр. Так, в частности, считал внук генералиссимуса, Александр Аркадьевич, хотя большинство исследователей все же склоняются к тому, что Суворов родился в Москве. В начале XVIII века метрические книги для официальной записи актов гражданского состояния только начинали внедрять, поэтому точное место рождения установить тяжело.

Название свое усадьба получила по соседнему Каменному озеру, первоначально же она называлась «пустошь Сувориха».

В зрелом возрасте Суворов неоднократно посещал Каменку — в 1784, 1786 и 1797–1799 годах. Поля вокруг Каменки засаживали льном и зерном. Суворов считал земли бедными и требовал их обновлять и своевременно удобрять. После отправки Суворова в ссылку в 1797 году он хотел поселиться в Каменке, но, увидев полуразрушенное состояние дома, уехал жить в другое свое имение, Кончанское.

Внук полководца, Александр Аркадьевич Суворов, унаследовавший усадьбу, распорядился отдать ее губернскому земству для дома солдат-инвалидов.