Поначалу средств на большой дом не хватало. Обходились деревянными строениями для жилья и хозяйственных нужд. Чтобы сэкономить на покупке и перевозке стройматериалов, за рекой Лубьей возвели кирпичный завод. Строительство усадьбы растянулось на два десятилетия. Архитектором основных зданий стал сам Оленин, но к проекту, как полагают некоторые исследователи, мог приложить руку его товарищ, выдающийся архитектор
Николай Львов. К 1820 году появились два больших дома, две оранжереи, ряд малых зданий из неоштукатуренного красного кирпича, вокруг большого пруда был устроен парк.