Усадьбу построил в 1790-х годах сенатор князь Сергей Иванович Вяземский (1743–1813), с 1780 по 1793 годы руководивший экспедицией о государственных доходах Российской империи. Князь приходился двоюродным братом литератору Михаилу Матвеевичу Хераскову (и дальним родственником — поэту Петру Вяземскому, другу Пушкина), а супруга его, княгиня Анна Федотовна, — родной сестрой генерал-фельдмаршалу М. Ф. Каменскому, устроителю
Сабуровской крепости. Усадебный дом в Пущине представляет собой выдающийся пример русского палладианства, и авторство его зачастую приписывают гению этого архитектурного стиля
Николаю Александровичу Львову (1753–1803), хотя никаких документальных следов участия Львова в строительстве исследователям обнаружить не удалось. Воображение современников в Пущине-на-Наре поражали изящные украшения на фронтоне дворца: лепные гирлянды из груш, яблок, винограда, цветы и причудливые маски.