В первые советские годы в доме с башней по-прежнему находился приют для престарелых. После войны, когда дом отвели под коммунальные квартиры, часть внутреннего убранства была утрачена, а здание частично перестроено. В частности, без шатра осталась центральная башня, которая придает дому такое своеобразие и заслужила ему прозвище «Ласточкино гнездо», как его называют в Твери.