В XIII–XV веках храм неоднократно разоряли литовцы. Он настолько обветшал, что архиепископ Евфимий II повелел его перестроить и заново расписать фресками (1442). Монастырь едва встал на ноги, взяв во владения 32 деревни, но в 1611 году пришли новые захватчики — шведы, выжигая все на своем пути.

За возрождение монастыря взялся игумен Авраамий. В 1628–1630 годах появилась колокольня, значительно увеличился храм, а две деревянные церкви — Рождества Христова и Сретения Господня — перестроили в камне в два этажа. Однако прочие здания долго оставались деревянными.

По нормативам, утвержденным Екатериной II, обитель считалась монастырем низшего, третьего класса — в его штате должно было быть 12 монахов. Однако в XIX веке он перешел во второй класс (17 монахов). Тогда же, в XIX веке, собор был украшен «греческим письмом», обновлен иконостас и росписи. К концу века возвели величественные ворота и новый собор Старорусской иконы Божией Матери. Рождественский храм принял учеников духовного училища.