Первым игуменом стал Афанасий, ученик преподобного Сергия. Щедрые пожертвования князя-основателя позволили ему приступить к дорогостоящему каменному строительству. В конце XIV века в монастыре появляются Зачатьевский собор и трапезная церковь Покрова Пресвятой Богородицы — по записанной в петровские времена легенде, их построили чуть ли не в 1381 году, через год после победы на Куликовом поле, над братской могилой серпуховчан, погибших в битве. В 1382 году Афанасий оставил монастырь и ушел в Константинополь, а новым настоятелем стал Афанасий Младший (ум. в 1395), позже причисленный к лику святых. Его мощи в настоящее время хранятся в обители.