По протекции родственника, Михаила Муравьева, Иван Матвеевич, обладавший даром к языкам, становится «кавалером» (позже обер-церемониймейстером) великим князьям Александру и Константину Павловичам. Далее его карьера продолжилась на дипломатическом поприще. При Павле I Иван Матвеевич в чине министра-резидента служил в Эйтине (1796), Гамбурге (1798), Копенгагене (1799). По возвращении в Россию в 1800 году произведен в тайные советники с последующим назначением в Иностранную коллегию. С 1802 года был послом в Испании, однако три года спустя впал в немилость.