Déserté par les frères, partis pour proclamer la bonne nouvelle au canada, le couvent devient en 1802 un hospice des incurables hommes.

En 1862, il devient l’hôpital militaire st Martin puis en 1913, l’hôpital Jean Antoine de Villemin.
En 1980, il accueille une unité de l’école d’architecture de Paris-Villemin.

De 1990 à 1996, le squat d’artistes dénommé « les anges des récollets » donne une nouvelle dimension au site des récollets. Soutenus par un collectif d’associations et d’habitants du Xème, ces artistes prônent déjà le rapprochement entre l’art et la science.
Un incendie met fin à leur occupation et le ministère de l’équipement lance par la suite un appel à projet pour le devenir du bâtiment.

C’est de cet édifice défiguré par les nécessités du plan local de l’urbanisme, du développement de la gare de l’est, et les ravages des deux guerres mondiales dont la RIVP hérite à travers un bail emphytéotique en mars 2001.

Le projet d’une résidence internationale à vocation culturelle l’emporte sur d’autres projets purement commerciaux.

Ce projet correspondait plus que les autres aux attentes des associations de quartier mobilisées pour la sauvegarde du bâtiment et sa vocation. Il évitait la menace de destruction de ce patrimoine si remarquablement secouru par l’architecte Frédéric Vincendon pour le cabinet d’architecture Reichen et Robert. Le projet de résidence se complétait par la réhabilitation d’espaces culturels afin d’assurer une ouverture entre le site et le quartier du Xème.

Ces espaces ont été confiés au conseil de l’ordre des architectes d’Ile de France qui forte de son association de la maison de l’architecture pouvait redonner une nouvelle vie à l’ancienne chapelle des récollets.

Le centre international d’accueil et d’échanges des Récollets a ouvert ses portes en juillet 2003 gardant les traces de chacun des siècles traversés.