Après les Conny
Adrien de Conny meurt à son domicile après la messe de Noël de 1891. Son frère, Julien-Édouard, vend la maison à Hippolyte de La Celle (ill.), cousin-germain de sa femme, lui-même prêtre diocésain.
Le démembrement de la propriété commence. La parcelle est divisée, une partie est lotie le long de la rue Michel de l’Hospital, un mur séparatif s’élève entre la propriété Chérion et ce qui reste de l’hôtel.


Lorsqu’Hippolyte de La Celle est nommé évêque de Nancy, primat de Lorraine, il cède la maison à son neveu Jules de La Celle (ill.), lui-même prêtre, qui la vendra en viager au diocèse de Moulins. Le diocèse y installera une résidence de prêtres et revendra la maison en 1960. Au cours de la seconde moitié du XXe siècle, l’hôtel lui-même est démembré et divisé en copropriété.
Une maison en parpaings de ciment est adossée à la façade sur cour, sept garages sont construits dans la cour, des cloisonnements divisent les pièces, mais sans dommage irrémédiable aux parquets Versailles ni aux éléments de décor. Pierre Bassot rachète l’ensemble en plusieurs fois entre 1996 et 1998, procède à la démolition de la maison parasite et entame la destruction des garages. À sa mort, ses parents héritent de la maison, la vendent en viager à Antoine Paillet qui crée avec leur aide le Fonds Pierre-Bassot. En 2016, le Fonds achète la propriété voisine correspondant à la « maison Chérion » et qui comprend l’ancienne orangerie. La restauration du gros-œuvre de celle-ci est menée à bien avec l’aide de la Fondation du patrimoine et du mécénat de la société SMABTP. Parallèlement, la suppression des garages est poursuivie ainsi que la restauration intérieure de l’hôtel.