Le site forme un rectangle de bâtiments, construits entre les XVII et XVIIIe siècles, avant que l'ensemble ne s'unifie au XIXe siècle. Durant ces trois siècles d'utilisation, le bâtiment n'a eu de cesse de se transformer et de subir agrandissements, démolitions et densifications, pensées par de grands architectes. Il existait ainsi parfois jusqu'à 14 niveaux de planchers. Une trentaine d'escaliers existants composaient l'ensemble mais n'étaient pas organisés les uns avec les autres, et desservaient des salles de façon aléatoire. Cette rénovation permet de donner une cohérence à cet ensemble, dont l'enveloppe unitaire et ordonnée des façades en pierre dissimule les modifications menées. Surtout, les espaces intérieurs étaient très dégradés. Pour l'Atelier Gaudier, il n'était pas question d'oublier les trois siècles d'histoire du site et sa richesse patrimoniale. Les architectes se sont donc retrouvés confrontés à de nombreuses difficultés : ruptures de niveaux, culs de sacs, dispersion des circulations, densifications par strates ou par "îlots"... Les défis étaient nombreux dans cet espace de 69.000 m². Le cabinet des estampes a, par exemple, bénéficié d'une remise aux normes de la sécurité, d'une restauration des verrières et d'une transformation des logettes en salles de réunion.