En su origen se levantaba en este solar la casa Franchy Fonte del Castillo, arrasada en un incendio a mediados del siglo XVIII. En torno a 1753 se construyó la actual mansión, que destaca por sus dimensiones y sus zonas ajardinadas. Sus jardines fueron alabados por viajeros tales como el naturalista francés André Ledru. En el siglo XIX fue sometida a una ampliación por parte del político Tomás Fidel Cólogan, que la heredó de Rosalía Pía de Franchy, III Marquesa de la Candia. El apellido de esta saga familiar no sólo dio nombre a la casa sino a la calle donde se asienta, llamada hasta el momento calle del Hospital o de las Monjas. Destacan las profusas labores de carpinterías exteriores e interiores, especialmente los artesonados. La singularidad de la escalinata pétrea que salva el desnivel de la vía ha generado la denominación popular de «casa de los escalones».
