Su hijo, Diego Ponte del Castillo, VIII Marqués de la Quinta Roja, falleció el 5 de Abril de 1880, en Garachico a la edad de cuarenta años. Al día siguiente su féretro fue trasladado hasta el cementerio Municipal de La Orotava para ser enterrado en el Panteón familiar. Pero el párroco de la iglesia de la Concepción, José Borges Acosta, lo impidió debido a la condición masónica del joven marqués. El alcalde de la época se opone al párroco por lo que el obispado debe intervenir y mientras se instruye y resuelve el correspondiente proceso, se produce a la inhumación en la chercha del cementerio, en estado de emergencia dados los signos de descomposición que presentaba. Esto significaba una humillación para la familia.
Fue entonces cuando su Sebastiana del Castillo, decide construir en su jardín un Mausoleo para enterrar a su hijo. Encargó el trabajo al arquitecto francés Adolph Coquet que llega a la isla en 1882. Fue terminado en 1883, hecho con mármol de Lyon. Este arquitecto también realizó los planos del antiguo casino de Taoro del Puerto de la Cruz. El Mausoleo se erige en un monumento contra la intolerancia religiosa.
La viuda del marqués consiguió, finalmente, el permiso del obispado años más tarde para trasladar los restos de su hijo al del Cementerio de la Villa. Por tanto el marqués nunca fue enterrado en el Mausoleo.
Los jardines fueron adquiridos por el Ayuntamiento en 1991, convirtiéndolo desde entonces como uno de los principales espacios públicos del Conjunto Histórico de la localidad.