Ya en el siglo XIX, la propiedad cambia de manos y es adquirida por otra familia rica, esta vez con la intención de transformarla en convento para su hija, que era monja. Así, llega la congregación de las Ursulinas, quienes construyen una iglesia anexa (hoy iglesia ortodoxa), una capilla doméstica para el rezo privado y un mausoleo familiar.

Durante la Guerra Civil (1936), las monjas se ven obligadas a huir y el edificio se convierte en hospital, dada la situación del frente republicano en la zona.

Tras el conflicto, en 1939, el régimen franquista reconoce nuevamente el edificio como convento e intenta que regresen las Ursulinas. Al no regresar, se instala otra congregación: las Comendadoras del Espíritu Santo, quienes permanecen por poco tiempo.

En los años 50, el edificio pasa a una tercera congregación: las Monjas Misioneras del Corazón de Jesús, conocidas en Tarancón como “las Monjillas”. Son ellas quienes lo restauran y lo transforman en un colegio de formación para misioneras, respetando siempre su estructura original.

Después de varios años de actividad, el centro cierra hasta que, en los años 70, es adquirido por los Padres Somascos, con el fin de crear un colegio-internado y seminario menor. El proyecto duró hasta 1992, cuando el centro cerró por falta de vocaciones. Posteriormente, se vendió a una fundación que prometía construir una residencia de ancianos, pero dicha entidad resultó ser una estafa y pretendía demoler el edificio.