El fundador de este Hospital de San Juan Bautista fue un prelado áulico, Cardenal y Arzobispo de Toledo, que presidió el Consejo de Castilla durante quince años y se convirtió en uno de los principales consejeros del emperador Carlos V. Según el historiador Antonio Rumeu de Armas "Como político es, después de Cisneros, la figura de mayor significación de la centuria".
Este arquitecto español, formado en el plateresco aprendido de sus parientes, los Egas, fue el introductor en Toledo de la arquitectura del Renacimiento. Maestro Mayor de la Catedral Primada y Arquitecto de los Reales Alcázares, su actividad, al decir de Fernando Marías, puede dividirse en dos grandes periodos separados por el comienzo de la obra del Hospital Tavera.
Arquitecto y escultor, además de rejero y vidriero. En 1575 sustituyó a Hernán González de Lara en la dirección de las obras de la segunda fábrica de la ciudad imperial, el Hospital de San Juan Bautista (Tavera), y también en la maestría mayor de la Catedral. Al mismo tiempo estuvo al servicio de Doña Luisa de la Cerda, viuda de Ares Pardo, señor de Malagón, para obras de monasterios patronato de esta Casa.
Una de las “águilas del Renacimiento español”, expresión con la que Francisco de Holanda distinguió a los cuatro artistas fundamentales de este periodo. Se formó en Italia, contribuyendo, con las nuevas formas allí asimiladas, a la renovación manierista de la escultura española, y se distinguió por su expresividad dramática, sensibilidad miguelangelesca y desatención por las convenciones de la tradición.
Nacido en 1541 en Candía (Creta), es considerado como el artista que mejor desarrolló el estilo manierista. Formado como pintor de iconos dentro del área de influencia del arte bizantino, recibió de sus padres o adquirió posteriormente una amplia formación humanística que le convirtieron en un hombre cultivado y de gran erudición. Los últimos años de su vida los dedicó al proyecto iconográfico de la Iglesia del Hospital Tavera.
Fue administrador del Hospital Tavera de Toledo desde 1587 hasta 1615, puesto desde el que accedió a la canonjía penitenciaria de la Catedral Primada. Insigne genealogista y hagiógrafo de los principales arzobispos de Toledo, entre ellos del Cardenal Tavera, fue coleccionista del Greco y miembro de su círculo intelectual. Para la iglesia panteón, cuyo ornato se concibió bajo su administración, encargó al cretense los retablos central y laterales y un tabernáculo.
El cardenal Tavera confió el patronato de su fundación hospitalaria a su sobrino, Arias Pardo de Saavedra, y posteriormente a quien le sucediera en su mayorazgo. Este mariscal de Castilla casó con Luisa de la Cerda, hija menor del II duque de Medinaceli, y son los progenitores de los marqueses de Malagón, casa que, junto con la de Castellar, se integró en la de Santisteban, vía por la que el patronato llega, en el siglo XVIII, a la de Medinaceli.
Casada desde 1918 con el XIV duque de Lerma, tras su asesinato en el verano de 1936, decidió instituir una fundación en su memoria, la Fundación Duque de Lerma que, con el consentimiento del patrono, su sobrino, XVI duque de Medinaceli, creó en un ala del Hospital Tavera un museo con las obras de arte que su marido había heredado de sus padres, los duques de Medinaceli, y becó a numerosas niñas huérfanas en el vecino colegio de las Hijas de la Caridad.