El Hospital fue diseñado para doble función: hospital para enfermos y un panteón para el Cardenal Juan Pardo Tavera, su fundador. En su tiempo fue el edificio privado más grande de Europa, habiendo durado su construcción desde 1541 hasta el principio del siglo XVII. El cardenal Tavera fue arzobispo de Toledo, el Gran Inquisidor, presidente del Consejo de Castilla y gobernador del reino en ausencia del Emperador Carlos I de España y V de Alemania, encargó el proyecto del hospital a Alonso de Covarrubias, que era maestro de la Catedral y arquitecto del Alcázar, el Palacio Real de Toledo.
