Situado entre los ríos Tajo y Jarama, fue utilizado ya como residencia real en época de los Reyes Católicos. Felipe II inició el palacio con los mismos arquitectos de El Escorial, Juan Bautista de Toledo y Juan de Herrera, terminándose en el reinado de Fernando VI, con la incorporación de dos alas en tiempos de Carlos III.