Situado entre los ríos Tajo y Jarama, fue utilizado ya como residencia real en época de los Reyes Católicos. Felipe II inició el palacio con los mismos arquitectos de El Escorial, Juan Bautista de Toledo y Juan de Herrera, terminándose en el reinado de Fernando VI, con la incorporación de dos alas en tiempos de Carlos III.
se encuentra junto a la fachada sur (que da a la plaza de Murillo, frente al Jardín Botánico) la cual muestra un vano adintelado, de acceso al interior, y una logia o galería con seis columnas de orden corintio sobre las que se apoya un entablamento. Junto a la estatua de Goya y Velazquez forma el trio artistico.
Frente a esta puerta está ubicada la estatua de Velázquez, obra del escultor Aniceto Marinas. El pedestal es de Vicente Lampérez. Tiene una dedicatoria: Los artistas españoles, por iniciativa del Círculo de Bellas Artes, 1899. Este monumento se inauguró el día 14 de junio de ese mismo año con la presencia de la Reina Regente y de Alfonso XIII.
en la fachada que da al Paseo del Prado, se encuentra la Puerta de Velázquez, con un frontis de orden dórico que incorpora el relieve del ático, y las estatuas y medallones alegóricos al rey Fernando VII como protector de las ciencias, las artes y la técnica
El convento de San Jerónimo «el Real», conocido popularmente como «Los Jerónimos», fue uno de los más importantes de Madrid, si bien de él ya sólo queda la iglesia. El claustro, fue muy deteriorado por el ejército napoleónico y actualmente ha quedado incorporado a la ampliación del Museo del Prado, diseñada por el arquitecto Rafael Moneo, lo que popularmente se conoce como «El cubo de Moneo».