Los primeros documentos que constan del regio lugar lo relacionan con la dinastía de los Trastamara y las cacerías que realizaban en los montes de Valsaín. Es Enrique IV de Castilla, un amante de la cinegética, el que mandó levantar un primer albergue donde descansar tras las jornadas de campo. Lo hizo en las montañas cercanas y creó una morada y la Capilla de San Jerónimo en el llamado Casar del Pollo. Más tarde, el propio monarca, mandó construir un primer palacio, más modesto que los que vendrían después, en Valsaín. Comienza así la historia de los Reales Sitios.

En 1477, los Reyes Católicos deciden entregar la Casa Real de San Idelfonso a los monjes Jerónimos del Parral de Segovia, quienes decidieron agrandar sus posesiones y construyeron una hospedería y una granja. Tras un tiempo de lento crecimiento, Felipe II se interesa por las tierras que están a los dos lados de los bosques de Segovia. El rey está buscando un lugar donde edificar un monasterio que muestre la importancia de la Corona española. Finalmente se decide por San Lorenzo del Escorial, aunque su afición a la caza hace que acuda con frecuencia a practicar la cinegética a los montes de la hoy ladera segoviana. De hecho, Felipe II descansa habitualmente tras las jornadas de caza en la “Casa del Bosque”, cercana a San Ildefonso.

El monarca decide entonces acometer algunas obras de mejora en ese primer pabellón de caza construido en Valsaín (pequeño palacio) y lo convierte en lugar de reyes. El arquitecto que realiza las obras es Gaspar de la Vega y duran cuatro años (1552-1556). Es esta la época de mayor esplendor del Real Sitio de Valsaín. Nace allí Isabel Clara Eugenia, futura soberana de los Países Bajos hasta 1633. Además, en 1570, se celebraron allí los festejos de la cuarta boda de Felipe II, que se casó con Ana de Austria.

En el siguiente siglo, tanto Felipe III como Felipe IV acuden en alguna ocasión a Valsaín, pero pierde la pujanza de los años anteriores. Sin embargo, en abril de 1697, reinando Carlos II, un fuerte incendio deja la mayor parte del Palacio hecho cenizas. El viejo enclave queda desolado, en su actualidad sólo se pueden contemplar sus ruinas. Sólo se recuperaron algunos materiales de las llamas y la mayoría se usaron en la construcción del nuevo palacio.

Es ya la dinastía borbónica, Felipe V, el que vuelve a fijarse en estas tierras segovianas. El rey acude con frecuencia a descansar a la Granja de San Ildefonso. Tanto le gusta al monarca el lugar que en 1720 le compra a los padres Jerónimos la granja, la ermita y todos los terrenos de los alrededores para hacer una residencia que le aleje del bullicio de la Corte. Un año después, el arquitecto Teodoro Ardemans se encarga de transformar el viejo convento en un pequeño palacio pegado al templo y rodeado de cuatro torres. Pero el afrancesado Felipe V quiere disfrutar de unos imponentes jardines, para lo que se hace llamar a unos paisajistas franceses, procedentes de Versalles (lugar donde él había nacido), que hacen un trabajo al más estilo europeo. A la vez se construye la espectacular fachada que da al jardín, obra de F. Juvara.