El emplazamiento del Palacio Real de Madrid es el mismo que ocupó el Alcázar de los Reyes de la Casa de Austria, destruido por un incendio el 24 de diciembre de 1734. Felipe V quiso que el nuevo palacio se construyera en el mismo lugar que el Alcázar Real y encarga el proyecto a Felipe Juvara, prestigioso arquitecto de la Corte de los Saboyas. Tras el fallecimiento de Juvara, es sustituido por su discípulo Juan Bautista Sachetti en 1736, el cual remodela todo el proyecto primitivo. La obra se inicia el 7 de abril de 1738 y el 1 de diciembre de 1764 se finaliza, en el reinado de Carlos III.

La planta del palacio es cuadrada, con fachadas que miden 130 m de lado. La superficie alcanza los 100.000 m2. Durante el reinado de Carlos III, Francisco Sabatini amplió el ala dirigida a la calle Bailén, construyó las caballerizas y la escalera imperial. El proyecto contemplaba la colocación de varias estatuas sobre la balaustrada, realizadas por los italianos Domingo Olivieri y Felipe de Castro, escultores principales de Fernando VI. Algunas de estas esculturas están colocadas en el edificio, pero la mayoría de ellas se pueden ver en los Jardines de Sabatini y en la Plaza de Oriente, así como en el Parque de El Retiro.

En las fachadas se combinan dos tipos de materiales, que otorgan el contraste cromático deseado por entonces. El material más abundante es el granito, que se localiza en los basamentos y en muros lisos. La piedra blanca de Colmenar es utilizada para zócalos, columnas y pilastras, cornisas, antepechos, balaustradas, etc. Estos materiales y su disposición son los característicos de las construcciones de la época, constituyendo elementos básicos en la ordenación clásica de los monumentos de Madrid.

Al inicio de las obras, la piedra granítica empleada procedía de localidades como Becerril de la Sierra, Galapagar, Collado Villalba, Alpedrete, Torrelodones y Cerceda.

Desde su finalización, el palacio ha sufrido varias ampliaciones, pero siempre utilizando la piedra granítica de la Sierra de Madrid (Alpedrete, Galapagar, etc.) y la caliza de Colmenar de Oreja. Entre todas las obras de restauración realizadas en el Palacio Real, destaca la reconstrucción de la fachada Oeste, con vistas al Campo del Moro, que fue muy dañada durante la Guerra Civil. Su restauración se inició en 1944 y finalizó en 1964, utilizando piedra granítica de Zarzalejo.

El Palacio Real de Madrid se encuentra en muy buen estado de conservación. Durante la Guerra Civil se produjeron importantes daños en sus fachadas, siendo necesario proceder a una importante intervención entre 1944-1960. Esta intervención permitió la reconstrucción de muchos elementos dañados, sobre todo en su fachada Oeste. En algunas zonas todavía pueden apreciarse los impactos de los proyectiles que afectaron a los sillares. En esta intervención, para la sustitución de la piedra dañada, se utilizó granito de la zona de Zarzalejo y Piedra de Colmenar procedente del banco de explotación denominado sobrebanco.

En 1975 se llevó a cabo otra actuación muy importante, consistente en la limpieza de las fachadas y en la aplicación puntual de tratamientos de protección en la piedra.

La última actuación se realizó entre 2002-2004, con la limpieza y sustitución de los elementos de piedra caliza más dañados con Piedra de Colmenar. Principalmente, en las zonas de cornisas e impostas, recobrando de esta manera su aspecto de original.

A pesar de estas intervenciones se observa la aparición de manchas, provocadas por la filtración de aguas pluviales debido a la ruptura de las bajantes empotradas en el interior del paramento o en zonas de balconadas. Esto ocasiona la oxidación de algunos componentes mineralógicos del granito (biotitas), generándose las manchas marrones que se pueden detectar en algunas zonas.