La construcción del Palacio Episcopal tuvo lugar a finales del siglo XV (entre los años 1498 y 1506), y su cometido era albergar a los obispos de la diócesis de Plasencia.
Fue el Obispo de Plasencia Gutierre Álvarez de Toledo quien construye el Palacio Episcopal. Álvarez de Toledo también fue el promotor de la construcción de la Catedral Nueva de Plasencia.
Los emblemas de este obispo de Plasencia pueden verse en varios sitios del edificio: los encontramos sobre las ventanas que vemos a la derecha en el piso alto. También están a ambos lados de la puerta principal.
El edificio ecléctico que tenemos hoy, es fruto de las múltiples modificaciones que han ido ocurriendo en él a lo largo de los siglos.
El Obispo Gutierre Vargas Carvajal reformó la portada principal en el siglo XVI. También encontramos sus escudos en varios sitios del edificio. Sus armas se encuentran en la planta superior, en la tercera ventana. Además podemos encontrarlas en todas las ventanas de la planta baja, sobre la puerta y en el callejón del Obispo.
Este Obispo Vargas Carvajal también reforma parte del patio principal, en el cual encontramos un artesonado en estilo renacentista de esta reforma.
El Obispo Pedro Ponce de León también en el siglo XVI realiza una reforma para albergar una biblioteca con una colección de códices que después se donó al Monasterio de El Escorial. Además durante su mandato se diseñó un patio con cisternas para almacenaje de agua.
Durante del periodo que fue Obispo González Laso, en el siglo XVIII, se añadieron salones en estilo colonial, así como un oratorio.
Actualmente, una parte del edificio se puede visitar. En la parte no visitable encontramos los servicios administrativos y el archivo de la Diócesis de Plasencia así como la biblioteca del antiguo colegio de los jesuitas.
