El palacio ocupa una amplia extensión de terreno, cercado por una valla. El cuerpo principal del palacio recae al exterior a la Pza. de España, donde forma un interesante conjunto urbano.

La localidad posee un conjunto formado por el palacio de Villahermosa y la iglesia parroquial de Nuestra Señora de los Ángeles.
Construido en el XVI, el palacio fue comunicado con la iglesia parroquial mediante un corredor elevado de más de cien metros de longitud, que desemboca en una tribuna recayente a la nave y al crucero del templo.
Se trata de un edificio de dos plantas de ladrillo al que las sucesivas remodelaciones barrocas y neoclásicas no han alterado en lo substancial el carácter de palacio renacentista italiano. Levantado sobre una planta cuadrada, las estancias interiores se articularon mediante un patio central rectangular con porche adintelado sobre columnas dóricas de piedra de fuste cilíndrico, zapatas y viguería de madera en la planta baja, y vanos rectangulares cerrados en la superior, desde la cual se accede al resto de las dependencias del piso superior, comunicado mediante una monumental escalera imperial, del siglo XVI; a la que se accede a través de una arquería con tres arcos escarzanos sobre columnas toscanas. La escalera se hace doble en el segundo tramo, accediendo en planta noble a una rotonda entre tres arcos de medio punto sobre columnas de piedra. El hueco de la escalera está cubierto por un interesante artesonado mudéjar. La planta noble fue modificada en el siglo XVIII, cegándola y abriendo grandes balcones entre paramentos de ladrillo caravista; como remate, un sencillo alero de media caña. En esta planta destacan dos salones cubiertos por artesonado gótico renacentista del XVI, que aún conservan algún resto de las modificaciones neoclásicas efectuadas en el palacio.
Las fachadas recayentes al gran jardín anejo al palacio fueron transformadas a principios de siglo, colocando estucos decorativos, pero se conservan las dos fachadas urbanas, que exhiben la austeridad y el rigor de la arquitectura de este palacio. La fachada principal se abre hacia la plaza de España y hace un quiebro para contener la puerta de la Villa. Presenta un piso bajo con portada adintelada levemente moldurada con escudo en la clave y huecos enrejados, que se prolongan en la fachada lateral. El piso principal muestra en ambas fachadas una serie de balcones con gran derrame y vuelo sobre ménsulas dobles, de forja. Sobre este nivel y a eje de los vanos se encuentran óculos elípticos y sobre ellos un sobrio alero de madera de canes labrados.
Entre finales del siglo XVIII e inicios del siglo XIX se lleva a cabo un profunda reforma dirigida bajo los parámetros del gusto neoclásico del momento. Al exterior las fachadas se articularán con severos paramentos de ladrillo que disponen en la planta baja un gran portalón de acceso al patio, balcones volados en la planta noble y apertura de óculos elípticos en la planta ático.