Es un edificio perteneciente a la tipología de castillo-palacio.

En su interior presenta las características de un palacio renacentista, con patio de luces, escalera claustral, galería de arcos aragonesa...

Es un edificio de planta cuadrada de unos 25 metros de lado, construido en ladrillo macizo, sin torres, con huecos de ventanas modernizados y rematado por almenas como elemento de fortificación. Tenía un arco que comunicaba el palacio con la iglesia parroquial del cual hoy solo quedan las improntas en los muros. Así como la logia de ventanas que daban al interior y que hoy se encuentran cegadas.

Consta de tres plantas y se organiza en torno a un patio central descubierto, de estructura arquitrabada compuesto por dos plantas de columnas octogonales de piedra, y en un lado, una escalera claustral, bajo la cual está una puerta que como en muchos otros castillos, había un pasadizo que comunicaba con el río.

La entrada es muy sencilla, con arco de medio punto.

Según Ponz, en 1788, todavía se conservaban salones con cuadros, destacando el denominado Salón de los Reyes, con retratos de Felipe el Hermoso y doña Juana, hasta Felipe IV.

Aún se conserva la antigua puerta del entrada al recinto, hoy trasladada justo enfrente de la fachada principal, como ingreso a una propiedad privada.

Se observan diferentes escudos, entre ellos, uno del Cabildo del Pilar, y otro del Cabildo del Pilar y de la Seo.

Conserva prácticamente intacta la cocina de principios de siglo así como dos baños completos, un artesonado completamente restaurado en el Salón de los Reyes y el tejado y las almenas.