La casa natal del conde de Aranda se encontraba en el extremo sureste de la localidad. En este lugar nació en el año 1719 el noveno conde de Aranda, Pedro Pablo Abarca de Bolea y Ximénez de Urrea.
En la actualidad del antiguo palacio solo quedan los cimientos, excavados, protegidos y cubiertos en su mayor parte, y también se conserva parte de la muralla y un torreón circular en una esquina, al que se accede por una escalera de peldaños de piedra desde la plataforma superior donde estaba el palacio. En el año 1998 se llevó a cabo la limpieza y desescombro del entorno del castillo, así como del interior de la base del torreón, con la recuperación de los sillares que se encontraran en mejor estado de conservación. Se realizó la excavación de los arranques de los muros, hasta una profundidad de unos sesenta centímetros, para efectuar su completo saneamiento. En tres caras del torreón, fue necesaria la reposición de los muros de piedra, ejecutados a base de sillares de piedra arenisca de recuperación, canteando todos aquellos de nueva labra, en los casos necesarios. Se realizó el ajardinamiento de los espacios exteriores previamente delimitados por el arranque de los muros del castillo. Las excavaciones realizadas en la zona permitieron recuperar el perímetro del edificio, los primeros peldaños de una escalera, la base de distintas estancias y un pozo.
La documentación fotográfica, arqueológica y los escritos de historiadores como Pedro Blecua, que según lo describió a finales del siglo XVIII “tiene su palacio con cuatro torreones de cantería, a manera de castillo y fortaleza de moros”, y Ricardo del Arco han permitido conocer cómo era el edificio antes de su desaparición.
En la descripción que hizo Ricardo del Arco del palacio de Siétamo, en un artículo publicado en 1918, destacaba una enorme torre robusta de grandes sillares orientada hacia la plaza Mayor de Siétamo, de planta ligeramente rectangular, de 20 m de alto por 11 de ancho por su cara mayor, que estuvo almenada y con matacanes en lo alto. En la actualidad de esta torre solo se conservan los cimientos y varias hiladas de su alzado. Según el historiador la torre y el palacio eran del siglo XIV aunque luego se le agregaron estancias a ambos lados y también se añadió en el remate de las habitaciones del palacio una galería de ladrillo. Junto a la torre “había un arco por el que se entraba al castillo desde el pueblo, pasando antes por otra puerta abierta en la muralla. Sigue un típico pasadizo con dos arcos, y se entra a un descubierto o plaza de armas. A mano derecha está el palacio, que ostenta ventanas góticas con mainel, hoy cegadas, y matacanes sobre la puerta de entrada. En el siglo XVIII se añadió en el remate una fea galería de ladrillo. De esta época es también un cuerpo que hay a mano izquierda, para cuadras, etc., que se comunica con el palacio por un pasadizo cubierto. La puerta de entrada a aquél es de arco circular; en el patio hay dos arcos robustos, uno de medio punto y otro ojival, que arrancan del pavimento y sustentan las vigas del techo. A mano derecha está la escalera. En su primer rellano hay una mazmorra. Acaba en otro rellano con galería arqueada y antepecho de yesería. Estos son adición del siglo XVII. A la izquierda, una gran puerta da entrada a las habitaciones palacianas, espaciosas, aunque divididas hoy por tabiques. Enfrente de la escalera hay otras habitaciones. Se conserva la sala y la alcoba (con molduras doradas) donde nació el conde de Aranda, el célebre ministro de Carlos III. Hay otra, del siglo XVIII también, con azulejos en el zócalo, y una chimenea. La muralla que rodeaba el castillo en la parte baja, junto a la actual carretera de Huesca a Barbastro, tenía en los flancos altos cubos almenados. Se conserva uno, al que añadieron modernamente sobre las almenas unos feos remates puntiagudos”.
En las fotografías antiguas se puede ver cómo era la fachada meridional del palacio, construida en sillería y con tres alturas. En el piso inferior, en disposición central, se situaba la entrada en arco de medio punto de grandes dovelas de piedra, y en la planta superior había una galería de arquillos de medio punto de ladrillo. A ambos lados de la fachada se alzaban dos torres cuadradas. En otra fachada había ventanas góticas, geminadas y con arcos apuntados.