La cima del cerro donde se encuentra el castillo está ocupada también por dos edificios de construcción posterior, la iglesia y la casa abadía. Con la primera (del siglo XVI) compone un interesante conjunto histórico-artístico. La segunda (siglos XVII-XVIII) alberga en la actualidad el Museo de Creencias y Religiosidad Popular, que utiliza la torre del castillo como sala de exposiciones temporales.
Se trata de un castillo, o recinto fortificado, compuesto por un muro y restos de algunas torres. En el extremo norte del recinto se eleva la única torre que se conserva completa, que cerraría la fortificación por ese lado. En el interior del recinto había una pequeña iglesia románica, que apareció durante la restauración de la abadía. La iglesia es de pequeñas dimensiones, construida en sillarejo, y constaba de nave única cerrada por ábside semicircular. Éste estaba cubierto por bóveda de horno. El ábside y el arranque de la bóveda se conservan adosados a la casa abadía, mientras del resto sólo puede verse parcialmente la cimentación.
El recinto amurallado protege la torre por los lados sur, este y oeste. Está realizado en sillarejo con un aparejo distinto al de la torre y con mortero muy duro. Próximo a la torre, en el ángulo noreste, se conserva el arranque de un bastión. Constó además de otros tres bastiones en los lados este, oeste y sur, unidos por un muro.
La torre del castillo de Abizanda se ha conservado prácticamente tal y como se construyó en el siglo XI, completándose además con un recinto amurallado.
La torre presenta planta rectangular con una superficie de 13,64 por 8,16 metros de lados externos, con un espesor de los paramentos hasta la altura de la puerta de casi dos metros, dejando un espacio interior habitable de algo más de 40 metros cuadrados en las plantas inferiores, mientras que la última es de 60 metros cuadrados, dado el progresivo estrechamiento de los muros. La torre de Abizanda es una de las más espectaculares del Alto Aragón, con alrededor de 24 metros de altura repartidos en cinco plantas, todas ellas realizadas con pisos de tablas apoyados sobre vigas que a su vez se apean en retallos en cada uno de los muros. La fábrica de la torre de Abizanda presenta dos clases de aparejo distintos, y por tanto, dos fases de construcción. La obra de la parte inferior de la torre correspondería a la torre levantada a finales del siglo X destruida en el año 1006 por las tropas musulmanas, y sobre la cual se construyó unas décadas más tarde el resto de la torre hasta alcanzar 24 metros. Se trata de una construcción realizada por maestros lombardos que permite calificarla en el más antiguo estilo románico, donde cabe destacar la única puerta de acceso, de un metro de anchura situada a una altura de más de 6,50 metros abierta en su muro sur.
En la parte baja de la torre y hasta aproximadamente tres metros, la obra es de sillares muy bien escuadrados, de cromatismo más claro y de textura granulosa, sin embargo, a partir de ahí, la fábrica es de sillarejo más pequeño, de color ocre con incrustaciones de microfósiles, asentado con argamasa de gran dureza.
La planta inferior, bajo la puerta, se encuentra cegada con tierra hasta una altura de aproximadamente tres metros, que correspondería a un relleno antiguo que se introdujo intencionadamente con finalidad defensiva, para evitar un posible ataque a la parte baja de la torre mediante una zapa o fuego. Las excavaciones arqueológicas dieron a conocer que este relleno estaba formado por acumulación de tierras sueltas mezcladas con cascotes, trozos de losas y tejas, argamasa, piedras y restos de carbones, en la parte inferior se hallaron fragmentos de cerámica de ollas en pasa gris o negruzca correspondientes a los siglos XI al XV, además de restos óseos de animales que sirvieron de alimentos a sus habitantes. Ese espacio presenta seis aspilleras, dos al norte y al sur, y una en los muros este y oeste, abiertas sobre el aparejo más antiguo que corresponde posiblemente al siglo X.
En la planta segunda de la torre está el acceso. La puerta presenta un metro de anchura y se sitúa a una altura de más de seis metros del nivel del suelo, abierta en el paramento sur, mirando al patio de armas para favorecer la defensa de acceso al interior. La puerta es adintelada y sobre ella se observa un arco de medio punto de pequeñas dovelas, en su interior destaca la viga de madera original con los huecos en ambos extremos para los quicios, que indican que la puerta era de doble hoja de madera. Se llegaría a la misma mediante una escalera de mano que se colocaría y retiraría desde el interior. En la actualidad se ha construido una escalera de madera pegada a la pared para facilitar el acceso a los visitantes.
En esta segunda planta se ha realizado una obra de carpintería intentando reproducir el aspecto que debía tener en su origen en los distintos pisos y la comunicación que habría entre ambos. Así mismo, presenta una aspillera en el centro de cada uno de sus paramentos, las del este y oeste están en una cota más elevada y más bajas las aspilleras del muro sur y norte.
Posiblemente en la tercera planta habitaban los moradores de la torre. En este piso se observa una ventana abierta en el centro del muro oeste compuesta por un doble arco de medio punto con mainel y un capitel trapezoidal desde la que se controla el territorio occidental de la comarca de Sobrarbe y el camino que llegada desde Aínsa. En el muro este se observa una ventana de doble arco que fue tapiada para convertirla en un armario o en una capilla, creando una habitación de uso restringido dado que sus paredes se pintaron de color rojizo.
En el ángulo formado por los muros este y sur se construyó un retrete en un espacio rectangular al que se accede a través de una puerta adintelada y sobre ella un arco de medio punto similar al de la puerta de acceso de la torre. Se ha conservado parte del asiento de obra con su evacuatorio que salía en pendiente al exterior por ese paramento, este retrete se iluminaba por dos pequeñas aspilleras en los muros este y sur.
La cuarta planta también debía ser habitable, dado que en el muro sur se abre una ventana de doble arco de medio punto mirando al patio de armas. En este muro sur se observa una aspillera, así como otras de igual factura en los muros este y oeste. La quinta planta era exclusivamente defensiva, con total finalidad de vigilancia del terreno, en ella se almacenaban las piedras para ser arrojadas desde lo alto, el suelo de tablas se apoya sobre dos arcos de medio punto, y tiene en el centro de cada uno de los muros una estrecha puerta en arco accediendo al cadalso de madera que recorre exteriormente el perímetro de la torre.
En la reconstrucción de la torre del castillo de Abizanda se cerró el cadalso dejando solo unas pequeñas aperturas por razones de seguridad para los visitantes, pero en origen se trataba de una construcción de madera muy ligera y abierto en todos sus frentes para facilitar el lanzamiento de piedras el disparo con arco.
Asimismo, en las obras de restauración no se obtuvieron datos suficientes para conocer como debió ser la primitiva cubierta, si a una sola vertiente o a dos, ni tampoco los materiales que se utilizaron, por tanto, se siguió el criterio de hacer el nuevo tejado a cuatro vertientes para garantizar su resistencia y facilitar su acceso a la hora de reparaciones.
El recinto amurallado que rodea la torre de Abizanda, se conserva en gran medida. Este lienzo de muralla es de obra de sillarejo y argamasa y parece en su conjunto una obra inmediatamente posterior a la de la torre principal. Cabe destacar que en el muro mejor conservado, situado al sur de la torre presenta un aparejo con una disposición de hiladas diferente al resto de los muros, pudiendo tratarse de una construcción anterior a éstos, correspondiente quizá a una torre albarrana separada del recinto, según algunos autores. Se trata de un lienzo rectangular e irregular, de alrededor de sesenta por veinticinco metros, articulado en cuatro pequeños cubos cuadrados desiguales y en diferente estado de conservación. El cubo del lado este se utilizó para construir en su interior la bóveda de cuarto de esfera del ábside, precedido de la bóveda preabsidial de medio cañón, correspondiente a una pequeña iglesia de planta ligeramente rectangular descubierta en 1998 al desmontar la antigua casa de la abadía que estaba adosada a la parte exterior de este lienzo de muralla. En este muro se observan dieciséis estrechas aberturas, a modo de aspilleras rectangulares, casi sin derrame, que perforan a distintas alturas la parte baja del ábside y del arco del presbiterio, que aparecen también en el lienzo de la muralla a la izquierda. Posiblemente se trata de aspilleras que defendían el primitivo camino de subida al castillo que discurría por el flanco este del mismo.