El castillo se encuentra sobre un cerro situado en el límite entre los términos de Pano y Panillo, que coincide asimismo con la divisoria de aguas entre los valles del Ésera y del Cinca. Domina totalmente el anfiteatro en el que se asienta el núcleo de Panillo, hasta el fondo del valle. Su situación privilegiada le permite controlar buena parte del territorio del sur de Sobrarbe, divisándose desde él localidades como Olsón. Tiene comunicación visual con los castillos de Laguarres y Fantova, en Ribagorza, y con los de Samitier y Clamosa, en Sobrarbe, así como con los alrededores del castillo de Abizanda.
El conjunto está compuesto por un recinto fortificado, el castillo propiamente dicho, y una iglesia románica situada a sus pies, hacia el sur. En las proximidades de este último edificio encontramos restos muy arruinados de diversas construcciones de mampostería, de difícil identificación dado su estado, que parecen posteriores al conjunto medieval.
El castillo consta de una gran torre circular y de un recinto amurallado, que debía rodear completamente la cumbre del cerro, aunque en la actualidad se conserven únicamente nos 15 m de su costado este, en la zona más próxima a la torre y arrancando de ella.
La torre está realizada con sillares bien trabajados, de gran tamaño, entre los que se disponen a trechos pequeñas piedras cúbicas. Al exterior se conserva un alzado de aproximadamente 5 o 6 m, mientras que el interior está casi en su totalidad colmatado de tierra. Lo conservado parece corresponder a los dos pisos inferiores, habiendo desaparecido una o dos plantas que debieron de existir sobre ellos.
El recinto fortificado arranca del costado norte de la torre. Es una muralla realizada en sillares de menor tamaño y calidad ligeramente inferior a los de la torre. A trechos regulares el muro presenta engrosamientos que al exterior le otorgan la apariencia de disponer de una hilera de torres salientes. El remate superior de este muro también ha desaparecido.
La iglesia, dedicada a Santa Engracia, es un pequeño edificio, de una nave, con cabecera semicircular orientada al este. Está construida en sillares de buena calidad y se encuentra en estado de ruina, habiéndose hundido totalmente las cubiertas (que debían ser de cañón en la nave y de cuarto de esfera en la cabera), el muro de los pies y el tramo final del costado sur.
El acceso, semihundido, se encuentra en el lado norte. Presentaba dos vanos de iluminación, ambos de doble derrame. El mejor conservado se encuentra en el centro del ábside, mientras que el otro, del que solo quedan vestigios, está en el muro de la epístola, próximo a la cabecera.