A pesar de su aparente aislamiento actual, el castillo se encuentra situado en un lugar muy estratégico. No sólo domina todo el valle de Fantova, sino el tramo final del valle del Isábena por el sur (zona de Capella). Estaba en comunicación visual con el castillo de Laguarres, hacia el sur, y con los del Mon de Perarrúa y Pano hacia el oeste.

Fantova y su entorno constituyen además un magnífico ejemplo de hábitat feudal, con la fortaleza en lugar dominante y pequeños núcleos, que recibían su protección, en sus alrededores (en este caso Bafaluy y Erdao, con iglesias poco posteriores cronológicamente al castillo).

El conjunto se encuentra situado sobre un escarpado cerro de forma alargada (este-oeste), que contribuye con su relieve a la defensa de casi todo su perímetro.

Este se encontraba fortificado por un muro del cual quedan escasos restos, con un acceso a través de una monumental puerta en recodo, situada en el costado sur, uno de cuyos paños se conserva con cierta integridad. Junto a ella, en dirección oeste, quedan restos del basamento de unos 60 m del muro defensivo perimetral.

En el interior del recinto hay varios edificios de interés: una gran torre exenta de planta circular de gran interés arquitectónico, situada aproximadamente en la parte central. En el extremo oeste quedan restos de otra torre circular, adosada a los pies de la iglesia y reutilizada como campanario. Asimismo, la iglesia de Santa Cecilia propiamente dicha (en el extremo suroeste del recinto), restos de 6 tumbas antropomorfas situadas entre la iglesia y el castillo y un aljibe de planta rectangular en el extremo este del conjunto.

También podemos encontrar en el recinto un cementerio contemporáneo y varias construcciones en ruinas (fundamentalmente al sur de la iglesia) de carácter popular y construcción reciente.

Puerta fortificada. Se trataba de una puerta en doble recodo, de la que se conservan los lienzos correspondientes a la parte interior, quedando del resto solo los arranques; su disposición ha permitido suponer que entre ambos lienzos existiría una estructura de madera a modo de cubierta. El aparejo de los muros conservados es de sillarejo muy tosco dispuesto en hiladas regulares, que contrasta con el muy cuidado material de la torre, lo que ha llevado a suponer (a pesar de la probable contemporaneidad de ambos elementos), el trabajo de dos cuadrillas distintas de canteros (lombardos para la torre, artesanos locales para el recinto defensivo). La parte conservada consta de un largo lienzo con dos prolongaciones más breves dispuestas en escuadra. En una de estas, a la altura del segundo piso, se encuentra un vano cegado de medio punto de difícil interpretación. De acuerdo con su carácter defensivo, el resto de los paramentos carecen de aberturas.

Torre. Es quizá el elemento más destacado del conjunto, tanto por su singularidad arquitectónica cuanto por su temprana fecha de construcción. De planta circular y realizada mediante un sillarejo de pequeño tamaño, consta de cuatro pisos sobre un basamento macizo. La puerta de acceso se abre en alto, a la altura del segundo piso, en arco de medio punto que se prolonga en un breve pasillo abovedado con medio cañón que da acceso a la estancia principal.

Desde esta se accede al piso inferior, totalmente ciego y con cubierta plana de madera, que sería utilizado como almacén. En la estancia principal destaca fundamentalmente la cubierta, que es una bóveda de arista encajada en la planta circular de la torre mediante cuatro arcos abiertos en los muros.

En el pasillo de entrada se abre mediante arco de medio punto la escalera de ascenso a los pisos superiores, embutida en el muro. Tiene una planta adaptada al muro circular de la torre y se cubre con bóveda de cañón seguido. En la parte final se abre una aspillera.

El tercer piso se cubre de nuevo con madera. Su único vano, a modo de aspillera al exterior, es abocinado hacia el interior; comienza en arco de medio punto para terminar hacia el interior con un cuádruple dintel escalonado.

El último piso presenta importantes aberturas de tipo defensivo: siete grandes vanos con un ligero derrame cubiertos con bovedillas de cañón. Habiendo llegado muy arruinado hasta nuestros días, fue parcialmente reconstruido, y se le añadió un remate almenado que probablemente desfigura su aspecto original (las hipótesis más plausibles apuntan a un cierre cónico de este piso).

Necrópolis. Se trata de 7 tumbas antropomorfas situadas al este de la iglesia. Repartidas en dos grupos de 5 y 2 sepulturas, están excavadas en la roca. Presentan escasa profundidad (unos 20 cm) y una longitud media de 1,80 m.