En Bolea hubo un importante castillo musulmán y, tras la conquista aragonesa, una fortaleza cristiana que pervivió a lo largo de la Edad Media. Sin embargo, desde que los historiadores comenzaron a preocuparse por ubicar sus posibles restos, ha existido un gran confusionismo a la hora de identificar y localizar este castillo entre las obras dispersas a lo largo de los cerros de la parte alta del pueblo, de forma que hoy continuamos sin conocer con seguridad su situación y características.

Por lo que respecta al castillo andalusí de Bolea, tradicionalmente se consideró que un muro de aterrazamiento ataludado que existe inmediatamente al sur de la colegiata, reforzando el terreno en el que se asienta el templo, era una parte de la muralla de esta fortaleza, realizada con sillares dispuestos a soga y tizón que parecen presentar un cierto almohadillado. Sin embargo, en las últimas décadas investigadores como Castán y Asensio han desestimado esta identificación debido a su falta de relación constructiva con cualquier obra andalusí de la región y a su vinculación directa con la fábrica de su colegiata, y parece que hoy en día podemos descartar esta identificación y considerar dicho muro como una obra del siglo XVI cuya función es únicamente garantizar la estabilidad de la iglesia.

Por otro lado, el arqueólogo José Ángel Asensio ha localizado recientemente en la ladera noroeste del denominado cerro del Castillo, inmediatamente al oeste de la colegiata, una estructura construida que presenta un aparejo muy diferente, a la que ha identificado como parte de la fortaleza andalusí documentada tanto a través de las fuentes árabes como de las cristianas. Se trata de dos tramos de muro de grandes sillares dispuestos en hiladas no regulares cuyo módulo y disposición sí recuerdan a los de otras obras islámicas. Es, sin embargo, de una hipótesis que todavía requiere ser comprobada.

Desconocemos si la fortaleza medieval cristiana que existió en el lugar tras su conquista definitiva en 1101, cuya existencia también ha sido constatada gracias a la documentación, reaprovechó total o parcialmente la obra defensiva andalusí o si fue construida de nueva planta. En cuanto a la identificación de sus posibles restos, existe en la plataforma superior del cerro del Castillo una estructura rectangular de unos 28 x 17 metros que ha sido relacionada por autores como Cristóbal Guitart con este castillo cristiano. Se trata de una fábrica de mampostería bastante regular, reparada con ladrillos en algunos puntos, que se eleva poco más de un metro del suelo a lo largo de gran parte de su perímetro. Sin embargo, ya en 1983 Antonio Naval relacionó estos restos con el antiguo cementerio de la villa (idea que viene reforzada por otra de las denominaciones populares de ese cerro, que también es conocido como Fosal Viejo) y más recientemente Asensio ha abundado en esta hipótesis, que tampoco ha podido ser comprobada hasta el momento, por lo que solo podemos apuntar en la actualidad las dos posibilidades.