La ermita de Santa Ana se construyó reutilizando una antigua torre de cronología andalusí asentada sobre una plataforma de arenisca a la que se accedía a través de una escalera tallada en la roca en el lado meridional. La torre formaba parte de un pequeño recinto fortificado que se adaptó a una superficie rocosa, de unos 30 m de eje este-oeste por unos 15 m de eje norte-sur, en la que gracias a las excavaciones arqueológicas fueron descubiertos restos de estancias, habitaciones, agujeros de poste, silos, canalizaciones y un gran aljibe para la recogida de las aguas de lluvia.

La reforma románica, de finales del siglo XII o comienzos del XIII, consistió en la construcción de un pequeño templo de planta rectangular irregular, ya que se reutiliza el cuerpo inferior de la torre, de cabecera plana al exterior orientada al este y portada abierta en arco de medio punto enmarcado con moldura en resalte y con dovelas lisas en el muro oeste. Sobre la portada se conserva un crismón trinitario de tipo oscense.  En el interior nos encontramos con una pequeña nave cubierta por bóveda de cañón dividida en dos tramos mediante un arco fajón que apea en columnas provistas de capiteles y basas, el presbiterio con bóveda de cañón y la cabecera cubierta con bóveda de cuarto de esfera. Una imposta biselada a la altura de los capiteles recorre cabecera y laterales de la nave. En los paramentos se abrieron cuatro vanos en arco de medio punto, uno en cada muro.

Los laterales exteriores norte y sur de la torre fueron rehechos en la restauración ocultando casi la totalidad de la fábrica original de la fortaleza andalusí realizada con sillares y paños de tapial. La fábrica románica conserva en sus sillares numerosas marcas de cantero.