Se trata de los restos de un recinto irregular y quebrado que se escalona sobre el monte formando una serie de paredes de mampostería reforzadas por torreones cuadrados, ya muy rebajados en altura.

A media altura destaca una gran torre de planta rectangular de unos ocho por diez metros de lado, con toda su fábrica en mampostería excepto en las aristas que las refuerza con sillares bien labrados.

Estaba estructurada en tres plantas. En la segunda se situaba la puerta de ingreso mirando hacia el sur, pero de ella apenas quedan vestigios; sobre la puerta presenta sendas aspilleras, con gran abocinamiento interior, que iluminaban una sala superior. La planta más alta ha desaparecido y pudo ser una terraza almenada.

A sus pies, junto a la base del monte, se levantó en tiempos posteriores una ermita en honor de Santa Ana, de la que toma el nombre actual.