La conocida como La Peña se trata de una cumbre elevada sobre el estrecho del río Alfambra, a un kilómetro de la población. Es un lugar idóneo para ubicar un punto defensivo y de control del territorio. Fue, seguramente en época musulmana, cuando se estableció en este lugar una fortificación que podría tener planta rectangular de unos 60 por 40 metros de lado, con paredes de gran espesor con obra de mampostería. Siendo abandonado su uso por las tropas cristianas, quedando sólo como testigo de este destacamento la ermita construida con materiales del castillo y el muro que se conserva hoy en día. Cabe la hipótesis de que en este lugar nunca se hubiera levantado un complejo recinto defensivo, sino simplemente un muro perimetral tan solo vulnerable por una de sus fachadas ya que por el otro lado quedaría el cortado del estrecho del río Alfambra.

Las ruinas visibles hoy en día se componen es un único muro de sillares de piedra en cuyo centro se abre un pequeño vano adintelado que serviría de acceso.