Ubicado en el punto flanco oriental del recinto, se eleva sobre un cerro de laderas escarpadas dominando la población. Se trata del antiguo castillo-palacio musulmán del siglo XI. Esta data se ha realizado por la gran cantidad de materiales que de esta época han aparecido en las excavaciones arqueológicas.

Actualmente muy deteriorado y alterado, el palacio se levantaba sobre una planta rectangular con torreones de planta cuadrada, acusados en planta con mayor altura y superficie interna que el resto de los torreones que jalonan el recinto. Presentan aparejo de mampostería.

La construcción configuraba un complejo sistema defensivo determinado por la Torre de la Zoma, construida en mampostería, y estaba dotada de medios que permitiera la subsistencia en caso de asedio. En el lado opuesto a esta torre existe un enorme aljibe de planta cuadrada y de capacidad muy considerable. Bajo la Torre de la Zoma hay un profundo túnel, muy inclinado, con escaleras talladas en piedra. Se trata de una excavación realizada para buscar aguas subterráneas para abastecimiento del castillo.

Esta fortificación fue utilizada como cuartel durante las guerras carlistas del siglo XIX, lo que llevó consigo la construcción de nuevas estructuras, prácticamente desaparecidas, entre las que se conservan unos restos de una construcción de planta rectangular, muy arruinada.