El castillo fue fundado por los musulmanes en los inicios del siglo XI (hacia el año 1030), ante los avances que el rey Sancho el Mayor de Navarra estaba haciendo en la zona. Fue conquistado por Sancho Ramírez en 1083. En 1084 el castillo fue reedificado por iniciativa de este rey. Poco después donó al monasterio de San Juan de la Peña la mitad de los bienes señoriales y otros derechos del castillo y puso su gobernación en manos de tenentes, situación que perduró quince años.

A partir de 1099 pasó a propiedad de los monjes del monasterio de Montearagón por donación de Pedro I. En su poder se encontraba en 1267 cuando Jaime I lo recuperó al instituir la baronía de Ayerbe en favor de su hijo natural Pedro. El hijo de este cambió la villa y castillo por el señorío de Paternoy en 1329 y desde entonces perteneció a la reina Leonor y a su hijo Fernando, a quien se lo arrebató Pedro IV.

Posteriormente, la baronía fue vendida a Pedro Jordán de Urriés, y en su poder estaba cuando en 1396 fue asediado por las tropas del conde de Foix en su intento de invadir el reino de Aragón.