Como muchos otros de la zona, este castillo fue conquistado por el Cid durante su exilio en el 1071, volviendo a manos musulmanas poco después. Fue definitivamente conquistado por Alfonso I en 1120 poco después de la caída de Calatayud. Fue entregado por el monarca a la orden Militia Christi, fundada por él mismo para defender la frontera sur de su reino; en 1134 esta orden se unió a la del Temple. Dos siglos después, en 1362, Bubierca y su castillo cayó en poder de los castellanos aunque pronto volvió a manos aragonesas. El castillo vigilaba un meandro del Jalón desde lo alto de un espolón rocoso, en cuyas laderas se apiña el caserío. El castillo, al perder importancia, en el siglo XV según el Padre Faci, fue transformado en ermita bajo la advocación de la Virgen de la Esperanza y la torre adquirió la función de campanario. Hoy en día, la ermita está en proceso de restauración y de la torre quedan escasos restos debido a un reciente derrumbamiento. La torre era de planta cuadrada, construida en tapial y de unos 5 metros de lado, presentando unos contrafuertes en el lado que da a la ladera.