El castillo de Torrecilla del Rebollar formaba parte de una línea de fortificaciones creada por Ramón Berenguer IV entre 1142 y 1150 para la defensa de la frontera, con Segura de los Baños, Torre los Negros, Castel de Cabra y Torre de Arcas. Desde su fundación perteneció al señorío de Daroca y posteriormente a su Comunidad de aldeas, sesma de Barrachina. Con el avance fronterizo del reino cristiano fue perdiendo importancia por lo que fue abandonado. Se reconstruyó por orden de Pedro IV en 1356 ante la inminente ofensiva castellana. Sin embargo el lugar no llegó a ser asediado por los invasores y el castillo se abandonó definitivamente.

Los restos de este castillo-refugio se alzan sobre una pequeña loma, no lejos de la iglesia. Se componen de un muro de mampostería, con planta redondeada y de unos 30 metros de diámetro, pero muy rebajado en altura. En algunas partes de este muro parece ser que se alzaban algunos torreones, de los que poco se conserva.