Al este del casco urbano, sobre un pequeño cerro, se conserva del antiguo castillo únicamente un muro de mampostería bastante rebajado en altura. En uno de sus lados se alza la base de un torreón pentagonal, también de mampostería con las esquinas reforzadas por sillares, que en realidad sería la estructura principal ya que se trataría de una simple torre vígia.

Como datos históricos, se sabe que la antigua Xorcas fue fundada durante el siglo XII cuando se repoblaron estas Tierras de Teruel.  El castillo fue empeñado a Sancho VII de Navarra aunque en 1285 ya pertenecía al obispado, después arzobispado, de Zaragoza; esta situación se mantuvo varios siglos, como indica Juan Bautista Labaña en 1610. El castillo debió construirse en el siglo XIII reformándose en el XVI por orden de Fadrique de Portugal, arzobispo de Zaragoza.

A finales del siglo XX se construyó el depósito de agua encima de los restos del castillo.