Población fronteriza entre Aragón y Castilla, siempre estuvo relacionada con Ariza como aldea suya y, por tanto, fue propiedad de los Rebolledo de Palafox. En 1436 Torrehermosa fue vendida al vicecanciller Juan de Funes. Desde 1611 perteneció a los marqueses de Ariza.

Del castillo propiamente dicho sólo queda una torre situada sobre un pequeño cerro muy próximo a la iglesia de la población.

Esta torre, de posible origen musulmán y posteriormente reformada, está rebajada en altura, con aparejo de piedras irregulares unidas con argamasa. Es de planta circular.