El castillo de Albarracín es el primer eslabón del complejo fortificado del lugar y origen del mismo.
El castillo principal de la Torre del Andador, de planta cuadrilátera y bastante extensa, se alza, todavía hoy, en la cúspide del casco urbano más antiguo, la llamada "ciudad", a 1242 metros de altitud y dominando la muy próxima catedral. Fue la fortaleza y tal vez alcázar de los Ibn Razín, y hoy podemos contemplarlo con sus muros de piedra muy rebajados y con un par de torreones redondeados en las esquinas.
Declarado Monumento Histórico Artístico el 3 de junio de 1931, junto con la muralla.