Se trata de un importante recinto amurallado, fruto de diversas ampliaciones, que rodea completamente el casco histórico de la localidad.
Albarracín nació como una pequeña aldea preislámica en torno a la iglesia prerrománica de Santa María. Desde sus orígenes ha estado marcada por su ubicación, siendo determinante su potencial como lugar defensivo.

En torno al año 965, durante la ocupación musulmana, se desarrolla el primer recinto defensivo. Comprendía la iglesia de Santa María y el Alcázar.
Del alcázar musulmán se conservan los restos de los basamentos de la muralla y de los torreones. Tipológicamente se le puede incluir dentro del grupo de castillos-recinto. El castillo quedaba protegido por tres puertas de las que solo se conserva con claridad la puerta actual insertada en el mismo recinto. Cuenta con once torres de planta circular y una de planta cuadrada. En el nivel superior se encuentra la residencia principal entorno a un patio, bajo el que se localiza un gran aljibe. Al norte del patio ha aparecido parte de un baño musulmán.En la zona sur del recinto pudo localizarse el barrio musulmán.
También de finales del siglo X data la Torre del Andador, que en principio fue una torre albarrana, que se incluyó en el recinto fortificado a comienzos del siglo XI, cuando el aumento de población y la conversión de la ciudad en capital de la taifa gobernada por los Banu Razin, hizo necesaria una ampliación de la muralla. A causa de la gran ampliación el primitivo portal de Hierro quedo dentro del nuevo recinto en el que se abrieron tres portales: al este, el Portal de Teruel, hoy desaparecido; al oeste, el Portal de Molina; y al sur, el Portal del Agua.
El Portal de Molina está formado por dos torreones de planta cuadrada y entre ambos un arco de medio punto de gran dovelaje de sillería.El Portal del Agua, construido para facilitar una salida semioculta de la ciudad en caso de asedio o necesidad de abastecimiento de agua, está adosado a uno de los torreones de la muralla y protegida originalmente por la Torre de la Muela (actualmente no conservada). Consta de un arco de sillería de medio punto hacia el exterior y arco rebajado al interior. Sobre el arco se dispuso una pequeña edificación de cuerpo de guardia, con balcón hacia el exterior y galería intramuros; una escalera desde el interior del recinto permite el acceso al torreón contiguo, de planta cuadrada y gruesos muros de mampuesto rematados con almenas.

En 1169 pasa a manos de los Azagra que la mantendrán hasta 1284, cuando Pedro III conquista Albarracín. En este momento el recinto fue rehabilitado en su mayor parte, algo que también ocurrió bajo los reinados de Jaime II, Pedro IV y, en menor medida, de Fernando el Católico. Su importancia defensiva se perdió en el siglo XVIII, cuando Felipe V desmanteló la fortaleza.

Del siglo XIII o anterior data la torre Blanca situada junto a la iglesia de Santa María.

Será en el siglo XIV cuando se lleven a cabo importantes obras de rehabilitación por Pedro IV. Se acondicionaron las murallas anteriores y se prolongaron hacia el noreste. Se hicieron en mampostería, con muros de 1,60 metros de espesor y 12 de altura, los torreones prismáticos están separados por unos 40 metros y tienen una altura de 16 metros. De esta etapa son los restos que hoy se contemplan.