Mandada construir por Abu Yafar al-Muqtadir, segundo rey de la dinastía Banu Hud, entre el 1049 y el 1081, sobre los restos de una fortificación anterior, como lugar de recreo, entonces a extramuros de la ciudad; con la disolución del califato añadió a esta función la de fortaleza.
Fue conquistada por Gastón de Bearn en el 1118, mientras el rey Alfonso I estaba en Castilla.
A principios del siglo XIII pasó a servir como residencia (las más de las veces ocasional) de los reyes aragoneses que la fueron reformando y ampliando sucesivamente: en 1292 Jaime II ordenó hacer reformas para su función militar y palaciega; Pedro IV lo reforzó ante la amenaza castellana realizando dos capillas (San Jorge y San Martín) y un palacio mudéjar; los Reyes Católicos mandaron construir el llamado Salón del Trono y otras salas en 1488 aunque posteriormente hicieron inscribir la fecha de 1492; en 1593 Alonso Vargas lo convirtió en ciudadela fortificada según los diseños del ingeniero Tiburcio Spanocchi; años después, en tiempos de Felipe V se adaptó para cuartel respetando murallas y torreones; en 1772, reinando Carlos III, se añadió un cuerpo rectangular con torres cuadradas en las esquinas posteriores; tras los desperfectos de la guerra de la Independencia, Isabel II mandó destruirlo pero finalmente mantuvo su misión de cuartel, función que tuvo hasta hace pocos años. En 1931 fue declarado Monumento Nacional y en 1947 dieron comienzo las obras de restauración dirigidas por Francisco Íñiguez Almech, en las que se recuperaron importantes zonas del edificio.
Actualmente, parte del inmueble está ocupado por las Cortes de Aragón.
En obras de restauración recientes, han aparecido diversas techumbres mudéjares e incluso pinturas murales, semejantes estas últimas a las del castillo de Alcañiz.
La planta del edificio es rectangular de 87 por 78 metros de lado.
La fachada principal está ocupada por cuatro torreones semicirculares de piedra sillar y dos circulares y de la misma factura en las esquinas, aunque de menor altura; en altura presenta una galería de arcos carpaneles. La puerta de acceso se abre entre dos torres y está descentrada respecto al eje de simetría del castillo; presenta un arco de herradura con doble rosca descentrada.
La denominada torre del Homenaje, seguramente sea el elemento más antiguo y origen del castillo; construida en piedra en la base y tapial el resto, presenta cinco pisos, tres de época musulmana y dos posteriores; fue construida entre los siglos IX y XV.
En el resto del edificio se encuentran otros elementos de época musulmana como el patio de Santa Isabel, el pórtico norte en el que se encuentra la mezquita (de planta cuadrada pasando a octogonal) y el pórtico sur con arquerías de diferentes épocas.
Al palacio medieval cristiano corresponden la iglesia de San Martín, la desaparecida iglesia de San Jorge y los salones de Pedro IV, coronados por espléndidos alfarjes; esta parte se construiría entre los siglos XII y XIV.
De la época de los Reyes Católicos son la monumental escalera con la que se accede al piso superior, el Salón del Trono (con su magnífico artesonado), las Salas de Pasos Perdidos y la alcoba de Santa Isabel.