Componía un importante conjunto con la vecina colegiata. En la actualidad debido a las destrucciones, resta muy poco en comparación con la magnificencia que tuvo. Se conserva un resto de este palacio, que comprende un prisma de planta rectangular de cincuenta y cinco por veintisiete metros, que consiste en el cuerpo bajo del antiguo palacio, con cuatro grandes contrafuertes. Se mantiene en pie el extremo norte del palacio, que es un cuerpo de planta trapecial, que comprende una estructura de arcos perpiaños que se acusan al exterior mediante estribos. En la sala correspondiente a la planta noble hay una bífora con dos arcos semicirculares, con chambrana y el parteluz perdido. Hay adosado otro cuerpo de menor altura y lienzos de la muralla exterior. En el extremo sur del palacio se conserva una torre cilíndrica con aparejo.

De la muralla medieval de Caspe quedan diversos restos, que destacan entre los que rodeaban el primitivo recinto de la Muela. En algunos tramos aparece la sillería bien labrada del muro con vanos a modo de aspilleras. Junto a la ermita de San Roque se conserva una de las puertas de la segunda expansión de la muralla, está formada por dos arcos de medio punto de sillería entre los cuales se dispone el paso.