En el siglo XVIII se construyó el primitivo colegio en torno al Patio de Palafox. Patio realizado en ladrillo en torno a un espacio de planta cuadrada, desarrollada en cuatro plantas, siendo la superior una ampliación del siglo XX siguiendo un criterio compositivo unificador. La planta baja abre al patio con arcos de medio punto doblados que apean en potentes pilares con pilastras adosadas. Los pisos superiores repiten este esquema de arcos, si bien de menor tamaño y parcialmente ocupados por ventanales, habiendo varios huecos modificados. Entorno a este patio se organizaban los espacios dedicados a aulas y a residencia de los alumnos.
El Patio de la Rotonda y la escalera noble fueron realizados en las ampliaciones en el siglo XX. El patio se desarrolla en torno a espacio elíptico en eje con el acceso exterior. En planta baja, doce estilizados pilares prismáticos sostienen arcos deprimidos rectilíneos que separan el óvalo central de la parte cubierta decorada con un zócalo cerámico al que abren puertas y ventanas con forma de óculo, con ménsulas con decoración vegetal en las claves. El primer piso repite la composición, con menor altura y cerrándose los vanos con cristaleras que forman una galería de arcos de medio punto sobre antepechos decorados con láureas con frases del Antiguo Testamento. Una balaustrada de hierro remata el tercer piso que se encuentra retranqueado, la balaustrada de inspiración renacentista pero con notables innovaciones formales que dotan a la composición de elegancia y ligereza. En un ángulo del patio, tras una puerta, se localiza la escalera noble, dispuesta sobre un espacio de planta oval cubierto con cúpula elíptica; presenta un interesante diseño con un perfil alabeado, apoyando únicamente en dos columnas y dos grandes ménsulas; una balaustrada de madera refuerza el sentido dinámico de la composición. Los capiteles de las columnas están decorados con motivos vegetales, al igual que las ménsulas de madera, talladas a base de roleos y hojas de acanto.
El patio de la Fuente se sitúa entre los patios de Palafox y de la Rotonda; presenta planta rectangular y una gran sencillez compositiva en altura, destacando los soportales que abren la planta baja, con arcos deprimidos rectilíneos apoyados en sencillos pilares y decorados con escudos de la Orden en las claves. Los pisos superiores presentan como única articulación mural sencillos ventanales adintelados.
A comienzos del siglo XX, Miguel Ángel Navarro diseñó un cuerpo de fachadas que resolvía la unión de construcciones de tres y cuatro plantas, cerrando visualmente el bloque del colegio. Emplea un lenguaje de raíz neorrenacentista con algunas variaciones en las distintas fachadas pero dándoles un sentido unitario basado en el uso de vanos en arco de medio punto, pilastras gigantes e impostas horizontales que resuelven la diferencia de pisos, y el remate con una galería de arcos que recorre las distintas fachadas. El carácter monumental de la composición queda aligerado por las esquinas redondeadas y el resalte de los ejes que se corresponden con los accesos, en ligero avance con respecto a la línea de fachada y que en el caso de la puerta principal tuvo un mayor protagonismo por incluir esbeltas torres, hoy desaparecidas al igual que la cúpula del observatorio.

El edificio, de notables proporciones, muestra al exterior una imagen compacta, de gran rotundidad volumétrica y cierta monumentalidad, fruto de la ampliación llevada a cabo a principios del siglo XX, de carácter historicista, aunando elementos formales renacentistas y tradición local. En el interior hay que destacar dos de los patios, el denominado Patio de Palafox, elemento central de la edificación del siglo XVIII, estructurado en cuatro plantas, la última añadida en el siglo XX, que muestran el mismo esquema de arcos de medio punto entre pilastras, estando abiertos en la planta baja formando soportales. Por otro lado, el llamado Patio de la Rotonda, construido en la ampliación del siglo XX de planta oval, con corredor cubierto en planta baja y dos pisos, el primero con galerías acristaladas; en conexión con el patio se halla una escalera de singular diseño alabeado, sostenida por columnas y ménsulas labradas. La obra historicista también supuso la renovación de las fachadas, a las que Navarro dotó de un marcado acento neorrenacentista gracias al uso de las pilastras, las impostas de separación entre los pisos y la galería de arcos de medio punto que recorre la parte superior.
El edificio agrupa dependencias destinadas a la docencia y otras de carácter residencial, junto con varios patios que estructuran el conjunto, el cual se completa con la iglesia que ocupa parte del flanco norte.