El edificio se encuentra en uno de los flancos de la plaza Mayor.

Es una gran construcción de sillería, de cuatro plantas, la última de las cuales dispone de una galería de arquillos, bajo el gran alero de madera y junto al emblema del fundador.

En la fachada de la plaza destaca la profusión de vanos de ventana, algunos de ellos abalconados.

Su portada recae sobre la calle lateral y comprende un arco-portada de medio punto enmarcado con pilastras, bajo entablamento, que cobija el escudo de Gil de Jaz.

Junto a esta portada en ángulo recto, se sitúa la de la iglesia de San José de Calasanz, ligada al Colegio. Su portada es más sencilla, de medio punto, sobre cuya clave se encuentra el escudo de las Escuelas Pías.

La iglesia, fundada en 1760, consta de una sola nave de cuatro tramos cubiertos por bóveda de medio cañón con lunetos con cabecera poligonal hacia el interior. Los tres últimos tramos presenta a cada lado capillas entre contrafuertes con poco fondo y cubierta de medio cañón. Tiene coro a los pies sustentado en tres arcos de medio punto. Sobre las capillas discurren galerías, cuyas tribunas se cubren con celosías de madera.