Las fachadas noreste y noroeste se orientan extramuros, siendo la parte mejor fortificada del castillo. Su base tiene forma de talud, por estar cimentadas a nivel mucho más bajo.

La fachada noreste se encuentra al mismo nivel que el terreno exterior, por lo que se construyó un foso ante ella, que se salvaba mediante un puente para alcanzar la torre puerta.

Esta fachada queda centrada por una torre de planta rectangular, de unos 10 por 8 metros de lado, y que constituye la puerta de entrada al recinto; esta se abre en la parte inferior por medio de un arco de medio punto adovelado sobre la que figura el escudo de los Heredia; la puerta interior sin embargo se abre en arco apuntado. Interiormente esta torre se divide en dos pisos que se abovedan con cañón.

La esquina oriental de la fachada está ocupada por una torre cuadrada de 11 metros de lado, que presenta interiormente dos plantas y un subterráneo que seguramente hizo función de mazmorra; la estancia de la planta principal corresponde al dormitorio principal del castillo, que en la actualidad alberga una biblioteca especializada. Ambas torres y la fachada conservan las ménsulas de la cornisa continua de matacanes.

La torre del ángulo norte, a diferencia de las demás, presenta planta octogonal ligeramente irregular, y consta de dos cámaras cuadradas superpuestas en altura; por la altura exterior de la torre, que no rebasa la rasante del edificio, es fácil suponer que perdió una planta.

El muro noroeste presenta paramentos sobrios y carentes de articulación, a excepción de tres hileras de estrechos vanos que iluminan las tres estancias que se superponen el altura, distribución por otro lado poco frecuente en castillos españoles. Estas salas poseen unas dimensiones de 32 por 8,50 metros; la sala superior pudo ser, según Almagro, la sala principal del castillo, ya que conserva su primitiva puerta abierta en arco apuntado directamente al patio; durante el siglo XVIII fue transformada en iglesia barroca.

Por debajo de esta quedan otras dos salas de escasa altura, que se cubren con cañón reforzado con fajones, sistema que por ser ya poco frecuente hacia 1400 ha llevado a algunos investigadores a datar a estas salas en el siglo XIII, como la parte de mayor antigüedad del castillo.

En el ángulo occidental se levanta la parte de mayor interés del castillo, y una de las más originales de la arquitectura fortificada a nivel nacional; se trata de una torre o espigón de 21 por 16 metros, cuyo eje oblicuo sobresale respecto de sus fachadas laterales; posee dos plantas de altura, ocupadas por salas rectangulares de 15 por 9 metros, cubierta la inferior con bóveda de medio cañón y la superior con dos bóvedas de crucería sencilla, correspondiendo a la primitiva capilla de la familia Heredia. La torre culmina en un semioctógono, con el remate alterado y rebajado.

Las fachadas suroeste y sureste se orientan intramuros. La fachada suroeste conserva las ménsulas de la cornisa continua de matacanes; esta fachada alberga otra puerta de entrada al recinto, en arco apuntado, por la que desciende una rampa en zigzag hasta la excolegiata, levantada junto al castillo, en un nivel inferior, intramuros.

La fachada sureste presenta un gran balcón ligado a la torre oriental, y dos huecos que quizá correspondan a buhardas. Este lado del castillo queda cimentado a una altura inferior, lo que permite la existencia de una estancia a ese nivel, cubierta con cañón rebajado, que en la actualidad se utiliza para exposiciones temporales y la ampliación del Museo Etnográfico. Las salas superiores, por el contrario, se cubren con techumbre plana de vigas, y corresponden con las primitivas cocina y dos grandes estancias, destinadas a exposiciones temporales (en el salón principal, al que se accede por puerta abierta al patio mediante arco apuntado), y la sala contigua a Museo Etnográfico, desde el que se accede al dormitorio principal, ubicado como ya se vio en la torre nororiental.