Manzanera adopta para su asentamiento en lo alto de la meseta un trazado ordenado reticular y ortogonal dentro de un recinto prácticamente rectangular y alargado, ordenado en torno a un eje norte-sur que obligará a la existencia de ejes fundamentales y dominantes dentro del caserío.
El castillo se situó en la zona de acceso más abrupta protegida por los cortes rocosos del flanco sur mientras el flanco norte hubo que reforzarse a conciencia.
De este recinto amurallado tan solo se conservan dos portales el portal de arriba, situado al sur cercano al solar donde se levantaba el castillo, y el Portal del Abajo que protegía el acceso desde el flanco norte.
Por estar abierta al llano, zona de más fácil acceso, el portal de abajo se reforzó a conciencia creando un fuerte estructura de defensa. Construido en mampostería con sillares de refuerzo en los ángulos, el portal se encuentra enmarcado entre dos torreones de defensa de planta cuadrada y remate almenado. La parte central abre al exterior por medio de un arco de medio punto dovelado y al interior por medio de un arco rebajado.
Extramuros son el hermetismo y la opacidad del muro los protagonistas; intramuros ambos torreones constan de dos pisos, el inferior abría, en el de la izquierda, a modo de arco de medio punto dovelado, y el de la derecha, en falso arco formado por aproximación de hiladas; el piso superior presenta abierto el hueco interior de los torreones para un mejor acceso desde el interior en caso de ataque.
De esta estructura, al interior tan solo se conserva el torreón situado al este del portal, mientras el torreón del lado oeste ha sido reaprovechado para vivienda.
Extramuros la estructura ha sido prácticamente respetada.