La primera mención documental del castillo de Olsón data de los tiempos de Ramiro I, cuando concedió esta fortaleza a Fortún Velázquez entre 1055 y 1074. El castillo enlazaba visuamente con el castillo de Almazorre, Sarsa de Surta, Catejón de Sobrarbe, Buil y Samitier. En las crónicas se dice que Sancho Ramírez visitó el castillo en 1083 y se entrevistó con Raimundo Dalmacio, obispo de Roda para poner solución a los conflictos de jurisdicción con la diócesis de Jaca. También visitó el castillo Ramiro II el Monje en 1135. Entre sus tenentes figuran Fortún Sánchez, Fortún Galíndez, Frontín... Más tarde perteneció a la baronía de Monclús, y en el siglo XIV pasó a manos de Rodrigo de Rebolledo y Palafox. En 1519, los vecinos que integraban la baronía de Monclús se rebelaron destruyendo el castillo. Los restos del castillo están situados en lo alto de un promontorio que domina la población, desde el cual se divisa todo el valle, junto a la iglesia de Santa Eulalia. Es planta asimilable al rectángulo de treinta por doce metros y de gran espesor que bien puede tratarse de la base de una torre. En su interior se encuentra el aljibe rectangular cubierto con bóveda de cañón rebajado formado por estrechas lajas, y en el muro oeste se abre un hueco adintelado para extraer el agua. En el centro de la bóveda hay un respiradero.