Este lugar siempre fue estratégicamente importante, tanto para los musulmanes como para los cristianos, ya que era un lugar de paso obligado por su puente sobre el Noguera Ribagorzana.
En 1026 pertenecía ya al conde de Pallars; brevemente fue condado independiente hasta que finalmente en 1322 Jaime II lo integró en el condado de Ribagorza. Esta población contó con un importante sistema defensivo, que contaba no sólo con el castillo, sino también con dos torres (una de planta cilíndrica y otra cuadrada) y con un doble sistema de murallas, uno para la población y otro para el castillo.
De la muralla de la localidad se conservan varios portales ya que la muralla debió ser ocupada por casas. Los portales también han sido transformados en viviendas; se conservan los arcos, unos de medio punto otros rebajados, pero todos construidos con piedras irregulares. Seguramente estos portales estaban protegidos por torres, algunas de las cuales han llegado a nosotros transformadas, aunque conservan parte de su volumen defensivo. En uno de los portales, encima de la clave del arco, se conserva una figura humana esculpida, seguramente un ángel. La muralla se completa con el puente situado en el centro de la población.
La torre cilíndrica se encuentra en un altozano al lado de la población, pero separado de esta por un barranco. Tendría unos 9 metros de diámetro, pero se ha derrumbado la mitad que mira hacia la localidad. Se aprecian los arranques de sus cuatro plantas y algunas saeteras en sus muros. Al lado se encuentra la ermita de San Martín.
Torre cuadrada. Situada al lado del acceso al castillo y enfrente de la torre circular, esta torre es de planta cuadrada de unos 5 metros de lado. Está construida con piedras irregulares y se remata con un moderno tejado a doble vertiente; su puerta es en arco semicircular adovelado y situada en altura. Seguramente tendría la función de albarrana de la muralla baja del castillo. En el momento de la visita estaba siendo restaurada.
El castillo se sitúa sobre la plataforma rocosa que domina toda la población, rodeado por un recinto amurallado del que nos han llegado restos, como el acceso en arco de medio punto extramuros y arquitrabado al interior, ambos con dovelas e inscritos en el muro construido con piedras irregulares. En el extremo de la plataforma se alza una torre de planta circular de unos 9 metros de diámetro, que ha perdido ya una buena parte de sus muros y el remate; en la parte que queda en pie se aprecian algunas saeteras y en el interior los arranques de las cuatro plantas que tuvo.Al sur de la torre, en lo que sería la explanada del castillo, se encuentra la iglesia románica de la Virgen de Baldós, con una imponente torre campanario y portada con arquivoltas y decoración escultórica; esta iglesia se construiría posteriormente al castillo, tal vez en el siglo XIII.