Los restos del castillo se ubican en lo alto de una cresta rocosa a pocos metros de la ermita de San Román, ambas construcciones  dominan el tramo del Congosto de Olvena donde se localiza la presa del pantano de Barasona.
Sus restos ocupan una cima ovalada de gran altura en la margen occidental del río Ésera, con espléndidas vistas sobre el embalse Joaquín Costa y la zona oriental de La Ribagorza. Quedan escasos restos de este castillo que por la dispersidad de las ruinas que lo forman debió ser de grandes dimensiones. De su muralla se observa un paredón de mampostería reforzado por tres cubos rectangulares, de los que solo quedan los vestigios de su planta. Por el lado más inexpugnable se encontraban dos torreones, uno circular y otro cuadrado, desde los cuales se puede contemplar todo el valle, actualmente adecuados como miradores. En el interior de lo que fue el castillo, se existen vestigios de otro recinto y un aljibe. En una cota inferior al castillo se alza la ermita de San Román, del siglo XII, de nave única y ábside semicircular con pequeños arquillos en su exterior, típico del estilo románico lombardo. Se realiza la visita con Ramón Espuña, habitante de La Puebla de Castro, agente de protección de la naturaleza y coordinador de la oficina comarcal agroambiental de Graus.