Los restos de este espectacular castillo son admirados desde varios kilómetros de distancia, y están encumbrados en la cima de la meseta en cuyas faldas se asienta la población de Viacamp.
El conjunto fortificado denominado como castillo de Viacamp se compone de los restos del antiguo recinto amurallado exterior, una esbelta torre cilíndrica y una ermita de origen románico, seguramente la capilla del castillo.
La torre del castillo de Viacamp se construyó en el centro del eje norte-sur de la planicie donde se enclava, siendo el elemento integrador del conjunto. La torre es de planta circular y de connsiderable envergadura, de alrededor de 20 metros de altura, posiblemente una de las de mayor empaque de la zona, con casi 11 metros de diámetro y 2,90 metros de grosor de sus muro. Según la colocación de los mechinales constructivos tanto al interior como al exterior, indica que posiblemente la torre se levantó desde el interior y el exterior al mismo tiempo, con andamiaje doble, debido al gran espesor de estos paramentos.
Es de obra de mampostería revestida con sillarejo y armada con argamasa de grano grueso. Exteriormente se observa un cambio cromático de tamaño y textura en el sillarejo, en la base se presenta más trabajada de tono blanquecido, alisado y bien escuadrado, organizado por hiladas y trenzado a soga, así como otras bandas puestas a canto. Encima de este basamento el paramento se vuelve más oscuro, aunque la fábrica es la misma. En el remate de la torre, a la altura de los vanos la obra es de peor factura. En cuanto a su estructura señalar, que como la mayoría de las construcciones defensivas de la época, la planta baja estaba cegada, aunque se realizó una apertura posteriormente para poder acceder a la torre, y que en la actualidad se ha vuelto a cerrar en la restauración efectuada entre los años 2005 y 2006 devolviéndole su distribución original.
La puerta de acceso está situada en altura, y orientada al sudeste, bajo arco de medio punto donde se conservan las marcas de las tablas empleadas para encofrar, al igual que en la torre de la vecina población de Luzás. En el tercer piso se abren tres grandes vanos de medio punto al interior, pero adintelados al exterior ya que se muestran de forma aspillerada. Se remata mediante siete vanos que daban paso a cadalsos individualizados, según Adolfo Castán. En medio de dichas aperturas, se observa un nicho semicircular cubierto con cuarto de esfera que posiblemente se trataba de una capilla. Interiormente tiene un espacio hueco de 16 m2, y se organiza siguiendo el modelo tradicional.
La planta baja hacía funciones de almacén y se encuentra cegada, y ha perdido al interior su revestimiento de sillarejo.
En la planta de acceso, con la puerta orientada al sudeste es donde se aprecia el grosor de sus muros, este piso cuenta con un retrete y una pequeña estancia realizada en codo, ambos han sido consolidados en esta campaña.
En la tercera planta se observan tres vanos aspillerados al exterior y con derrame al interior, en la cuarta planta sí se abren siete grandes vanos de medio punto dovelados, con agujeros de mechinales que indican la existencia de cadalsos, también destaca la hornacina citada anteriormente, situada entre dos vanos y orientada al este, por tanto se intuyen sus funciones de capilla-oratorio, aunque se sabe tras la restauración que contaba con un último quinto piso.
El remate, hoy desaparecido tal vez fueran unos pequeños vanos defensivos a modo de falsa, según opina Adolfo Castán, o un tejado cónico, según José Miguel Ferrando, director del proyecto de rehabilitación.
Muy cerca de la torre y dentro del recinto se levanta la iglesia de origen románico formando el clásico el binomio de castillo y ermita, ésta fue consagrada en principio a San Miguel, y después a San Esteban. La iglesia se encuentra a escasos metros de la torre en el recinto del castillo, por lo que posiblemente sería construida poco después de la conquista y sería la capilla del mismo. Posteriormente se reformó y de su primitivo estilo románico solo quedó su portada semicircular de grandes dovelas. Al lado de la iglesia se encuentra el antiguo cementerio, que no está abandonado.
Los vestigios del recinto exterior se encuentran en las zonas que bordean la cima del monte y está articulado con obra de sillarejo y mampostería, con algún lienzo de gran calidad, de igual aparejo que la torre. Se conservan restos de muros y basamentos o arranques de torres, como es el caso del cubo situado al noreste del recinto, aunque se encuentra muy rebajado en altura.