Los escasos restos del castillo se sitúan junto a la iglesia parroquial, este espacio interior del antiguo castillo se ha reconvertido en una plaza pública, integrando parte de los lienzos de la muralla en la obra nueva.

La fortaleza de Peraltilla constituía un recinto de planta rectangular protegido por muralla y construido en la cima de una peña, un bloque arenoso irregular de 30 por 20 metros. Se accedía a través de una rampa desde la zona sur, junto a la iglesia actual. En el interior del recinto se desarrollaban el patio y varias estancias a diferentes niveles. La torre, de planta cuadrada de 5 por 5 metros estaba situada en el extremo este y dio origen a la actual torre de la iglesia. En las proximidades de este punto existía una conducción o pasadizo tallado, posiblemente una mina o aljibe de agua, dado que tiene las paredes en talud invertido.

Los restos actuales se adscriben a gran parte del contorno murado, construido con sillares de variado tamaño y modulación, manteníendose lienzos bastante elevados. En el interior del recinto, en la parte alta, hay restos de pavimentos de ladrillo y losas de las últimas dependencias habitadas, así como diversos entalles en la roca en la zona superior. En esta zona se ha instalado el depósito de agua del pueblo.