La ermita de San José es un edificio de nave única, planta rectangular, sacristía que resalta en planta en el muro del Evangelio y cabecera poligonal.

Los materiales utilizados para su construcción fueron la piedra sillar, el tapial de tierra y el ladrillo.

La entrada, abierta a los pies de la ermita, consta de una portada en arco de medio punto de dovelas lisas sobre la que se dispone una pequeña hornacina y una ventana abierta en arco de medio punto. Toda esta fachada está realizada en sillería y rematada con un alero de ladrillo donde se combinan cinco hiladas dispuestas longitudinalmente, en esquinilla y a tizón. La fachada termina con una espadaña de ladrillo de dos ojos sin campanas.

En los muros laterales se conservan los contrafuertes de piedra sillar. En la parte superior de la cabecera poligonal destaca el cimborrio octogonal de ladrillo de la cúpula que cubre al interior el altar mayor y que cuenta con ventanas abiertas en el tambor que proporcionan la iluminación del templo. 

En el interior la nave de la ermita está cubierta con bóveda de lunetos dividida en cuatro tramos por medio de arcos fajones que apoyan en una cornisa moldurada. En el interior de cada luneto hay un óculo cegado y en cada uno de los paños de la bóveda había una decoración en relieve de la que solo se conservan dos, en la más cercana al altar se ve la representación de una regla, una escuadra y un compás.

El altar mayor, separado de la nave por cancel, se cubre con una cúpula octogonal gallonada decorada con motivos vegetales, de roleos y las pechinas con ángeles en relieve.

La ermita tenía dos capillas laterales, la del lado del Evangelio, que estuvo dedicada a Santa Lucía, se ha transformado en sacristía y la de la Epístola, desde la que se accedía a la sacristía, al púlpito y a la casa del ermitaño, no se conserva.

Tiene coro alto a los pies sostenido por una columna con alto pedestal de decoración geométrica en cada una de sus caras.

La ermita tenía adosada al muro oeste la casa del santero, desaparecida en su totalidad. Esta casa tenía en su fachada dos arcos geminados de medio punto, de los que solo queda en pie uno, y en cuya clave aparecía la fecha de 1723.