La ermita de Nuestra Señora de los Olivares es un edificio construido en piedra sillar, de planta rectangular, cabecera plana orientada al este y cubierta con tejado a dos aguas. La portada se encuentra en el muro sur y  es de arco de medio punto de piedra sillar con dovelas lisas y alargadas que terminan en imposta cóncavo-convexa. La entrada está flanqueada por dos contrafuertes. En la zona de la cabecera se abre un vano de iluminación en arco de medio punto con derrame interior. Tanto la fachada meridional como la septentrional están reforzadas por cuatro contrafuertes elevados hasta media altura. La cabecera también tiene un contrafuerte de mayores proporciones, elevado hasta el alero, próximo a la esquina sureste.

En el interior la nave está dividida en cuatro tramos, más coro elevado a los pies, mediante cuatro arcos fajones apuntados que sostienen una cubierta de forjado de madera construida recientemente. Estos arcos se elevan en el lado de la Epístola a partir de un banco corrido de piedra y en el del Evangelio desde el zócalo de mampostería. La cabecera es tripartita y está compuesta por tres arcos de medio punto donde se disponen las imágenes de San Blas, San Martín y la Virgen de los Olivares.