La aparición mariana legendaria que dio origen al santuario fue situada por el Padre Faci en el siglo XIII. Se supone que en este siglo se construyó una primitiva ermita, de la que aparentemente no se conserva ningún resto. Poco se sabe de este templo, excepto que existía en 1324, en el que es mencionada en un testamento.

Respecto a la construcción de la ermita gótica conservada en la actualidad, suele convenirse habitualmente, siguiendo a Manuel Siurana, que la fecha decisiva para el inicio de las obras de la nueva ermita sería la de 1341, en la que se instituye una cofradía en Peñarroya con el patrocinio del rey Pedro IV para honrar a la Virgen de la Fuente, a la cual se decide venerar en un nuevo edificio de mayor dignidad.

Las obras pudieron prolongarse hasta 1369. Muy poco después comenzamos a disponer de noticias acerca de reuniones del capítulo de la cofradía en la ermita. Gonzalo Borrás ubica también la ejecución de la techumbre mudéjar en las últimas décadas de este siglo, si bien se muestra más partidario de situarla en la década de 1390. En cualquier caso, en 1402 estaría ya finalizada.

Y por lo que respecto a la ejecución de las diversas esculturas, en las que se advierte la presencia de varias manos y de conjuntos de estilos más arcaizantes que otros (las esculturas situadas sobre la portada, los relieves de los capiteles interiores), hay una mayor disparidad de opiniones: desde una primera fase en el siglo XIII y una segunda en el XIV defendida por Santiago Sebastián hasta dos momentos del siglo XIV (mediados y finales) para Cortés Arrese.

Ante la pujanza del culto a este santuario, ya desde fechas bastante tempranas debió de considerarse la posibilidad de construir un templo de mayores dimensiones. Está documentada la capitulación llevada a cabo en 1556 entre los jurados de Peñarroya y el maestro cantero de Alcañiz Pedro Estrada y su ayudante Cristóbal Antolín para la “construcción de una nueva iglesia llamada de abajo” (Pérez Temprado). Es bastante posible que el trabajo concertado se frustrara por algún motivo, ya que el templo barroco actual no conserva restos de obra del siglo XVI.

Está documentado el trabajo de Pedro Villallave en la década de 1650 en la construcción de la iglesia de abajo, a la que habría dado fin antes de 1658, pues en esa fecha consta el pago final de los jurados a este maestro, lo cual concuerda con la fecha de 1658 que consta en la portada del lado del evangelio. Se trata de una obra unitaria, construida en una única fase.

Sufrió algunas obras de menor importancia en el siglo siguiente, como la apertura de una puerta lateral en el costado de la epístola, en la que consta la fecha de 1783.

En cuanto a la hospedería, carecemos de noticias documentales que ayuden a fechar su construcción, que suele ubicarse de manera indeterminada en los siglos XVI-XVII. Parece razonable inclinarse por el XVII, por los arcos rebajados de los pórticos del patio y las características de las yeserías, además de su similitud tipológica y funcional con el patio de la hospedería de Fórnoles (también datable, sin total seguridad pero con mayor certeza, en ese siglo). 

En 1936 ambas iglesias fueron desmanteladas y desaparecieron todos sus retablos y ornamentos.