La construcción de Santa María de Horta se realizó en un estilo románico de carácter popular, arrojando el análisis de sus estructuras una fecha aproximada de finales del siglo XII o principios del XIII. La perduración de formas artísticas aún en épocas tardías, tan habitual el edificaciones de carácter popular ubicadas generalmente fuera de los principales centros artísticos, tiene uno de sus ejemplos en esta ermita, que utiliza el lenguaje románico a pesar de que en aquellas fechas ya estaba siendo sustituido por un lenguaje más avanzado.
Se supone levantada por las gentes que habitaban el vecino poblado de Miralpeix, y en ella se pueden apreciar dos etapas de construcción, en su ábside románico y su nave gótica, resultado de una ampliación posterior. Durante una bajada de las aguas que anegaron la ermita, en otoño de 1973, el Centro de Iniciativa y Turismo propuso el traslado y posterior reubicación y rehabilitación de la ermita en un lugar adecuado dentro del casco urbano, para salvarla de su total desaparición, idea que fue secundada por numerosas entidades y organismos oficiales, además del apoyo desinteresado de toda la población. La reconstrucción tuvo lugar en 1980, comenzando por el ábside, los cimientos y solera de la nave.La ermita, construida en sillería, posee una alargada planta en forma de ojo de cerradura, dividida en cinco tramos, que culmina en un ábside semicircular peraltado. Antes de ser trasladada se encontraba en estado ruinoso, conservando en pie tan solo el ábside y las paredes laterales con pequeños canes para el apoyo del alero.
El ábside se trata de la parte de la ermita correspondiente a la primera etapa constructiva románica; es un ábside semicircular peraltado, en cuyos muros se abren tres vanos abocinados de doble derrame en arco de medio punto. La cubrición del ábside tiene lugar mediante una bóveda de horno, cubierta exteriormente por un tejado de lajas de piedra, que destaca por el escalonamiento que forman sus gradas. El alero sobre el que carga esta cubierta está formado por una cornisa moldurada en piedra que apea en mensulillas molduradas semejantes a roleos esquemáticos.
En la unión entre el ábside y el espacio de la nave se alza la espadaña, que posee un alzado triangular truncado.
La alargada nave corresponde, por sus características, a una etapa posterior de construcción en la que se amplió el primitivo espacio. Sus cinco tramos resultan de la articulación de los arcos diafragma apuntados apoyados en pilastras en los muros, que sostendrían la cubierta a dos aguas, posteriormente derruida.
El acceso al interior tenía lugar a través de una puerta situada en el muro opuesto al ábside, en arco apuntado y dovelado.

La ermita constituye el único ejemplar románico existente en el término de Caspe, debiéndose esta carencia de construcciones románicas a la tardía reconquista de la localidad, en 1169.