Según la tradición, en marzo del año 1119 los musulmanes abrieron una brecha en la muralla exterior de ladrillo y tierra que protegía la ciudad; acto que no pudieron llevar a cabo gracias a la aparición milagrosa de la Virgen en la muralla acompañada de un ejército de combatientes celestiales, lo que provocó la huida de los invasores. Al parecer, se encontró una pequeña imagen, de piedra blanca, que fue considerada como el símbolo de la defensa a los cristianos. Este hecho milagroso dio origen a la veneración a la Virgen del Portillo, en cuyo honor se construyó en primer lugar una hornacina en el muro que albergaba la imagen de la Virgen; pasado un tiempo esta ubicación inicial dio paso a una especie de cobertizo sostenido sobre pilares cerrados con ladrillo y yeso, de mayor consistencia, constituyendo lo que se llamó "la Capilla u Oratorio". En 1350 debido al considerable aumento de la devoción popular obligó a la construcción de un templo de mayores dimensiones.
Los privilegios otorgados por los reyes Fernando el Católico en 1493 y Carlos V en 1539 permitieron a la Cofradía del Portillo la petición de limosnas para adornar y mejorar el aspecto del templo; llegó a tener tres retablos, obra de los maestros Gil Morlanes el primero, Forment el segundo, y Moreto y Joly el tercero y un suntuoso templete para albergar la imagen de la Virgen, obra de Gil Morlanes, realizada entre 1506 y 1521, todos ellos destruidos en la Guerra de la Independencia.
A finales del siglo XVII (1698) la Cofradía se plantea la construcción de un templo nuevo. Los autores del proyecto serán Joseph Borgás y Gaspar Serrano. Las obras se concluirán en 1760, retomando el proyecto los maestros Francisco Pontón y Marcos Tarazona, y el carpintero Juan Laviña. Siendo posteriormente la iglesia decorada con altares y numerosas imágenes, que no se conservan.
Los Sitios sufridos en Zaragoza en 1808 y 1809 supusieron la ruina del templo, que hubo de reconstruirse en el siglo XIX según un proyecto de José de Yarza Lafuente y posteriormente José de Yarza y Miñana, hijo del anterior, a quien pertenecen los planos y proyecto que le dará su aspecto actual. La obra total se concluiría en 1898 a excepción de los cuerpos superiores de las torres y la capilla del sepulcro de las Heroínas. Las obras restantes fueron acabadas en 1965. El templo presenta al exterior un recio bloque de ladrillo, cuyos límites conforman las plazas del Portillo, la calle Conde de Aranda y el final del Paseo de María Agustín. En la fachada principal, un cuerpo central queda dividido en dos zonas separadas por un entablamento que recorre también los laterales. La parte inferior presenta una composición de arco de triunfo con un gran arco de medio punto que conforma un pórtico que alberga la portada de ingreso al interior. La zona superior queda marcada por un frontón que remata este cuerpo central de la fachada que a su vez, está flanqueado por dos torres. Tejado a dos vertientes a partir del piñón, cubriendo las tres naves con diferente altura, siendo más bajo en la zona correspondiente a las capillas laterales.Las otras tres fachadas son más sencillas y quedan marcadas por la diversidad de vanos que presentan, unos abiertos y otros ciegos. En la fachada sur queda adosada la casa del sacristán con diez ventanas que miran a poniente y dos puertas: una de acceso a la casa, y la otra da a un pasillo por el que se llega a las dependencias del templo.Al interior, la iglesia presenta tres naves con capillas entre los contrafuertes y cabecera plana tripartita con presbiterio y trascoro. El templo se cubre con diferentes cubiertas, y en cuanto a la decoración hay que destacar el trabajo de yeserías. Encima de las bóvedas hay un gran desván que puede recorrerse desde el hastial hasta el cimborrio y desde aquí hasta la cabecera.