Mais une légende veut que l’église fût primitivement prévue sur la colline de Fanjau sur la rive gauche de la Ligne, à l’emplacement présumé d’un temple païen. Cette légende attribue ce nom au champ de pommiers (pomarium : verger) qui se trouvait là autrefois, où les ouvriers mandés pour construire l’église dans un lieu différent retrouvaient chaque matin les outils qu’ils avaient laissés la veille au lieu désigné, marquant ainsi la volonté de la Vierge de voir son sanctuaire érigé à l’emplacement du champ de pommiers…
Le nom de la cité "Largentière" a pour origine les mines de plomb argentifère qui y furent exploitées du Xe au XVe siècle par les comtes de Toulouse et les évêques de Viviers. Il s'agit d'un toponyme, variante d'Argentière, avec le sens de mine d'argent ou de minerai argentifère. Fort naturellement, Largentière était alors très convoitée, ce qui explique la présence aux alentours de nombreux châteaux défensifs et d’une ceinture de places fortes médiévales avec des villages fortifiés, sur les hauteurs environnantes proches pour prévenir de l’arrivée d’un ennemi et ralentir sa progression. Au nombre de celles-ci figure le château de Montréal, qui est une co-seigneurerie, dotée de deux donjons, Fanjau, Tauriers, Chassiers et lointaines: Joannas et Brison, toutes relevant de l’évêque de Brison. Largentière était une des huit villes du Vivarais qui députaient aux Etats du Languedoc.
Le début du XIIIe siècle est une période décisive pour le devenir de la province du Languedoc. Entre 1209 et 1229, la croisade des Albigeois a été une période troublée dans le Vivarais marquée par l'affrontement entre les comtes de Toulouse et les évêques de Viviers pour la possession des mines de plomb argentifère, la dépossession des comtes de Toulouse de leurs seigneuries, dont celles du Vivarais, au profit des rois de France. Ce monument évoque donc la période transitoire entre deux souverainetés : les Capétiens succédant aux comtes de Toulouse et l’art gothique remplaçant le roman. L’église est dans son ensemble d’architecture gothique, ce style pénétrant le Vivarais parallèlement à l’influence grandissante des rois de France.
Son ancienneté parmi les édifices gothiques vivarois est attestée par le premier document qui la mentionne, une transaction de 1214 à laquelle prend part l‘évêque Nicolas. On retrouve par ailleurs des éléments susceptibles de dater sa construction : la croix toulousaine figure ainsi à la clé de voûte de la croisée du transept et à celle de la travée nord, alors que le traité de Paris mettait fin en 1229 aux droits des comtes de Toulouse sur les mines de Largentière. Mais figure aussi à la clé de voûte du transept nord l’écu à six fleurs de lys de saint Louis, a priori postérieur à 1244, date à laquelle l’évêque Arnaud de Vogüé a rejeté la suzeraineté impériale. Si les voûtes des trois nefs reposent sur croisées d’ogive, leur hauteur de 14 mètres reste modeste, l’influence romane demeurant sensible au niveau des piliers, massifs pour une telle hauteur, ou de la fenêtre en plein cintre qui éclaire l’abside centrale.
Le porche primitif ogival de l’église s’ouvre au midi, le mur ouest étant alors pris dans le rempart. Il est orné de trois voussures reposant sur autant de colonnettes, le linteau renforcé par un trumeau médian ne portant pas d’ornement. Seuls les chapiteaux des colonnes et la frise latérale sont sculptés ; malgré l’usure on reconnaît encore la scène de l’Annonciation, l’agneau de Dieu, des sirènes… L’abri sommaire de ce porche était utilisé au Moyen Âge par les consuls pour réunir l’assemblée des habitants que l’on souhaitait consulter.
En entrant dans l’église Notre-Dame-des-Pommiers de Largentière, on en découvre la relative obscurité, mais aussi les dimensions, importantes compte tenu de la taille de la communauté : 42 mètres de longueur pour un peu moins de 30 mètres de largeur. Les voûtes des nefs et du transept culminent à une hauteur homogène. Des modillons de facture romane sont implantés sur les premiers piliers. Un second porche d’accès a été créé à l’ouest au XIXe siècle par le curé Léorat, auteur durant les 30 ans de son ministère de nombreuses modifications, parfois financées à ses frais, les plus importantes visibles de l’extérieur étant la flèche du clocher, sculptée et montée en s’inspirant de celle de l’église Saint-Nizier à Lyon, et ce porche dont les sculptures sont dues au maçon Victor Perbost, tandis que les splendides ferrures du portail étaient réalisées par le serrurier Monteil-Cadet.
C’est encore le curé Léorat qui fit reconstruire la tribune pour la confrérie des Pénitents, avec sa balustrade réalisée par le serrurier Serre, lui encore qui fit reconstruire au fond de l’église les fonts baptismaux, au nord, et la chapelle du Saint-Sépulcre, à gauche de l’entrée avec sa grille réalisée par le ferronnier Paillasse. Devant cette chapelle git un sarcophage en grès, sculpté sur deux faces : sur la plus petite une rosace et une croix ancrée, avec un visage centré, sur la plus grande quatre rosaces tangentes. Ce sarcophage a été découvert en 1953 à l’occasion de travaux dans une partie du cimetière à l’emplacement de l’ancien couvent des Cordeliers et serait du XIIIe siècle.
Deux chapelles, celle de Saint-Louis de Gonzague, et celle de Saint-Joseph s’ouvrent après les fonts baptismaux, et précèdent la sacristie, sur le côté nord. Celle de la Vierge, de style gothique flamboyant, avec une voûte et une fenêtre remarquables, leur fait face au sud, à droite de l‘entrée. Elle a été fondée en 1519 par Pierre Allamel et son épouse Anne de Malet : c’est dans cette chapelle que se trouve la statue de Notre-Dame des Pommiers, d’un style plutôt rustique mais probablement aussi du XVIe siècle. Les chapelles de Saint-Régis et celle du Sacré-Cœur se trouvent en extrémité des nefs latérales nord et sud.
Le chœur est décoré de peintures murales, récemment restaurées, figurant notamment les évangélistes. La chaire est en pierre, ses parois sont constituées de cinq panneaux finement sculptés, réassemblés par le même maçon Perbost, qui a aussi sculpté l’escalier et la tête, à la demande du même Léorat. Trois de ses panneaux proviennent de la chaire du couvent détruit des Cordeliers. Il en manque un qui n’a pas été retrouvé. On peut y lire une inscription, incomplète, en langue d’oc : « L’an mil quatre cent quatre vingt dix et le VII d’octobre hieu Pierre Guarnier de Colens ay donnat aquesta chadiere al convent eque… » En voici la traduction : « l’an 1490 et le V octobre moi Pierre Garnier de Coulens ai donné cette chaire au couvent des Frères Mineurs de Largentière ».
A voir également une statue de la Vierge à l'Enfant du XVIIe siècle est une reproduction d'une statue disparue pendant les guerres de religion. On distingue enfin des fresques murales du chœur, des nefs, des chapelles du du XIXe siècle. Le peintre Molinari a décoré en 1833 le chœur d'un Saint Paul et des quatre Évangélistes. Il a aussi fait la décoration des voûtes du chœur et des deux chapelles jouxtant le sanctuaire. Son œuvre a été étouffée ou a en partie disparu par une deuxième équipe de peintres en 1856.
Dernier aspect singulier : un crâne se trouve posé sur le chapiteau du premier pilier au nord. La tradition dit qu’il s’agit de celui du comte de Saillans, l’un des chefs du troisième rassemblement de Jalès en 1792, capturé après la dispersion des conjurés, ramené aux Vans où il a été tué, et dont la tête aurait été rapportée au bout d’une pique par un révolutionnaire largentièrois, le dénommé Lapaille, de son état cabaretier ; cette tête aurait été ensuite enterrée dans un champ. Le crâne, retrouvé dans ce champ en 1894, a alors été déposé en l’église, lieu consacré.