Le comte de Toulouse Raymond V parait avoir laissé les uns et les autres tranquilles possesseurs des mines jusqu’à la mort de Frédéric Barberousse en 1190, évitant sans doute d’entrer en querelle avec son puissant suzerain, pour une partie de ses terres. Mais à la mort de celui-ci, des documents attestent que son attitude changea avec son désir de mettre la main sur une proie depuis longtemps convoitée. Une longue querelle opposa les évèques de Viviers aux Comptes de Toulouses. En 1198, l'évèque Nicolas dut céder à Raymond V de Toulouse la moitié des mines. En 1207, le Compte de Toulouse devint majoritaire.
Au tournant des XIIe et des XIIIe siècles, les évêques de Viviers construisent un château pour défendre, face aux comtes de Toulouse qui ont eux-mêmes bâti le château voisin de Fanjau, leurs droits sur les mines d’argent, élément d’importance dans le patrimoine épiscopal à cette date. Les coseigneurs usèrent plus tard de la faculté qui leur avait été donnée de bâtir leur propre tour. On attribue au comte de Toulouse la construction de la tour ronde, qui s’élevait en face du donjon épiscopal, et dont on voit encore la trace sur la grande terrasse du château. Les deux seigneurs, de Poitiers et d’Anduze, auraient fait bâtir de leur côté, deux autres tours rondes, aujourd’hui reliées par le balcon qui s’etend devant l’ancienne chapelle.
Cette période est aussi celle du début de la croisade contre les Cathares que le comte de Toulouse va subir de plein fouet dans toutes ses possessions. Le pape Innocent VIII, qui dès l'année 1198, avait pris une attitude très hostile au comte de Toulouse, et aux autres princes du midi de la France, soupçonnés de pactiser avec les hérétiques, provoqua une croisade contre eux, en 1209, à la suite du meurtre de son légat, Pierre de Castelnau, dont on rendait Raymond VI responsable. Le passage des troupes de Simon de Montfort est attesté à Largentière en novembre 1213.
Dans le courant du XIIIe siècle, l’occupation de cette portion de la vallée de la Ligne se densifie jusqu’à la formation d’un véritable bourg qui bénéficie de l’intérêt et de la protection de l’Église de Viviers, alors débarrassée de la concurrence de la maison de Toulouse, et de la présence d’un atelier monétaire épiscopal. L’évêque et le chapitre de Viviers possèdent alors chacun une maison à Largentière. Dès avant 1299 la petite ville est entourée d’une enceinte qui englobe aussi le château ainsi qu’une église paroissiale, peut-être tardive, elle existe toutefois déjà en 1214, dédiée à la Vierge.
En 1404, on sait que Jean de Montchenu fit agrandir le château. Un avant poste fut construit au devant de l'entrée, pourvu d'une poterne et d'une porte carrée alors que l'entrée intérieure forme une arcature à plein cintre, on voit encore à l'extérieur les entailles ou s'engageaient les poutrelles du pont levis. De 1481 à 1497 fut construit le chateau neuf de largentière, au nord et à l'est du chateau vieux. Les travaux commandés par l'évèque Jaen de Montchenu furent l'oeuvre des compagnons de Maitre Renaut.
La réforme protestante gagna le Bas Vivarais dès le milieu du XVIe siècle, en 1561, des églises réformées étaient dréssées à Largentière, Joannas Taurier et Uzer. Le mouvement explosa en 1562, provoquant des destructions d'églises et de monastères. En 1562, les protestants de la famille de Montbrison à Versas saccagent le cloître des Récollets, établi à Largentière en 1236. Joachim de Beauvoir du Roure, seigneur de Brison, qui descend de cette famille, est le chef des huguenots du Vivarais et participe à de nombreux conflits dans la région. La fièvre retomba presque aussi vite qu'elle était montée. Dès 1564, Largentière redevenue catholique, fut l'un des principaux centres de résistance aux réformés sous la conduite des Seigneurs de Montréal. Une trève fut conclue en 1576, à Largentière et à Borie de Balazuc qui ramena un instant la paix.
En 1581, l'évèque Jean de l'Hostel vint à Largentière établir les pénitents blancs. La chapelle édifiée en 1583 et agrandie par la suite, subsiste dans les batiments du centre Socio Culturel. Le XVIe siècle touchait à sa fin quand la peste décima à nouveau la population qui avait fait bon acceuil à l'édit de Nantes en 1598. La paix fut troublée au début de ce siècle, à la suite de l'assasinat, en 1610, du Roi Henti IV, puis en 1619, après le mariage de la chatelaine protestante de Privas avec le catholique Seigneur de Boulogne. Largentière, menacée, dut aussi faire face de 1629 à 1630 à la peste qui obligea tous les habitants à déserter la ville pendant l'hiver. Celle-ci remise de ses plaies, reçut en 1632, la visite de l'évèque de Suze qui établit auprès de l'église le couvent-collège des sœurs de Notre Dame. Le siècle allait s'achever quand se produisit le soulevement des "Jacques" d'Anthoine Roure, seigneur de la Rande. Le 12 mai 1670, Largentière fut assiégè par eux : il y eu des morts et des maisons pillées. L'année 1676, Monsieur Monge, émissaire de l'évêque, vint visiter Largentière qui comptait 300 maisons et 1000 communiants, renfermés dans les murs de la ville.
Le XVIIIe siècle débuta dès 1703 par la répression des Camisards conduite en partie par Julien qui vint par trois fois lever des volontaires. Le 05 novembre 1716, Martin de Ratabon, évèque de Viviers, vendit au Marquis de Brison le château et la baronnie de Largentière. Avec l'argent de la vente l'évèque fit construire son palais de Viviers. Les marquis de Brison, acquéreur du château, modifièrent l'allure de la vieille bâtisse, ouvrant de larges fenêtres et édifiant un large escalier sur la façade au levant. On leur doit le perron monumental et l'escalier de la façade sud, l'aménagement de la terrasse qui s'y trouve et le comblement des fossés. Bref le vieux castel épiscopal devint une véritable maison de plaisance. Le Marquis de Brison, en 1730, acquit le droit envié d'entrer aux Etats du Vivarais.
La révolution vint renverser tout cet ordre des choses : le château fut confisqué. A la Révolution, la municipalité pétitionna pour acquérir le château de "l'émigré Brison". On y installa le tribunal, les prisons et la gendarmerie. Une bonne partie de la population embrassérent les nouvelles idées révolutionnaires dont les éléments les plus ardents se regroupèrent au sein de la société des Amis de la Liberté et de l'Egalité. De nombreux excès furent alors commis et les "Terroristes" de Largentière se suscitérent des haines durables parmi les habitants des communes voisines.
Sous le Consulat, il fallut rendre aux émigrés les biens qui n'avaient pas été vendus, et les du Roure de Brison récupérèrent leur château vers 1802. Le passage de l'Empire à la Monarchie de 1815 faillit se faire dans un bain de sang. Le pire fut évité. La paix revenue, les hommes valident ne demandèrent qu'à travailler. Dans les années 1830, les moulinages prospèrent c’est le grand boum de la soie. Des moulinages s'établirent et prospèrèrent en amont et aval de la ville.
En 1832-1833, le château servait encore de Tribunal et de prison. La gendarmerie occupait le couvent des Récollets rasé en 1850. La Mairie était alors à la Poste et la Préfecture au Café des Recollets. La place Paul Mercier était occupée par la Halle. L'adjudication des travaux de construction de l'actuel Palais de Justice se fit en 1840 et il fut inauguré en 1847, un an après la création de la Caisse d'Epargne; la nouvelle Gendarmerie fut inaugurée en 1850. A la seconde république, acceuillie avec ferveur grâce à l'important courant républicain animé par le Docteur Victrin Mazon, le Père du Docteur Francus, succéda dans la tristesse et l'accablement le Second Empire. Le 8 décembre 1851, les Républicains tentèrent vainement de se saisir de Largentière, les représailles furent terribles.
Sous le Second Empire, Largentière connut une ére de relative prospérité grâce à l'industrie de la soie : on construisit et augmenta le nombre de moulinages ou fabriques. Le développement du commerce facilté par l'élargissement et l'amélioration de la nationale 5 amena la construction en 1869 d'une bascule aux Récollets et des abbatoires aux Fourniols en 1872. De 1863 à 1880, on reprit l'exploitation des mines de plomb argentifères. La fin du XIXe Siècle connut la querelle de laïcisation des écoles. En 1886, la commune fit l'acquisition d'un terrain pour construire l'école supérieure de jeunes filles (ancien L.E.P). En 1896, le chemin de fer arriva à Largentière.
En 1905, la vie était alors très animée par les activités commerciales, marchés et foires, les acitivités judiciaires, celles liées à l'industrie de la soie, la présence de la Sous-Préfecture, de deux brigades de gendarmerie dont l'une à cheval sans parler des écoles, de l'hospice, des employés de finances, des eaux et forêts, et puis il y avait des imprimeurs et quatre journaux ou hebdomadaires locaux, sans parler des membres des divers sociétés artistiques ou sportives. Puis peu à peu la vie s'est retirée des rues, les services ont émigrés ailleurs. La réouverture des mines en 1962 et leur exploitation par la société Peñarroya pendant 20 ans ramena un peu la prospérité. Les mines d'argent ne sont plus exploitées depuis le début des années 80.
Au cours de votre excursion de cette cité médiévale au riche passé, vous aurez l’occasion de remonter des siècles d’histoire au cœur de cette petite vallée. Flânez dans les ruelles pittoresques de cette ancienne cité médiévale, admirez les belles maisons aux façades de pierre de grès, mais aussi les arcades, les fenêtres à meneaux et les charmantes portes tout au long de votre visite. Le château domine l'ensemble de la cité.