Fontanges a été également témoin d'une particularité ; pendant cinq siècles les fonctions sacerdotales ont été remplies par une communauté de prêtres-filleuls. Ceux-ci ne prononçaient pas de vœux et ne dépendaient d'aucune hiérarchie. Ils vivaient en famille et s'adonnaient aux travaux agricoles. Ils versaient en contrepartie des droits qui leur étaient réservés six écus d'or à l'évêque. En 1543, Fontanges comptait plus de 40 prêtres-filleuls et l'atmosphère qui y régnait était conviviale et humaniste.
Les guerres anglaises portèrent à Fontanges comme dans toute l'Auvergne leur part de désastre. Les maux qui s'en suivirent avaient dépeuplé le pays, demeuré fidèle à la Couronne. Puis ce fut l'épreuve des guerres religieuses. Pendant les guerres de Religion, Fontanges dispose d'une garnison capable de s'opposer aux huguenots. Le marquis de Canillac, lieutenant du roi pour la Haute-Auvergne, et Henri Bourbon Malause, vicomte de Lavedan, chef du parti protestant, s'y donnèrent rendez-vous, accompagnés de leurs suites nombreuses, afin d'étudier la mise en oeuvre de l'édit de pacification de 1577. Mais les décisions prises ne furent pas observées et dès 1580 les hostilités reprirent de plus belle.
Au début du XVIe siècle naquit à Fontanges Anthoine de Bertrand, dont la notoriété n'est pas éteinte. Ce remarquable compositeur de musique polyphonique a laissé des oeuvres toujours appréciées. Il fut célèbre en son temps pour avoir mis en musique les "Amours" de Ronsard. Au XVIIIe siècle, la commune entame un long déclin. La famille de Fontanges qui a quitté le site est suivie par celle de Pestels. Les doléances de 1789 font état d'un village ruiné. Néanmoins, l'alun présent dans la rivière va faire de la commune un lieu réputé pour le blanchiment du linge et des fils ; cette activité va faire la richesse de quelques habitants. On y cultive également le chanvre jusqu'au début du XXe siècle.
Fontanges s'étale paresseusement sur la rive droite de l'Aspre, affluent de la Maronne, au fond d'une vallée qui semble formée de deux vallées superposées. L'entrée de la vallée, à l'ouest, à l'époque de la féodalité, près du rocher Saint-Michel, était défendue par des châteaux forts qui formaient une forteresse appartenant à plusieurs propriétaires. Le cœur historique du bourg a conservé son charme médiéval, une visite de Fontanges peut débuter par la découverte son intéressant patrimoine. Le village présente de nombreuses maisons anciennes de pur style cantalien, aux toits de lauze si caractéristiques.
Commencez votre visite par l'église Saint-Vincent, édifiée en 1468, considérée comme l'un des rares témoignages du style gothique en Haute Auvergne. Le clocher, tour massive carrée à la base, octogonale au sommet, percé de huit baies plein-cintre. Il y avait à l'origine une église romane mais l'expansion de la communauté de prêtres-filleuls installée là décida d'un agrandissement, qui fut une reconstruction complète dès 1468. La nef de six travées, sans transept, se termine par une abside à trois jours. Sept chapelles sont adossées aux murs latéraux. L'église possède un retable du XVIIe siècle et une Vierge à l'Enfant polychrome datée du XVIe siècle.
Des arbres remarquables sont visibles dans la commune de Fontanges : un cèdre près de l'église, Sequoia à l'entrée des gîtes et au château de Lamarge, tilleuls centenaires ou peupliers et marronniers sur l'espace dénommé "le gravier". Les vergers sont composés essentiellement de pommiers et de quelques noyers. En contrebas de Fontanges se trouve une étonnante chapelle monolithe dédiée à Saint Michel qui fait la fierté de la commune, construite et creusée dans le rocher en 1806. Le porche est finement ciselé. Au sommet du rocher trône une statue de la Vierge. La chapelle,de larges dimensions (130 m², hauteur de 8 m), suivant un plan en croix, dotée d'une archivolte (bande décorative surmontant une arcade) où fut gravé le blason de Fontanges, elle abrite notamment un autel en pierre, un vitrail et une grille en fer forgé.
La famille de Fontanges possédait vraisemblablement un château adossé à l'actuelle chapelle monolithique. Les pierres de ce château ont servi à construire des maisons et certainement le pont qui franchit l'Aspre en direction du cimetière. D'autres châteaux sont construits : celui de Lamargé date du xve siècle et a été agrandi au XVIe et XVIIe siècle; celui de Palmont se dresse à l'entrée de la vallée et date du XVe siècle. Ce nombre impressionnant d’édifices a certainement protégé Fontanges de bandes de brigands. La découverte du patrimoine de la localité se poursuit donc avec le château de Lamargé, il, resta dans la famille de Salvaiges jusqu'à la fin du XXe siècle. Il s'agit toujours d'une propriété privée et ne se visite pas.
Le château de Lamargé présente plusieurs éléments bâtis d'époques différentes. Le château de Lamargé se compose d'une tour carrée du XIVe siècle incorporée dans le corps de logis de la fin du XVIe, de plan rectangulaire, cantonné de deux tours à chaque extrémité de sa façade sud. Au XVIIIe siècle, agrandissement de la demeure sur l'arrière, et ajout d'une aile. Des communs du XIXe siècle et des terrasses d'époque classique l'entourent. A l'intérieur, décors d'époque dans l'aile du XVIIIe siècle, composés de boiseries peintes, dessus de cheminée, parquets en bois fruitier, plafonds à rosaces et corniches.
Mentionnons encore le château de la Fromental, situé à la sortie du bourg, Le château est un édifice construit au XIXe siècle entouré d'un parc de six hectares. Suite à de nombreuses rénovations ratées, le château de La Fromental est complètement dénaturé. A l'intérieur, les parquets, parfois encore d'origine sont recouverts d'une multitude de tapis qui donne un aspect feutré et confortable. Les pièces sont décorées de tableaux et d'objets chinés ainsi que de mobilier de style Louis XV et Louis XVI... Le château propose désormais des chambres d'hôtes.
En contrebas, l'ancien moulin remis en état pour le plaisir des visiteurs. A deux kilomètres environ en aval de Fontanges se dresse sur sa terrasse le château de Palmont. Il fut reconstruit vers le milieu du XVe siècle. Pierre Salvage de Lamargé, conseiller à la Cour des Aides de Clermont-Ferrand le reçut en dot en 1766. Il fut luxueusement restauré au siècle dernier. De plan rectangulaire, l'ouvrage est flanqué d'une tour circulaire contenant l'escalier au centre de la face Est, et d'une seconde tour partiellement engagée à l'extrémité Est de la façade nord. Chacun des cinq niveaux comprend une salle donnant sur l'escalier, une pièce située dans la tour nord. Des boiseries ornent la pièce du deuxième étage. Au XIXe siècle, construction d'un petit château contre le donjon. Visible de l'extérieur uniquement.
En remontant la vallée de l'Aspre on découvre le château de Seilhols, propriété de la famille du Fayet de la Tour, il peut être loué pour des événements. Ces éléments de patrimoine historique et environnemental peuvent jalonner une randonnée pédestre agréable. Un sentier balisé part de la place du village et traverse la commune d'ouest en est à travers bois, pâturages d'altitude et zones rocheuses. De plus, d'autres sites importants sont situés à proximité : Salers, Mauriac, le Puy-Mary, les gorges de la Dordogne, le barrage de l'Aigle, le château d'Anjony et le village de Tournemire, le col de Légal...