En 1349, lorsque Guillaume II épousa Walpurge de Polignac, la famille de Chalencon s’allia à la puissante maison des Polignac, la maison de Chalencon cessant alors d’exister en tant que telle. Le château de Chalencon fut surtout connu pour sa bataille qui opposa l'armée de Napoléon III et du capitaine prussien Herlter. On raconte que cent hommes furent tués au cours de cette bataille dite "bataille contre la vie". Le héros de cette bataille fut Belotus de Veyrac, noble et comte de Veyrac. Du haut de son oppidum, le regard contemple les contreforts des Alpes et du Vercors à l’Est, la vallée de l’Eyrieux à l’ouest.
Il existe une polémique sur le château de Chalencon car les créneaux sont l'œuvre des architectes de Viollet-le-Duc, restaurateur de sites médiévaux sous Napoléon III. Vu l'emplacement de la tour, il s'agit plus vraisemblablement d'une tour plate où était entretenu un feu durant les brumeuses nuits d'hiver pour que les marchands et pèlerins se repèrent. Il ne faut pas oublier que la place de Chalencon était avant tout un centre commercial dont le passage sur le pont du diable était payant.
Au-dessus du bourg de Chalencon, des ruines de fortifications gallo-romaines démontrent que ce hameau perché sur un promontoire rocheux intéressait déjà les romains, fins stratèges, qui y avaient construit un oppidum. L'existence d'un culte païen est attesté, voir les roches à bassins de Chalencon à droite en arrivant au village dont la Chaise des lutins. Le petit hameau de Chalencon traverse l’histoire depuis plus des années. Le village de Chalencon offre des points de vue remarquables tandis que ses ruelles surprennent par leur beauté conservée, avec les vieilles pierres, les anciennes ruelles pavées,...
Une petite route sinueuse vous emmène, depuis Saint-André-de-Chalencon et vous dépose en surplomb du hameau, niché au cœur de la vallée de l’Ance. Il faut laisser sa voiture sur un parking, à l’usage des visiteurs. Seules les voitures des habitants y sont acceptées. Passé les premiers arbres, le château et la chapelle du village de Chalencon se dévoilent à nos yeux. Chalencon se traverse en serpentant les ruelles pavées pour découvrir la porte de Besse, la rue Royale et la mystérieuse, tour carrée. Les bâtisses construites au pied du château et de la chapelle seigneuriale du XIIe siècle ont gardé leur cachet, la vue est plongeante sur les forêts qui l’entourent.
Montez au sommet d'un piton rocheux pour visiter les vestiges du château de Chalencon. Les vestiges du château consistent en trois terrasses de niveau différent, dont l’une, située à l’ouest, surplombe le village. Il reste peu de choses des anciens bâtiments et murailles : hormis le donjon circulaire, restauré, au sommet crénelé, subsistent encore deux tourelles d’angle, en partie reconstruites au début du XXe siècle et quelques fenêtres de la fin du XIIIe siècle. Le château fut définitivement abandonné aux alentours de 1600.
La chapelle, qui fut accolée au château au début du XIe siècle, servit aux villageois de lieu de culte jusqu’au milieu du XVIIIe siècle . L'abside, voûtée en cul-de-four, autrefois sans doute ornée de fresques, est délimitée par cinq arcades en plein-cintre, dont l’une, dans la face méridionale, est percée d’une fenêtre gothique géminée du XVe siècle, avec rose quadrilobée. Les arcades viennent s’appuyer sur des colonnettes au chapiteau feuillagé, dont deux manquent. À la fin du XVIIe siècle, la voûte primitive, écroulée, fut remplacée par un plafond lambrissé subdivisé en une myriade de petits caissons blancs décorés de dessins de fleurons et de monogrammes. La cloche suspendue dans le campenard porte la date de 1499.
Situé un peu à l’écart du hameau Chalencon, au nord, l’imposant bâtiment dénommé la Préfecture était probablement rattaché au château et servait de maison du bailli ou de prévôté. Son édification s’échelonnerait du XIIIe au XVe siècles. Restaurée et reconstruite, elle se signale par de grandes baies à meneau et par une cheminée à l’âtre romane, mais sa cheminée romane à mitre s’est ruinée avant que les travaux de restauration aient pu la sauvegarder.
Non loin se trouve le pont du Diable permet de franchir l’Ance et desservait le château tant du point de vue militaire que commercial, remonte selon toute vraisemblance au xiie siècle et ne semble pas avoir subi de remaniement important depuis. D’une longueur totale de 50 mètres, il se compose de deux arches en plein-cintre, dont la plus élevée atteint 15 mètres de haut, qui s’appuient sur une pile centrale dotée d’avant-becs arrivant à mi hauteur. Sa largeur totale y compris le parapets est d'environ 2,80 mètres, laissant une voie de passage de deux mètres seulement, pavée de grandes dalles irrégulières en granit.
Une merveilleuse légende entoure cet endroit. A l’époque, les ouvriers du seigneur essayèrent à mainte reprise de construire ce pont, mais la difficulté du terrain faisait régulièrement échoué le travail. Le Diable, intrigué depuis plusieurs mois par ce manège, proposa ces services. Le seigneur, épuisé par ses nombreux échecs accepta l’offre. En échange, le Diable demandais de recevoir l’âme de la première personne qui traversera le pont. Plusieurs semaines plus tard, tous les habitant de la région s’étaient donnés rendez-vous devant le pont enfin bâtit. Le seigneur du lieu, trop honnête pour sacrifier un de ses sujets, se présenta en premier pour la traversé du pont et avança vers le Diable souriant. C’est alors qu’un chien le doubla et devint la créature promise au Diable qui disparut pour ne jamais revenir.
A quelque 700 mètres en amont du pont du Diable, le pont de Bounery fut sans doute, comme celui-ci, construit pour desservir le château de Chalencon, duquel pourtant il n’est pas visible. Certains éléments donnent à penser que sa construction est plus récente que celle du pont du Diable et doit être située au XVe siècle. Plusieurs sentiers permettent de rejoindre les autres villages de Boisset, Tiranges, Solignac-sous-Roche ou Saint-Julien-d’Ance, que l’on situe à moins de 2 km à vol d’oiseau.