La Vicomté de Carlux changea souvent de mains au cours de l'histoire; les seigneurs les plus connus furent d'abord les sires de Pons et de Bergerac qui régnèrent du Xllle au XVe siècle, les Turenne et enfin les Noailles de 1723 à la Révolution. En 1840 et 1850, on a crée dans la cité de Carlux, sans trop de soucier de la propriété privée une route carrossable de Rouffillac à Salignac. Pour elle on a éventré la forteresse féodale, fait disparaître d'antiques constructions médiévales, raboté quelques maisons, traversé des jardins.
En 1992, pour mettre en valeur les ressources touristiques de la région, des travaux ont commencé sur le site du château de Carlux qui venait d'être donné à la commune par son propriétaire, Monsieur Platel. Une première tranche d'activité a permis de déblayer et de niveler l'intérieur du site. Les nombreux travaux effectués jusqu'à ce jour permettent de visiter l'ensemble des ruines de la forteresse : chapelle, logis roman, donjon, bastion…
Entre patrimoine et nature, au plein cœur du Périgord Noir, Carlux est un paradis pour les amateurs de vieilles pierres et d'histoire. Cette ancienne vicomté est aujourd'hui principalement tournée vers le tourisme, offrant la possibilité d'admirer quelques beaux vestiges de son passé illustre. L’arrivée au village est splendide, le château de Carlux surplombe le village et la vallée ! L'office de tourisme, La Gare Robert Doisneau, vaut le détour avec une exposition permanente sur le célèbre photographe en sirotant un café...
Commencez votre visite de Carlux par le château, bien qu'il a été en partie détruite et brûlé cela vous laisse imaginer comment il aurait pu être grandiose à l’époque. Longez le passage situé entre celui-ci et la Maison des Services Publics, ses épaisses murailles se dressent sur votre gauche. Vous arrivez sur un chemin bétonné qui vous mène face à La Poste, prenez alors sur votre droite jusqu'à la superette, puis tournez à gauche, et levez les yeux sur votre droite, pour admirer le château de Carlux aujourd'hui en ruines.
Le château de Carlux a probablement été construit au XIIe siècle sur des fondations et des structures qui remontent sans doute au Xe siècle. Comme les autres, le château primitif se résumait à une tour de guet. Il fut pris au cours du Moyen Âge dans une tourmente guerrière qui dura plusieurs siècles avec des accalmies et des moments d'exaspération. Attaqué, incendié, partiellement détruit, il était à chaque fois reconstruit et agrandi. Au cours de votre visite, imaginez qu’moment de son plus grand développement, l’aire du château allait jusqu’à l’aplomb sur le vallon (terrasse actuelle) et englobait au moins la place de la Mairie de Carlux.
Mettez-vous dans la peau d'un archéologue surplombant un époustouflant point de vue à 360°. Du château, vous aviez une ravissante vue sur le village, mais aussi sur les prairies et forêts entourant le château de Carlux. Panorama grandiose sur la vallée de la Dordogne garanti ! Faites alors demi-tour et dirigez-vous vers la gauche en empruntant la rue très pentue menant à l'esplanade de la mairie. Carlux est un petit village typique du Périgord qui réserve de belles surprises.
Une fois sur l'esplanade de la mairie dirigez-vous légèrement vers la gauche en remontant la rue vous pourrez apprécier une très belle cheminée gothique datant du XIVe siècle, surmontant le pignon d'une maison. Surnommée la cheminée sarrasine. En ruine, elle a été restaurée avec le concours des "Amis de Carlux". Son piètement a été renforcé au droit des trois étages à l'intérieur de la maison, et elle a été redressée. Elle possède deux magnifiques ouvertures à arc trilobés visibles depuis la terrasse du bar ou depuis l'arrière cour de la maison.
Dans le village, chaque maison possède un vestige ou une particularité qui attirent les visiteurs, son architecture est à la fois typique et atypique. Faites demi-tour et redescendez la rue puis prenez tout de suite à droite, vous voilà devant la halle construite au XIX siècle, elle posséde une trés belle charpente qui se dresse encore fièrement dans le village de Carlux. Transformée en garage communal, elle a retrouvé sa destination d'origine grace à l'action des bénévoles des "Amis de Carlux".
Ensuite prendre le temps de visiter l’église Sainte-Catherine de Carlux, construite de 1325 à 1340 environ, en pleine Guerre de Cent ans, l'église Sainte-Catherine présente un mélange de style roman et de style gothique. D'une sobre élégance, le bâtiment religieux permet d'admirer notamment une Pietà en bois peint du XVIIe siècle. La voûte du chœur, élevée avec une certaine maladresse, est cependant remarquable par sa sobre élégance, elle a été restaurée au début du XX ème siècle. A noter la forte pente du dallage montant vers le chœur.
Dans le village de Carlux vous trouverez également les Jardins de Cadiot, situés dans les hauteurs du village, pour découvrir ces jardins à l’anglaise, avec ses allées fleuries et ses nombreuses sculptures sur les chemins abrités. Un mémorial de la Résistance a été érigé le long de la RD703 au carrefour de Rouffillac sur lequel il est inscrit "soyons vigilants l'oubli est la mort de la mémoire".
Le 8 juin 1944, au lieu-dit Rouffillac, partagé avec la commune voisine de Calviac-en-Périgord, la Résistance avait placé une grande barricade en travers de la route nationale 703 pour arrêter les Allemands qui se dirigeaient vers la Normandie. Commandé par Adolf Diekmann. Le 1er bataillon de Panzer grenadier du 4e régiment SS Der Führer, appartenant à la division Das Reich se heurte aux résistants. Un Allemand et un résistant meurent dans les tirs. En répression, les Allemands incendient le village et tuent dix-huit personnes, dont seize civils.
Carlux possède aussi plusieurs chemins de randonnée. Il y a le GR 6 qui passe par le village ainsi que la voie de Vézelay à Rocamadour. Au pied de la butte de Pujols, on découvre des vestiges d'un ancien ermitage. Pour les plus courageux : plusieurs châteaux embellissent Carlux et ses alentours, à l'instar du château de Rignac ou encore celui de Rouffillac. Les deux édifices, privés, sont en réalité de charmantes gentilhommières.
Afin de découvrir le château de Rouffillac, la rivière Dordogne, Saint-Julien-de-Lampon, et au loin, le château de Fénelon. Prévoyez pour cela une trentaine de minutes (aller). Prenez la route située à gauche de la mairie, descendez la jusqu'à la route et prenez sur votre gauche. Parcourez environ 200 m et prenez le chemin pentu présent sur votre droite, au bord de la route : un panneau marqué "montée à pieds autorisée" y est visible. Grimpez ainsi en empruntant le chemin le plus large (emprunté par les tracteurs) et celà jusqu'au plus haut , le chemin vous mène directement au belvédère et à ces deux petites "bories" ou "maisonnettes" en pierre.
De là en vous tenant face à la rembarde vous voyez sur la gauche : le Château de Rouffillac. Ggentilhommière décorée à peu de choses près comme le château de Rignac, appartenait à la Révolution aux Dames de la Foi. Il fut alors vendu par la Nation. Prés de ce château, de l’eminence sur laquelle il se trouve situé jaillissent des sources abondantes : il est vrai que le château de Rouffillac est bâti au-dessous d’une petite chaîne de rochers sur laquelle on avait construit l’église de Cadiot et que les sources proviennent sans doute du monticule qui domine.
En face se situe le village de Saint-Julien-de-Lampon et sur la droite, au loin dans les collines Le Château de Fénelon.