En 1342, Raoul de Caumont, frère de Bertrand de Caumont, le donne en dot à sa fille. Pendant la guerre de Cent Ans, les tours de Fayrac servent de vigie au château de Castelnaud qui tient pour le roi d'Angleterre, face au château de Beynac qui soutient le roi de France.
À la fin de la guerre, le château va passer à Léonard de Prouhet en 1459. Celui-ci était le varlet du comte de Périgord, Jean de Châtillon dit de Bretagne.
Le comte voulant le récompenser de sa vaillance lui fait le « don de terres à la Treille d'Affeyrac », et il épouse l'héritière du château. Un châtelet d'entrée avec pont-levis donnant accès à la cour intérieure date du XVe siècle.
Dans les chroniques du chanoine Tarde, on trouve en 1529 un Raymond de Prouhet, seigneur de Fayrac, lieutenant-général de la sénéchaussée de Sarlat.
C'est probablement à cette époque que le châtelet d'entrée et le château sont embellis et qu'un logis est ajouté dans un style rappelant l'architecture de la Renaissance italienne, peut-être sous l'influence de l'évêque de Sarlat contemporain, Nicolas Gaddi.
L'héritière du château a épousé Jean de Blanchier, ou Blancher, conseiller au Présidial de Sarlat, faisant passer le château dans cette famille. Deux fils sont nés de cette union, Jean de Blancher, seigneur de Fayrac, et Pierre qui a fait carrière dans la magistrature et a été conseiller au parlement de Bordeaux. Jean est devenu protestant et Pierre est resté catholique.
Pendant les guerres de religion, Fayrac fait alors partie des châteaux tenus pas les protestants ou Religionnaires, avec Castelnaud, Beynac, Domme, les Milandes, Saint-Cyprien, la Serre, Campaignac, Salignac, Paluel, la Garrigue et Montfort. Jean combat côté protestant et Pierre est tué par des Religionnaires « dans la nuict du samedi seizième de septembre 1580 » d'après une chronique d'un chanoine de Sireuil.
Peu de temps après, Jean de Blancher se marie avec Simone de Vivans, fille de Geoffroy de Vivans, capitaine du château de Castelnaud. Après la prise de Domme, Geoffroy de Vivans confie la garde de la ville à son gendre.
Au début du XVIIIe siècle, on trouve un Jean de Blancher inscrit sur le ban de la noblesse du Périgord, comme seigneur de Fayrac. Un peu plus tard, on retrouve le nom de Blancher dans les actes d'un procès.
En 1789, le château est possédé par une branche collatérale dont certains membres ont émigré. Le château est alors saisi comme bien national et vendu. Il est acheté par un avoué de Sarlat du nom de Gayraud qui va s'enrichir en spéculant sur les assignats. Il restaure le château.
Le château a été ensuite la propriété du compositeur Fernand Fouant de la Tombelle, un des fondateurs de la Schola Cantorum, qui l'a fortement restauré.
André Malraux réside quelques semaines au château au moment où il entre dans la Résistance à la suite de l'arrestation de ses frères, après mars 1944.