Déjà, au XIIe siècle, les Caumont étaient seigneurs de Lauzun. Malheureusement, de cette époque moyenâgeuse, l’Histoire n’a gardé que peu de documents. Nompar 1er prit le parti des Croisés et guerroya contre les Albigeois. Son fils Anissant combattit aux côtés de Simon de Montfort. Durant la Guerre de Cent Ans, les Caumont restèrent fidèles aux rois de France. A cette époque, Jean-Adam Caumont prit le titre de baron de Puyguilhem. Il eut à lutter contre Rodrique de Villandrando, aventurier espagnol qui, à la tête de 4000 soudards, prétendait server Charles VII et ne faisait que ravager toute
la Guyenne. Rodrigue assiégea et prit Lauzun.
Après la bataille de Castillon, la paix revint et les seigneurs de Lauzun eurent fort à faire pour sauvegarder les terres usurpées que réclamaient les voisins lésés par leurs empiétements. Sans doute, les Caumont prirent part aux guerres d’Italie et jouèrent un rôle important pendant les guerres de religion. François de Caumont, resté fidèle à la religion catholique, fut un des plus dévoués capitaine de Montluc. En août 1565, le roi Charles IX coucha à Lauzun. La baronnie fut érigée en comté en 1570. En 1576, le future Henri IV se présenta à la porte du château de Lauzun pour souper et coucher.
Gabriel de Caumont mourut en 1660. Il avait épousé Charlotte de Caumont, de la branche de la Force, et eurent neuf enfants. Antonin, le « beau Lauzun » dont les aventures allaient si longtemps défrayer la chronique, était le troisième. Sa vie fut aussi longue qu’aventureuse : son regard plein de flammes fit battre bien des cœurs et fit verser bien des larmes, ses bonnes fortunes furent innombrables. Il était le type même du séducteur ! Louis XIV le remarqua et le nomma colonel des Dragons de sa Garde, puis en 1660 capitaine de Cent Gentilshommes. Il devint favori car le roi aimait son esprit, ses réparties mordantes, son audace. L’estime en laquelle le tenait le monarque et le crédit dont il jouissait auprès de lui, lui valurent de sérieuses jalousies.
Disgracié à la cour du Roi-Soleil, il fera un séjour à la Bastille où il ne resta que six mois, puis à la forteresse de Pignerol où il aura comme voisins, Fouquet et le masque de fer... Il finira par épouser Anne d'Orléans, cousine du roi, appelée la grande Mademoiselle. Mademoiselle étant morte en 1693 sans avoir voulu le revoir, Lauzun se remaria en 1695, à 63 ans avec Geneviève-Marie de Durford, fille du Maréchal de Lorges, âgée de 15 ans. La petite le prit pour être libre, riche et grande dame, croyant être vite veuve. Lauzun vécut encore 28 ans. Il eut une vieillesse magnifique, recevant somptueusement, toujours recherché dans sa mise et pétillant d’esprit. Il s’éteignit à l’âge de 90 ans. Telle fut la vie du Duc de Lauzun, qui rejeta dans l’ombre ancêtres et contemporains.