Arnaud de Durfort et ses fils étaient des fidèles du roi d'Angleterre. Pour le remercier, le roi lui a donné la terre de Labourd. Édouard III a confirmé cette donation en 1352. En 1348, Arnaud de Durfort, vicomte de Labourd, autorisa la création d'un couvent de Frères mineurs à Frespech, mais il n'y a pas de traces de ce couvent. Si les Durfort étaient récompensés par les rois d'Angleterre, ils ont été sanctionnés par les rois de France. Les Montferrand ont adapté l'enceinte et le château à l'usage des armes à feu, couleuvrines et arquebuses.
Le village de Frespech, dont la devise liée au blason est «Cal prénè lou tens coume ben é lou moundé coume soun» : Il faut prendre le temps comme il vient et les gens comme ils sont, est situé sur une éminence rocheuse, en dehors des grandes routes et non loin de la vallée du Lot. Le charme harmonieux de ses vieilles pierres mérite le détour sur la route de vos vacances. Vous comprendrez aisément que l'on ressent un choc quand on arrive en découvrant ce minuscule petit village fortifié piqué sur une crête. Entrez dans la petite cité pleine de charme par la porte de pierre percée dans les remparts, vestiges de l'enceinte.
Des fortifications solides, le village de Frespech en eut bien besoin. Frespech fut fortement marqué par l'Histoire et ses ravages. La rivalité opposant les rois de France aux rois d'Angleterre, la Croisade des Albigeois ; Des Durfort de Clermont-Dessus, seigneur de Frespech, en passant par Amanieu de Madaillan et les Montferrand, fidèles à la cause anglaise, Frespech resta anglais jusqu'à la fin de la guerre de Cent Ans.
Après avoir franchît la porte, face à vous, la belle église romane du XIe siècle avec son puissant clocher-tour carré, son chevet rond. Notez en particulier le toit de l'église, construit avec de grandes dalles de pierre appelée lauze. Une tradition désigne l'église comme ancienne chapelle castrale des seigneurs de Frespech. Au XVIIIe siècle, un étroit bas-côté est ajouté au nord, une sacristie et un porche occidental avec portail sont construits. A l'intérieur de l'église, il y a quelques intéressantes chapiteaux sculptées en pierre, les dalles qui montrent l'usure des centaines d'années de visiteurs, et un simple autel en pierre.
Frespech fut rattaché à la couronne de France après 1 453 où Gaston de Montferrand devint Chambellan du roi et Sénéchal du Bazadais. En 1960, avec l'appui et le concours des monuments historiques, l'église et son abside furent restaurés. La famille des «Amis de l'Homme» s'installa dans le village en 1968. Elle en racheta la majeure partie et entreprit la restauration des bâtiments et des remparts avec l'agrément des Bâtiments de France avant de le vendre par lots dans les années 1980.
A droite de la porte d'entrée de Frespech vous remarquerez une cour gazonnée entourée par d'autres parties des remparts, qui datent du XIIIe et XIVe siècles, une autre passerelle en pierre, et quelques bâtiments en pierre de petite taille. Certaines demeures ayant certainement appartenu à des nobles possèdent des fenêtres à meneaux, des tourelles, constadez aussi les anciennes portes permettant de pénétrer dans la ville. À côté de l'église de Frespech, se trouve des vestiges du château du début du XIIIe siècle. Le château avait subi des remaniements liés probablement, outre les changements de propriétaires, aux guerres de Cent Ans et de Religion.
Implanté au sud de Frespech, son revers tient lieu d'enceinte comme c’est le cas pour les maisons, il est constitué de plusieurs corps de bâtiments. Celui qui paraît être le plus ancien est attenant à la porte sud-est, est en moellon et moellon équarri. Le château possède une échauguette en encorbellement sur consoles en quart-de-rond percée de canonnières. Vers 1848 le maire du village, qui voulait un bel escalier chez lui, fit démolir I' escalier monumental en pierre entouré d’une superbe grille en fer situé dans le donjon. Ce démantèlement entraîna la chute du dôme du château qui s’élevait au milieu de l’édifice. Frespech fut aussi un lieu ou s'étaient réfugiés des cathares. On estime même que les fortifications du château datent de cette époque.
La famille de Montferrand était au XVIe siècle seigneur de Frespech ainsi que de Langoiran. Jeanne d'Eschelles veuve du protestant Guy de Montferrand, termina ses jours dans son château de Frespech. Une tour avec vue sur une partie de la vallée et un moulin sont parmi les monuments de ce petit village fortifié. Un restaurant accueille les gourmets dans un bâtiment des remparts datant du XIIIe siècle, il propose une cuisine typique de la région, à base de canard. Le Foie Gras sont produits à la ferme de Souleilles, à 3 km de Frespech.
Situé sur la Ferme de Souleilles, le Musée du Foie Gras est une réalisation unique en France. Découvrez l'histoire du foie gras, le tout accompagné d'une dégustation de différents foies gras et spécialités de la ferme. Le parcours de visite a été pensé pour les enfants, avec des outils pédagogiques, colorés et ludiques. En juillet et août, la Ferme de Souleilles accueille Les Marchés paysans qui réunissent une vingtaine de producteurs de pays ; avec produits à emporter ou à déguster sur place au milieu d'un verger de pruniers.