Pontaix doit son nom à un pont lancé sur la Drôme, au pied du château d'où le comte de Valentinois tenait péage en 1221. Celui-ci accorda une charte aux villageois en échange de la construction d’une muraille montant depuis le ruisseau d’Aiguebelle au Sud, enserrant le village au Nord. Les ruines du château de Pontaix, édifié au XIIIe siècle, dominent superbement le village. Au XVe siècle, une église paroissiale a été édifée à la suite d'une chapelle romane.
Dans la commune de Pontaix le calvinisme s’implante au XVIe siècle. Pendant les guerres de religion, Pontaix est une des places fortes protestantes du Diois. La garnison militaire du château de Pontaix a joué un rôle important, combattant aussi bien en Diois, en Dauphiné ou en Guyenne, participant aux sièges de Livron, Montélimar, Gap, Grenoble. Mais ses fortifications sont démolies en 1581.
L'église du lieu a été utilisée comme temple réformé dans l'esprit de l'Edit de Nantes de 1598. En 1614, les protestants sont obligés de restituer aux catholiques l’église qu’ils occupent depuis un demi siècle (l’ancienne église de Saint-Apollinaire). Cependant la communauté protestante reste importante, opiniâtre et active même dans la clandestinité. Retourné au catholicisme, l'église échappa à la démolition en 1685 et redevint temple à la Révolution.
Une église clandestine est organisée dès 1740 et c’est à Pontaix que se tiennent les synodes provinciaux de 1791 et 1793. Après la Révolution, les lois organiques du Concordat permettent aux protestants de récupérer leur temple de Pontaix. En 1803 l’église catholique redevient un temple (régime concordataire) et la chaire mobile du désert y est installée.
De nos jours le temple protestant est la propriété de la commune, alors que l'ancien presbytère est la propriété d'une personne privée. Le bâtiment surplombe les flots de la Drôme et a deux belles fenêtres en bretèches (ou logettes à machicoulis) de l'extérieur, qui sont deux chapelles à l'intérieur. L'église fortifié est accolée à un grand logis ancien (ancien presbytère).
Parmi les éléments remarquables visibles, une date de 1562 commémore la visite du réformateur Guillaume Farel à Pontaix. Elle a été ornée de peintures murales médiévales, à cette époque de peintures "a fresco", c'est-à-dire réalisées par application de pigments sur l'enduit encore frais. Le mur gauche est couvert d'un tracé évocateur d'un appareil de pierres de taille, sur lequel court également la litre funéraire qui entoure l'édifice (litre = bande noire entrecoupée d’écussons) portant les insignes funéraires de huguenots de Pontaix morts au XVIe siècle. Les peintures les plus intéressantes sont concentrées dans et autour de l'abside. Celle-ci est ornée d'un Christ en croix, entouré de Marie à gauche, dont la tête est couverte de son manteau rouge, et Marie-Madeleine à droite, portant le flacon des huiles ayant servi à oindre les pieds du Christ. La scène est surmontée d'un soleil à gauche et d'une lune à droite, pour évoquer le temps du supplice. Comme il en est d'usage au XVe siècle, les pieds du Christ ne sont pas superposés mais séparés.
L'horloge double mérite également une mention spéciale. A l'extérieur, deux cadrans à une seule aiguille sont visibles, l'un tourné vers le village et le château, l'autre vers la Drôme. A l'intérieur, le mécanisme est double : un mouvement pour chaque cadran, tous deux enserrés dans un châssis unique. Cette dualité était donc prévue dès l'origine.
Le mouvement côté village est régulé par un système à pales, alors que le mouvement côté Drôme montre un échappement à ancre. Beaucoup plus sophistiqué et plus facile à régler, ce dernier est moins ancien, ce que montre également la fabrication des pignons et roues dentées.