Le nom de Banne vient de l'occitan bano (corne d'animal), dérivé du mot gaulois bannom (corne), souvent utilisé en toponymie pour désigner un sommet escarpé. Le terme occitan bana (bois de cerf), dérivé de bano, se retrouve dans les armes parlantes des premiers seigneurs de Banne : « d'azur à la demi-ramure d'or posée en bande ». Dès le néolithique, les hommes choisirent de s'établir sur cette terre sauvage comme en témoigne la présence des dolmens, de gravures rupestres, et d'habitations primitives. La commune riche en dolmens ; elle dispose d'un patrimoine important sur le plateau de Champs Grands et au nord du hameau de La Lauze qui témoigne de son passé néolithique.
Le premier document connu date de 1181, où il est fait mention de l'abandon des droits qu'avait Arnaud de Banne sur l'église Saint-Pierre de Banne. En 1186, la paroisse et l'église Saint-Pierre de Banne passent sous la juridiction de l'ordre du Temple et de la commanderie de Jalès. La commanderie de Jalès a été fondée en 1140 par les Templiers. Le nom de Hugues de Payns est évoqué, ainsi que celui de Raymond Pelet comme ses fondateurs. Elle est réputée pour être une des plus vieilles commanderie de France encore en état. Comme toutes les commanderies occidentales de l'Ordre, elle n'avait pas vocation militaire. Elle servait à récolter des fonds ainsi que des vivres. Elle a été profondément remaniée lorsqu'elle est passée sous la tutelle des Hospitaliers de l'ordre de Saint-Jean de Jérusalem au xive siècle.Entretemps elle connut les persécutions de Philippe le Bel.
Durant la Révolution française, le comte François-Louis de Saillans (1742-1792) tente une contre-révolution royaliste (3e camp de Jalès), suivi par environ 6 600 paysans. Il enlève le fort de Banne début juillet 17928. Il est rapidement repris par le général d’Albignac, venu de Bourg-Saint-Andéol ; un incendie est déclenché par les combats et un violent orage, qui réduit le fort en ruines.
Plus proche de nous eut lieu, le 29 juillet 1944, la "bataille de Banne". On distingue, sous le château, une route en ligne droite, en direction des Vans et du bois de Païolive. A cet endroit précis eut lieu, lla "bataille de Banne" qui marque la première victoire des maquisards sur l'armée nazie en Ardèche : l'embuscade des F.F.I. fit battre en retraite un convoi allemand qui remontait vers le nord. Le lendemain, le village eut à faire face aux représailles. Pour ce haut fait de résistance, la commune reçue la " croix de guerre ".
En arrivant au village, dirigez-vous vers l'église Saint-Pierre-aux-Liens de Banne où se trouve un parking pour stationner votre véhicule sur une la place, ancien cimetière désaffecté en 1835, pour constituer la place actuelle. L'église actuelle de style néogothique a été construite à la place d'une ancienne église romane dont la date de construction n'est pas connue. L'église actuelle mesure 35 mètres de long pour 17 mètres de large, la nef est haute de 15 mètres. En 1650, deux nefs latérales furent ajoutées au bâtiment central, l'église était alors plus large que longue : 18 pas de large contre 12 pas de long. De 1860 à 1867, l'église fut reconstruite dans le style gothique. Sous la façade actuelle, il reste trois rangées de pierre de l'ancienne église. Les voûtes et piliers de l'église romane ont été démolis, seuls restent les deux murs latéraux.
Les maisons et la mairie se regroupent autour de l'église, les maisons du quartier de l'église sont moins caractéristiques que celles regroupées autour du château. Plus récentes elles sont dotées d'un niveau de confort supérieur. Prendre la direction de l'ancien village de Banne. Une belle fontaine trône au milieu de la place centrale bien ombragée par de magnifiques platanes. La place invite une pause autour de la fontaine.
L’actuel quartier du fort est formé par l’ancien bourg castral de l’époque médiéval. Situé dans le Bas-Vivarais, le village de Banne est un enchevêtrement de ruelles caladées où maisons, terrasses et jardins s’entremêlent. les calades sont typiques du sud de la France. On les trouve en particulier dans tous les départements du sud-est mais aussi, plus rarement, dans le sud-ouest. Ce sont des ruelles revêtues de pierres calcaires locales disposées verticalement sur leur chant. Véritable labyrinthe dans lequel il faut monter ou descendre, ou encore emprunter parfois un escalier passant sous les voûtes des maisons de grès.
Les maisons typiquement ardéchoises caractéristiques de ce pays sont faites de calcaire dont le blanc cassé s’allie harmonieusement avec la tuile orangée fabriqué ici. Ces demeures sont dotées d’un escalier extérieur menant à une terrasse couverte qui ouvre sur l’habitation, gardant le rez-de-chaussée à vocation de celliers et d’écuries. Il y a de nombreuses terrasses, des tonnelles, des jardinets... Les tuiles rondes des vieilles maisons ont été fabriquées dans le pays. Elles se sont patinées et décorent le paysage. De nombreux détails, vestiges des temps anciens, sont également présents sur les linteaux de portes, sur les façades et les fenêtres.
Au sommet du village de Banne se trouvent les vestiges de deux anciens châteaux. Le premier date de la fin du Moyen-Age. Il ne reste que les fondations d’une tour carré. Le second a été construit durant l’époque moderne et détruit à la fin du XVIIIe siècle. Cet ancien castrum fut, au XIe siècle, la propriété des de Châteauneuf, puis de la famille de Joyeuse. Au XVe siècle, il est la propriété de la famille de Beauvoir du Roure et le restera jusqu'à la Révolution. Il joua un rôle important lors des Camps de Jalès. L’armée contre-révolutionnaire du comte de Saillans l’occupa en 1792. Puis, il fût malheureusement brûlé, et presque complètement détruit. Il sera vendu par son propriétaire à un négociant des Vans qui l'utilisa comme carrière. Les pierres récupérées alors, se retrouvent dans de nombreuses constructions de la région.
On peut encore aujourd’hui découvrir quasiment intactes ses magnifiques écuries et ses fondations. En effet, situées en sous-sol, elles ont été en partie épargnées par la terrible destruction. Ce sont donc des écuries de plus de 50 mètres de long, et 8 mètres de large qui vous surprendront, non seulement par leurs dimensions, mais aussi par leur état de conservation. Vous aurez donc le privilège de pouvoir admirer aujourd’hui ses ruines remarquables. Ses remparts, ainsi que les ruines du fort principal, et celles d’une des tours défensives sont également encore visibles. Lorsque vous vous trouvez au rez-de-chaussée, vous pourrez imaginer la disposition des pièces principales, et vous rendre compte de la grandeur de ce vestige d’une époque incroyable. Les fours des cuisines ont été remis à jour.
De la table d'orientation, située au bout de la terrasse, l'une des plus belles vues sur toute l'Ardèche méridionale s'offre à vous. Le belvédère du château se situe à environ 300 mètres d’altitude, et surplombe toute la commune de Banne. C'est l’endroit idéal pour appréhender l’ensemble du Bois de Païolive où les blocs de calcaires étrangement découpés se détachent des camaïeux verdoyants.
Banne est le point de départ de nombreuses promenades. Côté nature, les Combres de Banne, prolongement du bois de Païolive, sont un dédale rocheux formé par la dissolution du calcaire par les eaux de pluie et le Granzon, une rivière surprenante à découvrir. Le viaduc de Doulovy, situé non loin de ce village de caractère, témoigne du passé minier de Banne qui l'a fait prospérer en d'autres temps. Jusqu'au milieu du XXe siècle plusieurs gisements de charbon étaient exploités à Banne, avec quatre concessions : Montgros, Doulovy, Sallefermouse et Pigère-Mazel. C'étaient les seules mines de houille du département de l'Ardèche avec celle de Nieigles, aujourd'hui Lalevade-d'Ardèche. Depuis la fermeture des mines, une forêt a pris la place du carreau (Bois des Bartres). Peu de vestiges subsistent, excepté le magnifique viaduc du Doulovy, construit en 1876. Ces gisements sont la continuité du bassin minier d'Alès.