Deux des colonnes qui reçoivent ces voussures sont décorées d’hélices. Mais tandis que pour celle de droite, il s’agit d’une seule hélice qui court sur toute la hauteur du fût, celle de gauche, qui est bien monolithe aussi, est divisée en deux parties, avec deux hélices tournant en sens contraire. Ce décor très particulier a-t-il un sens symbolique ? On ne le saura certainement jamais.
L'intérieur de l'église est très simple, formé d'une nef unique, dont la voûte en berceau est renforcée par des arcs doubleaux et repose sur des arcs de décharge latéraux de grande hauteur.
La croix monumentale en pierre du XVe siècle, naguère située sur le mur de l’ancien cimetière, non loin du portail d’entrée de l'église, est composée d'un fût octogonal et d'une partie supérieure, historiée sur les deux faces : l’une, celle tournée vers l’ouest, s’ornant d’une pietà, l’autre représentant la crucifixion. Classé monument historique le 28 mai 1907.
La partie inférieure est un fût prismatique octogone avec base à pénétrations mais sans chapiteau. La partie supérieure représente la croix proprement dite et est décorée de personnages sur les deux faces. Les branches de la croix sont terminées par des fleurons à feuillages cruciformes.
La face principale, tournée vers le cimetière, représente le Christ entre la Vierge et Saint-Jean. La face postérieure est ornée d'une Pietà entre un Saint-Pierre portant une clef et un évêque portant une crosse.
L'ancienne porte d'enceinte, dite poterne, datée de 1066, si l’on en croit une inscription gravée dans une plaque de marbre est composée d'une haute voûte en berceau brisé, que surmonte une salle prenant jour, sur la face nord, par une fenêtre à meneau.
Un deuxième étage sous comble, éclairé par une petite fenêtre dans la face sud, fut probablement, comme la porte à supposer la différence de mise en œuvre de la maçonnerie entre les deux étages, ajoutée postérieurement, au XIVe ou XVe siècle.
La poterne marquant l'entrée dans le rempart fermant le village primitif, correspondant à la première enceinte du château, a pu être construite au 11e siècle. Cette porte était autrefois intégrée à l’enceinte extérieure du château, laquelle se raccordait aux murailles du château proprement dit par le sud-est et le nord-ouest. Inscription au Monument Historique le 27 septembre 1971.
L'ouvrage porte une plaque de marbre avec l'inscription suivante : "Portail féodal construit en 1066". L'élément central de cette poterne est composé d'une haute voussure en berceau légèrement brisé portant une petite salle ouverte sur l'intérieur par une fenêtre à meneau. Un arc de décharge est disposé sur les deux faces.
A l'étage supérieur sous combles, une fenestrelle ouvre sur l'extérieur, mais peut avoir été rajoutée postérieurement, lors d'une surélévation. Une différence d'appareillage existe entre le premier et le deuxième étage, sans doute rajouté au 14e ou 15e siècle. Cette voussure est épaulée de deux contreforts importants.
Le Château est l’illustration parfaite de ces châteaux de montagne à la topographie complexe. Bâti dès le XIe siècle sur un roc de 80 mètres de haut, surgissant comme une muraille sur la Loire, Arlempdes jusqu’au XVIIIe siècle vivra dans la gloire animée de héros, de hauts personnages, de ceux qui contribuèrent à forger l’âme de la France
Le château, aujourd’hui ruiné, hormis la chapelle castrale et un corps de bâtiment non loin de celle-ci dont le rez-de-chaussée : la salle d’armes, a gardé sa voûte, coiffe un relief basaltique situé le long de la jeune Loire, dont la paroi orientale, face au fleuve, présente des à-pics d’une centaine de mètres de hauteur.
Il se présente grosso modo comme un rectangle de 30 sur 80 mètres, délimité par des fronts de courtine plus ou moins rectilignes, à l’exception de la portion nord-est de l’enceinte, d’un dessin irrégulier, où le château tend à se soumettre aux contraintes topographiques induites par la morphologie des falaises à cet endroit. Le côté le plus exposé est le flanc nord-ouest.
Les murailles sont jalonnées de tours d’angle et de tours de flanquement : sept au total. Au centre de la forteresse, un mur, aujourd’hui à l’état de débris, relié à une tour circulaire, qui servit autrefois de donjon, subdivise le château en deux parties distinctes. La moitié sud a l’aspect d’un terre-plein dégagé, alors que la partie nord est densément occupée de bâtiments, pour la plupart ruinés
La chapelle, du XIIe siècle, préservée ; un pan de mur, seul élément à subsister de l’ancien logis seugneurial construit par les Poitiers aux XVe et XVIe siècles ; des vestiges de geôles, près de la salle d’armes, déjà mentionnée ; enfin quelques restes de murs et de fenêtres près du portail d’entrée daté du XIIe dans le nord-ouest du château.
Les soubassements des murailles remontent au XIIIe siècle, et le reste des constructions date des XVe et XVIe siècles, c'est-à-dire de l’époque à laquelle les Poitiers s’appliquèrent à remettre en état et à reconstruire la forteresse.
La chapelle castrale Saint-Jacques du XIIe siècle, bâtie en pierre rouge, et nouvellement rénovée, est la seule partie conservée du château féodal primitif élevé au XIIe siècle. Peu décorée et d’aspect rustique à l’intérieur, elle se compose d’une nef voûtée en berceau, aux parois latérales évidées sous un arc de décharge surbaissé, se prolongeant par une abside ronde voûtée en cul-de-four, plus ou moins de même largeur. Inscription au Monument Historique le 27 février 1926, puis les alentours en 1945.
Une bulle de Clément IV mentionne le château en 1267. En 1450, une fille du baron de Maubec épouse Charles de Poitiers. C'est ainsi que Diane de Poitiers fut Dame d'Arlempdes. Les Poitiers firent restaurer et reconstruire le château. En 1585, lors des guerres de Religion, le château fut pillé.
La chapelle, seul vestige du château primitif, date du 12e siècle, les soubassements du 13e et le reste des constructions et fortifications est du 15e et du 16e siècle. Le château est en ruines, à l'exception de la chapelle et du bâtiment près de celle-ci. Le sud-est, à pic sur la Loire, n'est pas fortifié. Les autres côtés sont défendus par des murs flanqués de tours. Au sud-ouest se développe un chemin de ronde.
Au nord et au nord-est se trouvait des murailles. Ces côtés sont flanqués de six tours rondes et d'une tour carrée. Le château est divisé en deux par une muraille médiane avec grosse tour ronde. La partie sud forme une grande esplanade. La partie nord comprend l'entrée et des bâtiments dont il ne subsiste que le rez-de-chaussée voûté d'un corps de bâtiment et la chapelle. Chateau (restes) : inscription par arrêté du 27 février 1926, propriété d'une association.
Dressé au sommet d’un piton volcanique que la Loire entoure d’un méandre, le village de caractère classé « Plus Beaux Villages de France » se distingue par son rocher, un dyke basaltique sur lequel se dresse les vestiges de son château qui sert de décor aux « Théâtrales du Velay » chaque été.