Le site fut occupé dès l’époque préhistorique, et les Romains en firent un oppidum. Peuplée dès l'époque gallo-romaine, comme en témoigne la construction de la voie romaine d'Antonin le Pieux en 145, la cité ardéchoise se développe dans la première moitié du XIIe siècle avec l'édification de son donjon entre 1120 et 1140 sur une cheminée volcanique par le fils d’Hugues Adhémar de Monteil, seigneur de Montélimar. Le XIIIe siècle voit la construction de la maison seigneuriale au nord du donjon, ainsi que l’élévation d’un rempart cernant le village, fortifié par l’édification de tours, et d’un rempart pour le village bas. En 1209, une négociation auprès de l’évêque de Viviers permet à Giraud Adhémar de conserver la seigneurie de Rochemaure. En 1226, Giraud Adhémar, seigneur de Montélimar et du castrum de Rochemaure, est cité dans un texte concernant une exception de charge envers les habitants de Viviers.
Le château va successivement changer de propriétaires : les Adhémar de Monteil, seigneurs de Rochemaure jusqu’en 1359, jusqu’en 1440 il sera une demeure seigneuriale, puis en 1630 le château devient la résidence des gouverneurs. En 1598, le nouveau gouverneur Jacques d'Hilaire préfère faire construire un nouveau château, le château de Joviac. Le château est alors abandonné en 1630. Le château passera dans les mains des Levis-Ventadour jusqu’en 1694. En 1730, le propriétaire, le prince Hercule de Rohan, vend la toiture pour couvrir une grange. Si le château a été abandonné vers 1730, l’habitat s’est maintenu et a été remanié au cours des périodes prospères (de 1730 à 1792, et à la fin du XIXème siècle, avec le ver à soie). les Rohan-Soubise jusqu’en 1784, les Garnier des Hières jusqu’en 1912, les Massin de Miraval jusqu’en 1974, date à laquelle le château est cédé à la commune pour un franc symbolique.
Aujourd’hui, seuls les vestiges du château de Rochemaure et son donjon se dressent encore au-dessus du Rhône, Il faut se rendre au pied de ce magnifique donjon, formé d’une tour carrée surmontée d’une tour pentagonale si bien conçue, qu’aucun ennemi n’a jamais réussi à s’en emparer. Le quartier du château est habité, le château de Rochemaure se trouve à l'extrémité du promontoire, il se trouve à une courte distance à pied du village médiéval. On peut aussi s’y rendre en voiture. Le château de Rochemaure a été édifié sur une cheminée volcanique, un "dyke".
Les remparts en Galade qui se terminent par la tour de Bise, descendent de la colline boisée pour rejoindre le village 100 m plus bas ont été construits au XIIIe siècle, les portes de Suchet au nord et des Tournelles au sud protègeaient les accès du château. Il faut se rendre au pied de ce magnifique donjon, formé d’une tour carrée surmontée d’une tour pentagonale si bien conçue, qu’aucun ennemi n’a jamais réussi à s’en emparer. En franchissant la grille marquant l’entrée du château de Rochemaure, vous voyez à droite le four banal, en haut de quelques marches et, sur votre gauche, longez des vestiges de l’ensemble castral. Ceux-ci se dressent sur un rocher formé de prismes basaltiques.
Le donjon, un des plus anciens de la vallée du Rhône, s’érige encore majestueux avec ses quarante mètres de hauteur. Il est construit en moellons de basalte noir, les chaînages d’angle seuls étant en calcaire clair, plus facile à tailler. Le donjon est formé d’une base carrée datant du début du XIIe siècle, surmontée d’une tour polygonale, telle qu’on les construisait vers la fin de ce même siècle. Comme c’était généralement le cas, le donjon au rez-de-chaussée ne comportait pas d’ouverture à sa base. On y pénétrait par une porte ouverte au premier étage par une échelle facile à retirer en cas de danger. De nos jours, un escalier intérieur, construit pour faciliter l’accès des visiteurs, permet d’atteindre la terrasse située au pied de la tour polygonale.
Il ne reste que quelques rares pans de murs de la demeure des seigneurs du XIIIe siècle. L'un d'eux garde une fenêtre à meneaux. Sur la terrasse, vous avez de là une vue splendide sur la vallée du Rhône et sur l’extrémité du massif du Coiron, avec notamment à l’ouest, le volcan du Chenavari qui culmine à 508 mètres. Entre le Chenavari et le dyke supportant la forteresse, un vallon qui est actuellement couvert de prés verdoyants. Cette zone fut habitée à l’époque préhistorique, ainsi qu’en témoigne la découverte de silex taillés. Nous voyez aussi la tour du Guast flanquée de deux tours de défense et d’un corps d’habitation, à mi-hauteur du rempart crénelé qui descend vers le village.