Haute-Isle est un rare village troglodytique, dont les premières habitations remontent à la période préhistorique. Au Moyen Âge, les habitations troglodytiques implantées à flanc de coteau se multiplient. C’est alors le développement du cœur ancien du village de Haute-Isle essentiellement constitué d’un habitat troglodytique,les « boves », s’étirant en amphithéâtre au-dessus de la Seine.
L’habitat troglodytique s’implante également en contre-haut du hameau de Chantemesle, où un prieuré de l’abbaye de Saint-Denis s’était établi dont il reste certaines traces et des noms de lieux-dits. Le village vit de la viticulture jusqu’au début du XXe siècle. L’habitat est essentiellement formé des boves qui sont alors abandonnées (seules quelques habitations troglodytiques sont encore en usage).