Face aux vikings, les moines s'enfuient avec leurs reliques. Ils reviennent une première fois vers 860 avant de s'enfuir à nouveau à Saint-Savin en 865, puis à Saint-Gondon entre 866 et 881. Ils résident également un temps à Tournus.
Au lieu de revenir au Mont Glonne, la communauté de Saint-Florent se reconstitue près du château de Saumur et fonde Saint-Florent-de-Saumur, ou Saint-Florent-le-Jeune. L'ancien monastère du Mont Glonne devient alors Saint-Florent-le-Vieux et est transformé en prieuré, bien que gardant le vocable d'abbaye.
À la suite de l'incendie en 1025 de Saint-Florent-de-Saumur lors de la prise de la ville par Foulques Nerra, l'abbé Frédéric et huit autres religieux se réfugient à Saint-Florent-le-Vieil. De retour près de Saumur, il y revient en 1036 pour dédier la nouvelle église.
Le successeur de Foulques Nerra, Geoffroy Martel, fait fortifier l'abbaye et le bourg attenant par une enceinte, en confiant la garde de la place aux moines. Geoffroy III confirme le droit des moines, sous condition de ne pas remettre la place à un tiers. En 1130, Geoffroy Plantagenêt s'engage à ne pas établir de communes sur le territoire de l'abbaye.
L’abbatiale est modifiée de siècle en siècle. Ainsi la nef et le transept sont reconstruits vers 1280, le chœur de 1302 à 1311. Eprouvée par les guerres de religion, l’abbatiale est restaurée de 1702 à 1710, exception faite du chœur et de la porte du 13ème siècle qui, au sud du transept, s’ouvre sur le cloître.
L'abbatiale sur son emplacement actuelle est édifiée au XIVe siècle. L'abbaye est endommagée lors des Guerres de religion. Au XVIIe siècle, l'abbaye passe sous le contrôle de la Congrégation de Saint-Maur qui reconstruisent la totalité du monastère et une partie de l'abbatiale. Le reconstruction respecte « les principes mauristes de commodité, solidité et sobriété ».
Lors de la Guerre de Vendée, l'église abbatiale de Saint-Florent est transformée en prison où sont enfermés des milliers de Vendéens, y compris les femmes et les enfants. Au cours des guerres de Vendée, l’abbatiale sert de prison à deux reprises. Après l’incendie de la ville, seule cette église, sans toit mais voûtée, peut accueillir la communauté villageoise. L’abbatiale est restaurée par Tessier en 1896.
La plupart de ces prisonniers seront exécutés lors des fusillades du Marillais. A près la Révolution, le monastère est vendu en trois lots. En 1890, l'architecte Alfred Tessier restitue l'ancien chœur à deux niveaux. L'édifice est inscrit au titre des monuments historiques en 1952, classé en 1974, inscrit en 1993 et classé en 1999.