La chiesa fu costruita sui resti di un luogo sacro alle divinità celtiche della terra. Secondo indicazioni archeologiche, nel posto sarebbe esistita una statua di granito nero raffigurante la “grande madre”, che nel quarto e terzo secolo prima di Cristo avrebbe costituito l'oggetto di particolari devozioni per tutta la popolazione del territorio limitrofo.

Resti di un'antichissima fonte sacra sono ancora visibili nella cripta della successiva chiesa cristiana, fatta erigere da nobiluomini locali intorno al decimo secolo.

Le forme con cui si presenta attualmente la chiesa risalgono tuttavia al XIII secolo, e nel tempo subirono ripetuti rimaneggiamenti.

La chiesa contiene l'immagine prodigiosa di una Madonna Nera alla quale sono legate numerose leggende popolari. La più conosciuta racconta che la statua fosse stata oggetto di sbeffeggiamenti da parte di sanculotti durante il periodo della Rivoluzione francese.

Per devozione e per salvarla dal sacrilegio, due giovani donne avrebbero trafugato la statua nascondendola in una grotta.

Tuttavia la Vergine Nera avrebbe prima pianto abbondantemente, poi gridato lamentandosi così forte che le donne dovettero riportare l'immagine nella cripta della chiesa.

Da allora più nessuno osò vituperare l'immagine mariana che, per dimostrare gratitudine, avrebbe iniziato ad operare miracoli attraverso l'aspersione di acqua che, nel frattempo, aveva ripreso a sgorgare dall'antichissima fonte. Peraltro, la città di Clérmont sembra costituire un vero epicentro di racconti misteriosi e di leggende che traggono origine dal suo passato storico glorioso e per certi versi tremendo. Clérmont è famosa per essere stato il luogo da cui presero origine le crociate di Terra Santa, con la celebre e coinvolgente omelia di papa Urbano II. Fu un centro di culti druidici, e sede dell'ultimo accampamento di Vercingetorige prima che questi fosse definitivamente sconfitto dalle armate di Giulio Cesare.

Vi nacque il famoso giurista e scrittore Gregorio di Tours il quale, per l'estensione urbanistica e la per ricchezza di monumenti, nell'alto Medioevo definì Clermont “simile a Roma”.

Conquistata dai Visigoti, fu ricondotta alla cultura franca dal sovrano merovingio Clodoveo.