Une intelligence artificielle produit un article. Cet article est publié sur Internet, récupéré dans les données d’entraînement d’un futur modèle, puis utilisé pour générer de nouveaux textes. Ceux-ci alimentent à leur tour la génération suivante.
Répété suffisamment longtemps, ce cycle peut-il rendre les IA moins performantes ?
Ce risque porte un nom : le « model collapse », ou effondrement de modèle. Il désigne une dégradation susceptible d’apparaître lorsque des modèles génératifs sont entraînés de manière répétée sur des données produites par d’autres modèles, en particulier lorsque ces contenus synthétiques remplacent progressivement les données humaines d’origine.
L’expression est spectaculaire, mais souvent mal comprise. Une IA ne devient pas soudainement « stupide ». Elle risque plutôt de perdre certaines informations rares, de produire des réponses plus homogènes et de reproduire avec une confiance croissante les approximations de ses prédécesseurs.
Le phénomène est réel dans plusieurs expériences. Il n’est toutefois ni automatique ni inévitable.
Comment une IA apprend-elle à partir de données ?
Un modèle génératif apprend à reproduire les régularités statistiques présentes dans ses données d’entraînement.
Un modèle de langage observe, par exemple, quels mots, expressions et structures apparaissent fréquemment les uns avec les autres. Un générateur d’images apprend des relations entre des descriptions textuelles et des caractéristiques visuelles.
Il ne mémorise pas nécessairement chaque document à l’identique. Il construit une représentation approximative de la distribution des données qu’il a observées.
Cette approximation est déjà imparfaite. Le modèle accorde généralement davantage de poids aux configurations fréquentes qu’aux cas rares. Lorsqu’il génère de nouvelles données, il produit donc une version partiellement simplifiée de la distribution d’origine.
Si un deuxième modèle apprend principalement à partir de cette copie, puis qu’un troisième apprend à partir de la copie de la copie, certaines particularités risquent de s’effacer à chaque génération.
Une étude publiée dans la revue Nature en 2024 a montré que l’entraînement récursif sur des données générées pouvait provoquer une perte progressive des caractéristiques originales. Les chercheurs distinguent notamment un effondrement précoce, durant lequel les éléments rares disparaissent, et un effondrement tardif, où le modèle produit une représentation de plus en plus déformée de l’ensemble des données.
Le phénomène ressemble à une photocopie de photocopie
Imaginons une population fictive composée de personnes de tailles très différentes.
Un premier modèle apprend cette répartition, mais génère surtout des individus proches de la moyenne. Les tailles extrêmement petites ou grandes apparaissent moins souvent, car elles sont rares et plus difficiles à reproduire précisément.
Un second modèle entraîné uniquement sur cette population artificielle observe donc une diversité déjà réduite. Il produit à son tour des valeurs encore plus concentrées autour de la moyenne.
Après plusieurs cycles, les extrêmes peuvent presque disparaître.
Dans un modèle de langage, les éléments perdus peuvent être des tournures inhabituelles, des langues minoritaires, des connaissances spécialisées ou des opinions peu représentées. Dans un générateur d’images, il peut s’agir de compositions rares, de détails anatomiques ou de styles visuels moins fréquents.
Le modèle ne cesse pas nécessairement de produire des phrases grammaticales ou des images reconnaissables. Ses résultats deviennent plus uniformes, moins représentatifs et parfois moins fiables.
C’est pourquoi parler d’une perte d’« intelligence » est une simplification. Il s’agit plus précisément d’une perte d’information et de couverture statistique.
Les erreurs peuvent également se renforcer
La réduction de diversité n’est pas le seul risque.
Les contenus synthétiques peuvent contenir des erreurs factuelles, des raisonnements incorrects ou des associations artificielles. Si ces données sont utilisées sans vérification, le modèle suivant peut les traiter comme des exemples légitimes.
Supposons qu’un premier système produise régulièrement une date historique erronée. Si des milliers de pages reprenant cette erreur sont publiées puis intégrées à un nouveau corpus, l’information fausse devient statistiquement plus visible.
Le futur modèle ne sait pas nécessairement qu’il apprend à partir d’une invention. Sans données de provenance, une phrase générée peut ressembler à un document humain, à une source journalistique ou à une référence éducative.
Le danger ne réside donc pas seulement dans la répétition d’une erreur isolée. Il vient de la possibilité qu’une approximation acquière progressivement l’apparence d’un consensus.
Cette boucle est particulièrement préoccupante lorsque les contenus générés circulent sur le Web sans étiquette, sans auteur identifiable et sans lien vers leurs sources.
L’effondrement n’est pas une conséquence automatique
Certaines expériences à l’origine du débat reposent sur un scénario extrême : les nouvelles générations sont entraînées uniquement sur les données synthétiques de la génération précédente, tandis que les données réelles sont supprimées.
Cette situation démontre un risque théorique important, mais elle ne correspond pas nécessairement aux méthodes utilisées par les entreprises développant les grands modèles.
Des chercheurs ont montré qu’il était possible d’éviter l’effondrement lorsque les données originales étaient conservées et que les nouvelles données synthétiques étaient ajoutées au corpus au lieu de les remplacer. Le maintien d’un socle réel empêche alors la distribution de dériver sans référence extérieure.
Une analyse critique publiée en 2025 souligne également que l’expression « model collapse » recouvre plusieurs phénomènes différents, allant d’une diminution modérée de diversité à une dégradation catastrophique des performances. Ses auteurs estiment que certains scénarios alarmistes reposent sur des conditions peu représentatives et qu’une partie des risques peut être évitée par une meilleure conception de l’entraînement.
Le phénomène ne doit donc être ni nié ni présenté comme une fatalité condamnant toutes les futures IA.
Les données synthétiques peuvent être utiles
Une donnée artificielle n’est pas nécessairement une mauvaise donnée.
Les modèles peuvent générer des exercices de mathématiques, des exemples de code, des reformulations, des simulations ou des cas rares difficiles à collecter dans le monde réel. Ces contenus peuvent améliorer un système lorsqu’ils sont contrôlés et utilisés pour atteindre un objectif précis.
L’intérêt est particulièrement évident lorsqu’une réponse peut être vérifiée automatiquement. Un programme peut être exécuté pour déterminer s’il fonctionne. Une équation peut être recalculée. Une partie d’échecs peut être évaluée selon des règles fixes.
Dans ce contexte, le modèle peut produire de nombreux exemples, tandis qu’un outil externe élimine ceux qui sont faux.
Des travaux de 2025 montrent que la vérification des données synthétiques par un humain ou par un système plus fiable peut empêcher certaines formes d’effondrement et même produire des améliorations à court terme. Ces gains restent cependant dépendants de la qualité du vérificateur : si celui-ci est biaisé ou imparfait, le modèle finit par converger vers ses propres limites.
Une étude à grande échelle portant sur plus de mille entraînements de modèles a également conclu que certains mélanges de données naturelles et synthétiques pouvaient être efficaces. Les résultats dépendaient toutefois fortement du type de contenu artificiel, de sa proportion, de la taille du modèle et du volume total de données. Les textes synthétiques seuls ne constituaient pas systématiquement une meilleure alternative aux textes humains.
La question n’est donc pas « données humaines ou données synthétiques ? », mais « quelles données synthétiques, produites comment et vérifiées par quoi ? ».
Internet risque-t-il de contaminer les futurs modèles ?
L’augmentation des textes, images et vidéos artificiels publiés en ligne rend la séparation entre contenus humains et synthétiques plus difficile.
Un futur collecteur de données peut récupérer une page sans savoir qu’elle a été générée par un modèle antérieur. Même lorsqu’un contenu porte une étiquette, celle-ci peut disparaître lors d’une copie, d’une capture d’écran ou d’une republication.
Cela ne signifie pas que les développeurs seront contraints d’entraîner leurs modèles sur tout ce qui existe en ligne. Ils peuvent sélectionner les domaines, dédupliquer les documents, utiliser des données antérieures à l’explosion de l’IA générative et appliquer des filtres de qualité.
Mais ces mécanismes ne sont pas parfaits. Plus les contenus synthétiques deviennent nombreux et indifférenciables des contenus humains, plus la constitution d’un corpus fiable devient coûteuse.
Les archives éditoriales, scientifiques et culturelles dont la provenance est claire peuvent alors gagner en valeur. Une donnée correctement datée et attribuée devient préférable à une masse de textes récents dont personne ne peut établir l’origine.
Comment éviter l’effondrement de modèle ?
La première mesure consiste à conserver des données humaines et des observations réelles plutôt qu’à les remplacer par les productions du modèle précédent.
La deuxième est de documenter la provenance. Les développeurs doivent savoir si un fichier vient d’un auteur, d’un capteur, d’une simulation ou d’une autre IA.
Les données synthétiques doivent ensuite être filtrées selon des critères adaptés. La correction grammaticale ne suffit pas pour valider un article scientifique. Une réponse mathématique doit être recalculée ; une affirmation factuelle doit être comparée à une source fiable.
Il faut également préserver les cas rares. Un nettoyage trop agressif peut éliminer les langues minoritaires, les écritures atypiques et les informations spécialisées au nom de la qualité moyenne.
Enfin, les modèles doivent être évalués sur leur diversité et leur représentation du réel, pas seulement sur leur capacité à réussir des tests généraux. Une performance moyenne stable peut masquer la disparition progressive de connaissances peu fréquentes.
Une IA a besoin d’un contact durable avec le réel
Une intelligence artificielle peut effectivement se dégrader si elle apprend continuellement à partir de productions synthétiques non vérifiées qui remplacent ses données d’origine.
Le risque est moins celui d’un effondrement soudain que celui d’une érosion progressive : réponses plus convenues, disparition des cas rares, amplification des biais et recyclage d’erreurs devenues difficiles à retracer.
Mais les données synthétiques ne sont pas intrinsèquement toxiques. Elles peuvent améliorer les modèles lorsqu’elles répondent à un objectif précis, qu’elles sont contrôlées et qu’elles restent ancrées dans des données réelles.
Le véritable danger serait de créer un écosystème fermé dans lequel les IA apprennent principalement des productions d’autres IA, sans savoir d’où viennent les informations ni pouvoir les confronter à une source indépendante.
Une machine peut apprendre de ses propres créations. Elle ne doit simplement pas les confondre avec le monde qu’elles tentent de représenter.
