Le mur des données : Pourquoi les données synthétiques empoisonnent les LLM

La Silicon Valley a fondamentalement mal compris internet. Ces cinq dernières années, les entreprises d’IA ont traité le texte humain comme une ressource inépuisable et renouvelable. Elles ont construit des aspirateurs de données massifs, gratté chaque blogue, chaque forum et chaque livre numérisé, pour tout déverser dans la gueule béante de leurs grappes de GPU. Mais le puits est finalement à sec. Nous frappons le mur des données de l’IA, et le plan B de l’industrie — entraîner de nouveaux modèles sur du texte généré par l’IA — est en train d’empoisonner le puits.

Avant de lire : Nous avons déjà expliqué comment les moteurs de recherche par IA affament le web ouvert en contenu original dans L’internet zéro clic. Cet article explore la conséquence catastrophique immédiate de cette famine : ce qui arrive aux modèles eux-mêmes quand les auteurs humains arrêtent de publier.

Table des matières

• La sécheresse des données approche
• La photocopie d’une photocopie
• Le saviez-vous ?
• Un retour à la réalité
• Sources

La sécheresse des données approche

Pour comprendre l’ampleur du problème, il faut regarder les mathématiques. Une étude de 2024 par Epoch AI estime que les entreprises technologiques épuiseront totalement la réserve mondiale de textes humains de haute qualité entre 2026 et 2032. Chaque débat sur Reddit, chaque modification sur Wikipédia, chaque roman du 18e siècle numérisé — tout a été consommé.

Quand GPT-3 a été lancé, il a été entraîné sur environ 300 milliards de jetons (tokens). GPT-4 en a nécessité des billions. Si les lois de mise à l’échelle qui dictent les progrès de l’IA se maintiennent, GPT-5 et Claude 4 auront besoin de dizaines de billions de jetons. Mais l’humanité n’a tout simplement pas écrit autant de textes de haute qualité. Vous ne pouvez pas entraîner un modèle d’un billion de paramètres deux fois sur les mêmes données et espérer qu’il devienne plus intelligent. C’est comme lire le même manuel scolaire deux fois et s’attendre à apprendre une nouvelle langue.

Alors, que faites-vous quand vous manquez de données humaines ? Vous générez les vôtres. Vous utilisez une IA pour écrire des millions d’articles, et vous donnez ces articles à manger à la prochaine IA.

La photocopie d’une photocopie

Cela nous amène à l’« Effondrement du Modèle » (Model Collapse), un terme formalisé dans un article terrifiant publié dans Nature en 2024. Les chercheurs ont découvert que lorsque vous entraînez un modèle de langage de manière récursive sur des données synthétiques générées par l’IA, le modèle subit une dégradation irréversible de sa qualité et de sa diversité.

C’est exactement le même principe que de faire la photocopie d’une photocopie. La première copie est belle. À la cinquième copie, vous regardez un bruit gris illisible et très contrasté.

Quand un LLM génère du texte, il favorise naturellement les mots les plus probables et statistiquement moyens. Il coupe les cas particuliers bizarres et idiosyncrasiques du langage humain. Quand vous entraînez un nouveau modèle sur ce résultat, ces cas particuliers sont complètement effacés. En seulement cinq générations d’entraînement synthétique, les chercheurs ont découvert que les modèles oublient complètement les extrémités de la distribution. Ils s’effondrent en une bouillie homogène et générique qui hallucine des faits de base avec une confiance aveugle.

Si vous avez déjà essayé de faire refactoriser une vieille base de code par Copilot, vous savez qu’il hallucine parfois des fonctions qui n’existent pas. Imaginez maintenant entraîner GPT-5 sur un milliard de lignes de ce code exactement halluciné. C’est une boucle exponentielle de dommages cérébraux numériques.

Le saviez-vous ?

• En 2024, OpenAI aurait construit un outil spécialisé de transcription audio (Whisper) spécifiquement pour aspirer plus d’un million d’heures de vidéos YouTube comme données d’entraînement, contournant les conditions d’utilisation de Google tellement ils étaient désespérés d’obtenir de nouveaux jetons.
• Pour combattre la pénurie de données, certains laboratoires d’IA ont sérieusement envisagé d’utiliser des « flux de travail humains synthétiques » — payer des milliers de travailleurs à la pige pour résoudre manuellement des casse-têtes, écrire des essais et clavarder entre eux juste pour enregistrer leurs frappes au clavier.

Un retour à la réalité

Je trouve que l’ironie de la situation est presque trop parfaite. L’industrie de la technologie a construit une machine qui nécessite une créativité humaine infinie pour fonctionner, tout en détruisant simultanément l’incitatif économique pour que les humains créent quoi que ce soit d’original sur le web.

Nous voyons déjà des entreprises essayer de s’acheter une porte de sortie. Google et OpenAI signent des accords de plusieurs millions de dollars avec Reddit, Stack Overflow et News Corp juste pour sécuriser des pipelines exclusifs de pensées humaines fraîches. Mais ce sont des pansements sur une blessure par balle. On ne peut pas atteindre l’intelligence artificielle générale uniquement sur le dos de commentaires Reddit enragés.

L’ère des données infinies et gratuites est terminée. Bienvenue dans le désert des données. Ne buvez pas le sable synthétique.

Sources

• Epoch AI : “Will we run out of data? An analysis of the projected data shortfall” (2024)
• Nature : “AI models collapse when trained on recursively generated data” (Juillet 2024)
• The New York Times : “How Tech Giants Cut Corners to Harvest Data for A.I.” (Avril 2024)