DeepSeek-R1 : Comment une startup a détruit le monopole d'un billion de dollars de la Silicon Valley

Honnêtement, je pensais que la guerre de l’IA allait se résumer à une plate bataille de dépenses en capital. La théorie dominante était simple : Sam Altman et Sundar Pichai allaient faire des chèques de plus en plus gros à Jensen Huang jusqu’à la fin des temps. La Silicon Valley nous a convaincus que la seule façon d’atteindre l’intelligence artificielle de pointe était d’entasser 100 000 GPU dans un centre de données en plein désert.

Avant de lire : Nous avons déjà couvert comment o1 d’OpenAI a introduit le raisonnement à l’inférence au monde entier. Cet article explore comment DeepSeek vient de banaliser cette même percée, en le faisant plus vite, pour une fraction du prix, et de façon entièrement open-source.

Table des matières

• Le mythe de la forteresse de calcul
• Le miracle à 5,6 millions
• La réalité brutale pour Nvidia
• Faits amusants à voler
• L’ère de la distillation
• Sources

Le mythe de la forteresse de calcul

Depuis deux ans, la barrière à l’entrée dans l’IA était la force brute pure et dure. Si vous n’aviez pas 10 milliards de dollars à flamber en Nvidia H100, vous ne pouviez pas jouer. C’était la forteresse de la Silicon Valley. Ça gardait les startups à l’écart, ça freinait les chercheurs open-source, et ça justifiait les valorisations astronomiques des rares entreprises qui pouvaient se payer ce silicium.

Puis, une startup chinoise nommée DeepSeek a sorti R1.

DeepSeek-R1 est un modèle de raisonnement open-weight qui fait jeu égal avec o1 d’OpenAI sur les tests de mathématiques, de code et de logique. Mais la performance n’est pas la vraie nouvelle. La vraie nouvelle, c’est la facture.

La facture d’infrastructure d’OpenAI ressemble au PIB d’un petit pays européen. Celle de DeepSeek ressemble à ce qu’AWS vous charge quand vous oubliez de fermer une instance EC2 par accident pendant un long week-end.

Le miracle à 5,6 millions

DeepSeek a entraîné R1 pour environ 5,6 millions de dollars. Ce n’est pas une erreur de frappe. Ils ont atteint un niveau de raisonnement Système 2 de pointe pour le prix d’une belle maison à Palo Alto.

Comment ? Ils ont arrêté de forcer les mathématiques à coups de marteau et ont commencé à optimiser l’architecture.

R1 utilise une architecture massive de type Mixture-of-Experts (MoE). Le modèle possède techniquement 671 milliards de paramètres, mais lors de l’inférence, il n’en active qu’environ 37 milliards par jeton. Au lieu de réveiller tout le cerveau pour répondre à une question simple, il achemine la requête uniquement aux “experts” spécifiques nécessaires pour la résoudre. Combinez cela avec un apprentissage par renforcement (RL) agressif sur un petit ensemble de données hautement filtré, et les coûts d’entraînement s’effondrent.

La réalité brutale pour Nvidia

Je dois aborder la panique boursière. Quand R1 est sorti, Nvidia a perdu des centaines de milliards en capitalisation boursière parce que les investisseurs ont assumé qu’une IA bon marché signifiait qu’on n’avait plus besoin de GPU.

Franchement, c’est une incompréhension fondamentale du marché matériel.

DeepSeek n’a pas prouvé que les GPU sont inutiles. Ils ont prouvé que l’efficacité logicielle compte encore. Si vous pouvez entraîner un modèle de pointe pour 5 millions, ça ne veut pas dire que personne n’achètera plus de cluster à 100 millions. Ça veut dire que l’entreprise avec le cluster à 100 millions peut maintenant entraîner vingt modèles de pointe simultanément, itérer plus vite et expérimenter à fond.

La forteresse de calcul n’a pas disparu ; elle est juste passée de “qui peut se permettre d’entraîner un modèle” à “qui peut déployer le plus d’agents hyper-efficaces à grande échelle.” La Silicon Valley a passé les deux dernières années à traiter les GPU Nvidia comme du papier toilette en 2020. DeepSeek vient de prouver qu’on n’avait vraiment besoin que de quelques carrés.

Faits amusants à voler

• DeepSeek R1 a été entraîné en utilisant exactement 2 048 GPU H800. Ce sont les puces spécifiquement bridées et soumises à des restrictions d’exportation que le gouvernement américain a forcé Nvidia à vendre à la Chine pour les empêcher de construire des IA de pointe.
• L’entraînement complet de R1 à 5,6 millions de dollars coûte moins cher que ce que Google paie à Apple chaque jour juste pour rester le moteur de recherche par défaut sur iOS.

L’ère de la distillation

Ce qui m’excite le plus n’est pas le modèle massif R1 en soi. C’est ce que DeepSeek a fait ensuite. Ils ont pris les capacités de raisonnement de R1 et les ont distillées dans des modèles open-source beaucoup plus petits comme Llama et Qwen.

Ils ont prouvé qu’on n’a pas besoin d’un nombre massif de paramètres pour penser de manière critique. On a juste besoin d’un modèle qui a appris comment penser grâce à un professeur plus intelligent. L’ère où l’on accumulait de la puissance de calcul pour protéger une API propriétaire est officiellement révolue. La communauté open-source vient de franchir les murs du château, et ils n’ont même pas eu besoin d’un bélier. Ils ont juste crocheté la serrure.

Sources

• DeepSeek-R1 Technical Report (Janvier 2025)
• SemiAnalysis : AI Training Cost Estimates and Hardware Utilization
• U.S. Department of Commerce : Export Controls on Advanced Computing
• Hugging Face Open LLM Leaderboard