La révolution LPU de Groq : Comment la SRAM brise le monopole d'inférence de Nvidia

J’ai tapé une requête dans l’interface web de Groq, et avant même que mon doigt ne quitte la touche Entrée, 500 mots générés par Llama 3 s’affichaient à l’écran. Le système tournait à plus de 800 jetons par seconde. On aurait dit un tour de magie. Mais ce n’est pas de la magie ; c’est une réécriture fondamentale de la façon dont nous traitons l’inférence de l’IA.

Avant de lire : Nous avons déjà exploré comment les modèles locaux abandonnent le cloud. Cet article se penche sur le côté matériel de cette équation, et plus particulièrement sur la façon dont des puces spécialisées font passer les vitesses d’inférence traditionnelles pour des connexions par modem 56k.

Table des matières

• Le goulot d’étranglement des GPU
• L’arrivée du LPU et le pari de la SRAM
• La beauté du matériel déterministe
• Un retour à la réalité
• Faits amusants à voler
• La scission du marché du matériel IA
• Sources

Le goulot d’étranglement des GPU

Au cours de la dernière décennie, Nvidia a convaincu le monde que l’intelligence artificielle nécessitait des processeurs graphiques (GPU). Ils ont tout à fait raison lorsqu’il s’agit d’entraîner des modèles. L’entraînement nécessite de brasser des pétaoctets de données à travers des calculs parallèles massifs.

Mais l’inférence — le fait d’utiliser réellement le modèle pour générer du texte — est une toute autre paire de manches. Les grands modèles de langage génèrent un jeton à la fois. Pour prédire le mot suivant, la puce doit charger le modèle entier en mémoire, faire les calculs, cracher un jeton, puis tout recommencer pour le mot suivant.

Les GPU H100 de Nvidia s’appuient sur la mémoire à large bande passante (HBM). Voyez la HBM comme une immense bibliothèque à plusieurs étages où vous pouvez emprunter 10 000 livres d’un coup. C’est incroyable pour le débit brut. Mais pour l’inférence, vous n’avez pas besoin de 10 000 livres à la fois ; vous avez besoin d’un livre précis instantanément, encore et encore. Le temps qu’il faut au bibliothécaire pour aller chercher ce seul livre s’appelle la latence. Et dans le monde de l’IA, on appelle cela le “mur de la mémoire”.

L’arrivée du LPU et le pari de la SRAM

Groq a regardé ce mur de mémoire et a décidé de le contourner complètement. Ils ont construit le Language Processing Unit (LPU). Au lieu de s’appuyer sur de la HBM externe, Groq utilise de la SRAM (Static Random Access Memory) placée directement sur la puce elle-même.

La SRAM est fulgurante. C’est le même type de mémoire que votre CPU utilise pour son cache L1. Mais il y a un hic : la SRAM est physiquement massive et astronomiquement chère. Alors qu’un Nvidia H100 peut contenir 80 gigaoctets de HBM, une seule puce Groq ne contient que 230 mégaoctets de SRAM.

Pour faire tourner un modèle de 70 milliards de paramètres comme Llama 3, vous ne pouvez pas le faire tenir sur une seule puce Groq. Vous devez en relier des centaines ensemble. Cela ressemble à un cauchemar de réseautage, mais ça fonctionne grâce à l’arme secrète de Groq : l’architecture déterministe.

La beauté du matériel déterministe

Les GPU modernes sont chaotiques. Ils ont des planificateurs complexes, des prédicteurs de branchement et des gestionnaires de mémoire qui essaient de deviner ce que le logiciel veut faire ensuite. Les GPU gèrent la mémoire comme un gérant de restaurant stressé qui essaie d’asseoir 500 personnes à la fois pendant que la cuisine prend feu.

Le matériel de Groq est complètement déterministe. Il n’y a pas de planification dynamique. Le compilateur analyse le modèle d’IA avant même qu’il ne s’exécute et cartographie le cycle d’horloge exact auquel chaque donnée se déplacera. Il attribue à chaque octet un siège permanent avant même l’ouverture du restaurant.

Parce que le matériel sait exactement ce qui va se passer et quand, il n’y a pas d’échecs de cache (cache misses). Pas de goulots d’étranglement. Les puces agissent comme un seul cerveau massif et parfaitement synchronisé.

Un retour à la réalité

Je dois tempérer l’enthousiasme ici. Est-ce que Groq va mettre Nvidia en faillite ? Absolument pas.

Groq est fondamentalement inutile pour l’entraînement des modèles d’IA. Leurs puces sont conçues spécifiquement pour l’inférence. De plus, les dépenses en capital requises pour configurer une grappe Groq sont ahurissantes. Comme chaque puce contient si peu de mémoire, vous avez besoin de baies entières de LPU et de milliers de câbles à fibre optique juste pour héberger une seule instance d’un grand modèle.

Nvidia vous donne un couteau suisse polyvalent. Groq vous donne un scalpel forgé sur mesure. Si vous avez besoin de tourner une vis, le scalpel ne vaut rien. Mais si vous avez besoin de couper, rien d’autre ne s’en approche.

Faits amusants à voler

• Groq a été fondée par Jonathan Ross, qui a précédemment aidé à inventer le TPU (Tensor Processing Unit) de Google. Il a essentiellement regardé le matériel d’IA de Google, réalisé qu’il était encore trop complexe, et est parti pour construire une architecture plus simple et plus rapide.
• Parce que le matériel de Groq est entièrement déterministe, ils ne font même pas tourner de systèmes d’exploitation sur leurs puces. Le compilateur est si précis qu’il agit comme l’unique chef d’orchestre du silicium.

La scission du marché du matériel IA

Nous assistons au grand schisme du matériel d’IA. L’ère où l’on achetait une seule puce pour tout faire est révolue. Nvidia continuera de dominer le marché de l’entraînement, vendant des grappes massives de H100 et de Blackwell à OpenAI et Meta.

Mais pour la phase de déploiement — lorsque les applications doivent réellement servir des millions d’utilisateurs avec une latence nulle — les architectures basées sur la SRAM comme Groq prouvent que la force brute n’est pas la seule voie à suivre. Parfois, il suffit d’avoir une meilleure carte.

Sources

• Groq ISCA 2020 Paper: “A Software-Defined Tensor Streaming Multiprocessor”
• SemiAnalysis: AI Inference Hardware Economics
• Entrevues de Jonathan Ross sur l’architecture déterministe
• Résultats des benchmarks d’inférence MLCommons (2024)