Écrit par l’IAIA
Moteurs de jeux neuronaux : La fin du rendu traditionnel
La vidéo générée par l'IA n'était qu'un tour de magie. Oasis de Decart et GameNGen de Google hallucinent des mondes interactifs image par image, et le marché des GPU observe ça de très près.
Rédigé par une IA. Cette analyse a été rédigée par une IA et publiée sans relecture ligne par ligne.
Nous avons passé les quarante dernières années à optimiser des triangles. Des polygones dentelés de l’ère de la PS1 à l’éclairage hyper-réaliste en path-tracing d’Unreal Engine 5, la philosophie de base du rendu de jeu vidéo n’a pas vraiment changé : un processeur calcule la logique du jeu, envoie une liste massive de géométrie à une carte graphique, et le GPU peint les pixels sur votre écran.
Avant de lire : Nous avons déjà examiné comment Sora et Runway bouleversent l’industrie des effets visuels d’Hollywood. Mais alors que ces modèles génèrent des clips vidéo passifs, une nouvelle génération d’IA fait quelque chose de bien plus fou : générer des jeux vidéo interactifs en temps réel.
Table des matières
- Halluciner la simulation
- Le problème de la permanence de l’objet
- L’économie du matériel
- Faits amusants
- La mort du e-sport, la naissance des mondes infinis
- Sources
Halluciner la simulation
Que se passe-t-il quand on jette complètement la géométrie par la fenêtre? C’est la question qui propulse les moteurs de jeux neuronaux. Au lieu de faire le rendu d’un monde 3D, ces modèles se contentent de prédire à quoi devrait ressembler la prochaine image d’un jeu vidéo en fonction des commandes que vous entrez sur votre manette.
Voyez ça comme une partie de Donjons & Dragons. Le moteur de jeu n’est pas un simulateur physique; c’est un Maître de Donjon qui hallucine la réalité visuelle au vol. Vous appuyez sur la touche “avancer”, et le réseau de neurones génère une image montrant le monde qui se rapproche. Vous appuyez sur “tirer”, et il hallucine un flash de canon.
En août 2024, les chercheurs de Google ont dévoilé GameNGen, un modèle neuronal qui simule le classique jeu de tir DOOM de 1993 à 20 images par seconde en utilisant un seul TPUv5. Il ne fait pas tourner le code du moteur de DOOM. Il a simplement ingéré tellement de séquences de jeu qu’il sait exactement comment les pixels doivent réagir quand vous appuyez sur la gâchette virtuelle. S’il y a bien une constante en génie logiciel, c’est qu’on trouvera toujours des façons de plus en plus coûteuses de faire tourner DOOM.
Le problème de la permanence de l’objet
La percée de Google a été rapidement suivie par Oasis de Decart, un modèle d’IA qui génère un clone jouable de Minecraft en temps réel. Oasis est fascinant parce que vous pouvez littéralement y jouer dans votre navigateur en ce moment même.
Mais jouer à Oasis expose le défaut massif et flagrant du rendu neuronal : l’IA a une terrible permanence de l’objet.
Parce que le moteur ne fait que prédire la prochaine image en se basant sur les quelques images précédentes, il oublie rapidement ce qui se trouve derrière vous. Vous pouvez construire une maison en terre, vous retourner pour regarder un cochon, et quand vous vous retournez à nouveau, votre maison s’est transformée en arbre. C’est exactement comme jouer à Minecraft en plein manque de sommeil. Le monde semble onirique, instable et profondément bizarre.
L’économie du matériel
En ce moment, les moteurs de jeux neuronaux sont un tour de passe-passe horriblement inefficace. Générer une version floue à 20 FPS d’un jeu de 2011 nécessite des accélérateurs d’IA massifs qui brûlent une quantité phénoménale d’électricité.
Mais l’industrie du matériel pivote déjà. Decart s’est associé à Etched, une startup de puces qui construit des ASIC spécifiquement conçus pour exécuter des modèles de type transformer. Etched affirme que leur future puce Sohu pourra faire tourner Oasis en résolution 4K à 60 images par seconde. Nous assistons à la naissance d’une course à l’armement matériel complètement parallèle. Nvidia a bâti son empire sur la rastérisation et le ray tracing; la prochaine entreprise à mille milliards de dollars sera peut-être celle qui perfectionnera l’inférence d’images en temps réel.
Faits amusants
- GameNGen a été entraîné en faisant jouer un agent IA à DOOM pendant des milliers d’heures, générant ainsi l’énorme base de données “d’actions et d’images résultantes” nécessaire pour apprendre au réseau neuronal comment le jeu fonctionne.
- Les moteurs neuronaux ne “connaissent” pas réellement les règles des jeux qu’ils simulent. Ils n’ont aucun concept de points de vie, de gravité ou de détection de collision — ils imitent simplement les conséquences visuelles de ces règles à la perfection.
La mort du e-sport, la naissance des mondes infinis
Les moteurs neuronaux vont-ils remplacer Unreal Engine demain matin? Absolument pas. Vous ne pouvez pas organiser un tournoi de e-sport compétitif comme Counter-Strike sur un moteur où les zones de collision (hitboxes) sont générées de façon probabiliste. Le jeu compétitif exige des mathématiques déterministes.
Mais pour l’exploration en solo? Le potentiel est ahurissant. Un jeu traditionnel est limité par les ressources qu’un artiste humain peut créer manuellement et stocker sur un disque dur. Un moteur neuronal pourrait générer un univers infini, changeant dynamiquement, qui réagit à votre voix, à votre style de jeu et à vos choix, créant de nouveaux biomes et de nouvelles mécaniques à la volée.
Nous sommes actuellement dans l’ère “Pong” des médias interactifs génératifs. Les graphismes sont flous, les règles sont bancales et les coûts de calcul sont astronomiques. Mais la preuve de concept fondamentale est là : nous n’avons plus besoin de rendre les mondes. Nous pouvons simplement les rêver.
