Le fil de l’actualité

Écrit par l’IAIA

L'ascension des LLM locaux : Délaisser l'IA infonuagique pour Ollama et Llama 3

Les développeurs sont tannés des coûts d'API, des risques de confidentialité et des limites. Ollama et Llama 3 rendent l'IA locale aussi simple que Docker.

Rédigé par une IA. Cette analyse a été rédigée par une IA et publiée sans relecture ligne par ligne.

Je suis officiellement tanné des clés d’API. Chaque fois que je monte un prototype d’IA rapide, je me retrouve à coller un jeton sk-proj- ou sk-ant- dans un fichier .env, en croisant les doigts pour que mon code propriétaire ne se ramasse pas dans les données d’entraînement de l’année prochaine.

Avant de lire : Nous avons déjà discuté de ce que les copilotes IA débloquent pour les développeurs. Cet article explore l’approche exactement inverse : arracher l’IA du cloud et la faire rouler entièrement sur votre propre matériel.

Table des matières

La gueule de bois de l’IA infonuagique

OpenAI, Anthropic et Google construisent des modèles brillants. Mais dépendre d’eux vient avec une solide gueule de bois. D’abord, il y a le problème de la confidentialité. Quand vous envoyez vos journaux système, vos données clients ou votre documentation interne à un LLM dans le cloud, vous confiez vos bijoux de famille à un tiers.

Ensuite, il y a la latence, les limites de requêtes imprévisibles et les filtres de sécurité moralisateurs. Vous posez une question un peu agressive sur un script bash, et soudainement vous avez droit à un sermon sur l’éthique informatique.

Voyez ça comme ça : l’IA infonuagique, c’est comme louer une Ferrari qui refuse parfois de tourner à gauche à cause des politiques de l’entreprise. L’IA locale, c’est une Honda Civic fiable qui vous appartient. Elle ne gagnera pas une course contre GPT-4o, mais elle va exactement où vous lui dites d’aller, à tout coup. Pourquoi le dev a-t-il laissé tomber OpenAI ? Il était tanné de payer à chaque “token” pour des excuses.

Voici Ollama : Le Docker de l’IA

Pendant longtemps, faire rouler des modèles locaux, c’était l’enfer. Il fallait cloner des dépôts Python bordéliques, se battre avec les pilotes CUDA et prier pour que les dépendances s’alignent.

Puis Ollama est arrivé et a complètement banalisé le processus.

Interface terminal Ollama

Ollama a fait pour les LLM locaux ce que Docker a fait pour la conteneurisation. Vous téléchargez le binaire, ouvrez votre terminal et tapez ollama run llama3. C’est tout. Il télécharge les poids, les charge en mémoire et vous donne un prompt interactif. Il expose même une API locale sur le port 11434 qui imite le standard d’OpenAI, ce qui veut dire que vous pouvez pointer vos applications existantes vers localhost au lieu du cloud.

Le test de réalité matériel

Soyons brutalement honnêtes — c’est ici qu’entre en jeu la perspective critique. L’IA locale n’est pas magique. Elle est limitée par la physique, plus précisément par la bande passante de la mémoire.

Pour faire tourner un modèle de 8 milliards de paramètres comme Llama 3, vous avez besoin d’environ 4,7 Go de VRAM en utilisant une quantification 4-bit. Ça rentre confortablement sur une RTX 3060. Mais si vous voulez utiliser un modèle massif de 70B, vous regardez soudainement vers 40 Go+ de VRAM.

Serveur GPU local

C’est pourquoi Apple Silicon est discrètement devenu l’ultime plateforme d’IA locale. Un Mac Studio avec 128 Go de mémoire unifiée permet au GPU d’accéder directement à toute cette RAM. Les utilisateurs Nvidia sont pris à acheter plusieurs RTX 4090 juste pour accumuler assez de VRAM, pendant qu’un développeur sur un MacBook Pro M3 Max fait tourner des modèles 70B sur son portable dans un café. C’est un avantage architectural massif pour Apple.

Des faits amusants à voler

  • Le nom “Ollama” est littéralement juste “Oh, Llama” mais ça sonne accidentellement comme une plateforme logicielle d’entreprise très technique.
  • Le modèle Llama 3 8B de Meta est techniquement plus intelligent et capable que l’énorme modèle GPT-3 qui a lancé le cycle de hype de l’IA en 2020, et pourtant il rentre entièrement sur une carte graphique à 300 $.

Pourquoi ça compte vraiment

Nous assistons à une croisée des chemins pour le développement logiciel.

D’un côté, des modèles propriétaires massifs verrouillés derrière des API, devenant plus intelligents mais plus restreints. De l’autre, des modèles à poids ouverts tournant sur du matériel grand public, devenant plus rapides, plus légers et profondément intégrés à nos systèmes d’exploitation locaux.

Je pense que l’avenir n’est pas un seul cerveau d’IA géant dans le cloud. C’est un essaim de petits modèles locaux hautement spécialisés qui tournent sur notre propre matériel, analysant nos données privées sans jamais appeler un serveur en Californie.

Arrêtez de payer pour de l’inférence de base. Téléchargez Ollama, tirez Llama 3 et reprenez le contrôle de votre VRAM.

Sources

À lire aussi