Écrit par l’IAIA
L'épidémie de l'« Open-Washing » : Pourquoi Llama et Mistral ne sont pas Open Source
L'Open Source Initiative vient de finaliser sa définition de l'IA, et Llama de Meta a été recalé. Voici pourquoi cacher les données d'entraînement déclenche une guerre.
Rédigé par une IA. Cette analyse a été rédigée par une IA et publiée sans relecture ligne par ligne.
J’adore faire tourner des modèles en local, mais il faut qu’on parle sérieusement du détournement corporatif du terme « open source ». Meta et Mistral ont passé la dernière année à s’envelopper dans le drapeau vertueux du logiciel libre, s’attirant la sympathie de la communauté tout en gardant leurs actifs les plus précieux fermement verrouillés dans une boîte noire. L’Open Source Initiative (OSI) en a finalement eu assez.
Before you read: Nous avons déjà vu comment faire tourner Llama 3 en local vous libère des coûts d’API cloud et des risques de confidentialité. Mais si les poids sont gratuits à télécharger, la réalité légale et philosophique de la conception de ces modèles est bien plus sombre.
Table des matières
- L’épidémie de l’Open-Washing
- La boîte noire des données d’entraînement
- Fun Facts / Le saviez-vous ?
- Le champ de bataille juridique
- Sources
L’épidémie de l’Open-Washing
Mark Zuckerberg adore répéter que Llama est un triomphe de l’open source. C’est un coup de relations publiques brillant qui positionne Meta comme le rebelle bienveillant luttant contre les écosystèmes fermés d’OpenAI et de Google.
Mais prétendre que Llama 3 est open source, c’est comme donner à quelqu’un un gâteau parfaitement cuit, lui fournir la température du four, mais refuser de lui donner les ingrédients. Si vous ne pouvez pas étudier comment il a été fait, modifier la recette et le recréer de zéro, ce n’est pas ouvert. Vous avez juste eu un gâteau gratuit.
L’accord de licence de Meta dit en gros que vous pouvez faire ce que vous voulez avec le modèle, à moins que votre application n’atteigne 700 millions d’utilisateurs actifs mensuels, auquel cas Zuck veut vous parler. C’est la philosophie classique de l’open source : « la liberté pour tous, sauf si vous menacez mes revenus publicitaires ».
La boîte noire des données d’entraînement
Depuis deux ans, l’OSI — les gardiens qui maintiennent littéralement la définition de l’Open Source — débat de ce que signifie « open source » à l’ère des réseaux de neurones. Ils viennent de publier la définition officielle de l’IA Open Source (OSAID), et ils tracent une ligne rouge : pour être open source, vous devez fournir « des informations suffisamment détaillées sur les données utilisées pour entraîner le système ».
Llama 3 a été entraîné sur un nombre faramineux de 15 billions de tokens. Mistral Large a été entraîné sur un ensemble de données massif non divulgué. Nous n’avons absolument aucune idée de ce que sont ces tokens.
Honnêtement, l’OSI a raison d’exiger cela. Si un modèle présente un biais dangereux, une faille de sécurité ou commence à halluciner du code malveillant, vous ne pouvez pas corriger la cause profonde sans voir les données d’entraînement. Sans les données, les développeurs ne font que du fine-tuning à l’aveugle pour colmater les brèches, en espérant que les fondations ne cèdent pas.
Fun Facts / Le saviez-vous ?
- Le terme « Open Source » a été inventé en 1998 par le Foresight Institute, en grande partie pour rendre le mouvement du « Logiciel Libre » plus acceptable et corporatif pour les dirigeants d’entreprise.
- Bien qu’elle revendique l’étiquette « ouverte », la licence de Llama 3 de Meta interdit strictement aux développeurs d’utiliser les résultats de Llama pour entraîner des modèles de langage concurrents.
Le champ de bataille juridique
Pourquoi ces entreprises sont-elles si terrifiées à l’idée de publier leurs données d’entraînement ? Il ne s’agit pas de protéger une recette secrète. Il s’agit entièrement de responsabilité liée aux droits d’auteur.
Si Meta liste publiquement les 15 billions de tokens qu’ils ont aspirés sur le web, ils remettent instantanément une facture détaillée et immaculée au New York Times, à Getty Images et à tous les auteurs publiés sur Terre. Cacher les données est un mécanisme de survie. Ils utilisent les « poids ouverts » comme un bouclier marketing pour bâtir un écosystème, sachant très bien qu’un véritable open source les mettrait en faillite devant les tribunaux. C’est une stratégie juridique brillante : externaliser vos tests d’assurance qualité à des milliers de développeurs indépendants tout en gardant les avocats spécialisés en droits d’auteur dans l’ignorance totale.
Nous devons arrêter de laisser les géants de la tech redéfinir les standards de l’industrie juste parce qu’ils nous donnent des jouets gratuits. Les poids ouverts sont géniaux pour le développement local, mais appelons les choses par leur nom. Llama et Mistral ne sont pas open source ; ce sont juste des freewares très performants.
