How Open Source Became AI's Backbone | Inferact with a16z

Simon Mo, co-fondateur d'Infact et mainteneur principal de VLLM, et Matt Bornstein, associé général chez A16Z, discutent de l'évolution de l'IA open source, de VLLM et de l'avenir de l'industrie. VLLM, un moteur d'inférence, est devenu une infrastructure critique pour l'IA, fonctionnant sur un demi-million de GPU. Ses origines remontent à 2022, avant ChatGPT, lorsque l'équipe a cherché à accélérer les démos open source, rencontrant de nombreux problèmes non résolus. Le service de grands modèles linguistiques (LLM) est fondamentalement différent des charges de travail ML traditionnelles, nécessitant une exécution sur des accélérateurs comme les GPU et les TPU. Cela implique une gestion complexe des distributions d'entrée et de sortie non déterministes, ainsi que du *batching* et de l'ordonnancement au cœur du moteur d'inférence pour garantir des réponses rapides et efficaces aux utilisateurs. Historiquement, l'open source était la norme pour les modèles d'IA. Des modèles comme BERT et ResNet ont marqué des étapes importantes, exigeant de plus en plus de ressources informatiques spécialisées. BERT, en particulier, a nécessité l'utilisation de GPU pour une exécution efficace, marquant un tournant avant 2020. Aujourd'hui, les modèles sont beaucoup plus grands et sophistiqués, nécessitant des solutions comme VLLM pour leur exécution. L'infrastructure open source est devenue essentielle en 2023, lorsque des applications comme GitHub Copilot et ChatGPT sont devenues indispensables. À ce moment-là, les modèles open weight sont devenus la pierre angulaire de la vie quotidienne, nécessitant des accélérateurs et des logiciels open source pour fonctionner efficacement, offrant flexibilité et contrôle. Matt souligne que si les solutions propriétaires ont d'abord été critiques pour un petit groupe, l'expansion de la frontière de l'IA a entraîné l'open source dans un rôle critique. Il y a environ un an, de nombreuses startups ont réalisé qu'elles ne pouvaient pas se contenter de s'appuyer sur des solutions propriétaires et ont dû adopter l'open source pour l'entraînement, le post-entraînement, l'inférence et le déploiement. VLLM est un moteur d'inférence qui transforme les GPU disponibles en un point d'accès pour l'intelligence. Il est comparable à des bases de données et des systèmes d'exploitation en tant que logiciel critique pour l'AGI, offrant rentabilité, efficacité, fiabilité et une capacité à rester à la pointe de la technologie. VLLM prend en charge plus de mille architectures de modèles, y compris des modèles propriétaires et open weight. Il travaille en étroite collaboration avec les fournisseurs de matériel (Nvidia, AMD, Google, Amazon, Intel), qui utilisent souvent VLLM comme *benchmark* pour leurs nouvelles puces. Le processus de publication de modèles est complexe et implique une collaboration étroite entre les laboratoires de modèles, les fournisseurs de matériel, VLLM, Hugging Face (pour le format et le hub de modèles), et de nombreux partenaires de publication. VLLM joue un rôle crucial en aidant les laboratoires à rendre leurs modèles accessibles et performants sur diverses architectures. Par exemple, lors de la publication initiale du premier modèle de Mistral, VLLM a travaillé en coulisses pour assurer le support du moteur d'inférence, permettant une adoption rapide par la communauté. Infact a signé la lettre de l'Alliance NVIDIA Open Weights et American AI Leadership, soulignant l'importance des modèles open weight dans l'écosystème. L'objectif est de promouvoir un environnement où le développement et la recherche ouverts ne sont pas bloqués. Les modèles propriétaires sont considérés comme trop coûteux, et le contrôle de l'infrastructure et du modèle est crucial pour les utilisateurs. Simon explique que si le coût est devenu un facteur important ces derniers mois en raison de la flambée des dépenses en jetons, le contrôle a toujours été fondamental, notamment pour maîtriser les performances du système par rapport au prix payé. Par exemple, une entreprise d'agents vocaux doit contrôler son modèle pour garantir des temps de réponse spécifiques, ce qui est difficile avec une API propriétaire. Les modèles open weight, même s'ils peuvent être coûteux à entraîner, offrent un niveau de contrôle inégalé. Simon mentionne le modèle K3, qui, bien que plus cher que certains modèles open source, reste moins coûteux que les modèles propriétaires comme GPT-4. L'avantage principal est la capacité à contrôler précisément les performances et l'interaction avec le modèle. Alors que les modèles propriétaires offrent généralement un mode régulier et un mode rapide, les modèles open weight, via VLLM, peuvent offrir jusqu'à dix niveaux de vitesse différents, permettant une optimisation poussée pour des charges de travail spécifiques et des gains de vitesse significatifs. Ce contrôle s'étend à la rétention des données, à la sécurité et à la conformité, ce qui est essentiel pour les entreprises. Les utilisateurs tirent le maximum des modèles open source en activant le mode rapide de VLLM, atteignant des vitesses de 400 à 500 jetons par seconde, ce qui accélère considérablement l'exécution des tâches. La possibilité de modifier et d'affiner ces modèles permet également aux utilisateurs de les adapter à leurs propres charges de travail, une pratique courante aujourd'hui. En ce qui concerne les licences, les modèles open weight ont évolué. Historiquement, ils étaient souvent sous licence Apache 2, permettant une utilisation et une modification libres. Cependant, les laboratoires de modèles cherchent désormais des moyens de financer le développement coûteux de leurs modèles. Meta, avec Llama, a introduit des termes stipulant que si les utilisateurs dépassent certains seuils d'utilisation ou de revenus, ils doivent conclure un accord commercial. Cette tendance est observée chez d'autres laboratoires, comme MiniMax et Kimi, qui intègrent des clauses spécifiques sur l'utilisation et les œuvres dérivées. Matt souligne que ce n'est pas par cupidité, mais par nécessité économique. L'entraînement de modèles d'IA nécessite des millions, voire des milliards de dollars en ressources informatiques, ce qui rend le modèle de donation de temps, typique du logiciel open source, inapplicable. Il est crucial d'établir des incitations économiques et des mécanismes de financement pour la durabilité de la recherche et du développement. Simon compare cela à l'industrie pharmaceutique, où des incitations économiques sont nécessaires pour financer la R&D de nouveaux médicaments. L'entretien des modèles open source diffère de celui des logiciels. Le processus de formation est complexe et coûteux, avec de nombreux échecs avant d'atteindre un modèle fonctionnel. Une fois qu'un modèle est publié, la communauté joue un rôle majeur dans son optimisation pour diverses topologies de clusters et cas d'utilisation, allant des appareils *edge* aux agents vocaux et de codage. C'est un effort collectif pour s'assurer que le modèle est fiable et optimisé, un processus similaire à l'évolution du logiciel open source traditionnel. L'open source est devenu non seulement souhaitable, mais absolument nécessaire pour l'inférence. L'échelle et la diversité des modèles, ainsi que la complexité des tâches à long terme des agents, rendent l'optimisation cruciale. L'open source permet une collaboration communautaire pour valider les modèles, identifier les bugs rares et garantir une expérience utilisateur améliorée. En fait, de nombreux services d'API et de *cloud* d'inférence utilisent des moteurs d'inférence open source en coulisses, car ils sont éprouvés et offrent une base solide sur laquelle construire. L'émergence de nombreuses entreprises axées sur l'open source autour de 2022-2023, même avant ChatGPT, témoigne d'une curiosité et d'une volonté de comprendre comment l'IA peut bénéficier à l'humanité. Ces équipes, souvent issues d'institutions comme l'UC Berkeley avec une forte tradition open source, se sont réunies pour créer des outils comme VLLM, OpenRouter et Olama, qui sont devenus critiques pour l'écosystème. L'incident de Hugging Face utilisant un modèle open source chinois pour contenir une cyberattaque d'un modèle OpenAI non sandboxé met en évidence l'importance du contrôle. Les modèles propriétaires ont des *garde-fous* arbitraires et difficiles à appliquer, entraînant de nombreux faux positifs qui bloquent des cas d'utilisation légitimes. Face à l'incapacité de résoudre complètement le problème de la modération, l'open source devient le choix par défaut pour les cas d'utilisation de confiance, où les utilisateurs peuvent contrôler leurs propres *garde-fous*. Simon cite l'exemple des modèles Anthropic qui bloquent la recherche en IA de pointe, forçant les développeurs à se tourner vers des alternatives open source comme Kimi K3, qui offre une qualité similaire avec des *garde-fous* plus raisonnables. Matt compare cela aux médias sociaux, où la centralisation de l'activité humaine sous une entreprise à but lucratif modifie les incitations. L'IA fait face à un problème similaire, où le travail est consolidé, sans les exemptions de responsabilité dont bénéficient les plateformes de médias sociaux. Yan Stoke de DataBricks, conseiller et co-fondateur d'Infact, a influencé la philosophie de l'entreprise : construire en open source et combler les lacunes pour offrir la meilleure qualité et valeur aux clients et partenaires. En ce qui concerne l'avenir, Simon ne voit pas de grand écart de capacités entre les modèles open weight et les modèles de pointe, même aujourd'hui. La différenciation réside davantage dans la stratégie de distribution et de mise sur le marché. Les modèles sont construits à partir des mêmes principes fondamentaux : clusters informatiques, données d'entraînement et chercheurs brillants. L'élément le plus important est la qualité des données et l'environnement dans lequel le modèle s'améliore. Les laboratoires open weight se différencient par leur capacité à construire les meilleurs environnements pour l'amélioration récursive des modèles. Simon estime que les chercheurs brillants sont attirés par les problèmes intéressants, et les modèles open weight amplifient l'impact de leurs travaux. L'exemple de l'élimination de l'intégration positionnelle rotative (RoPE) par l'inventeur de RoPE lui-même dans le modèle Kimi K3 illustre la capacité des chercheurs à remettre en question et à améliorer les paradigmes existants. La collaboration et l'apprentissage mutuel dans l'écosystème open source permettent une progression plus rapide. La distillation, bien que spéculative, n'est pas considérée comme un élément critique du progrès actuel des laboratoires chinois. Simon pense que l'environnement de renforcement par apprentissage (RL) est trop complexe pour être distillé. Le progrès est alimenté par des personnes intelligentes, des algorithmes intéressants, des données et des environnements, ainsi que des ressources informatiques. L'open source, en créant une "piste de course" où chacun peut apprendre des autres, favorise l'innovation et permet à tous d'avancer plus rapidement. Matt conclut en soulignant l'importance d'encourager la formation de modèles open source partout dans le monde pour favoriser la collaboration et l'harmonie mondiale.