Ex-NVIDIA Engineer: Why AI Is About to Get 1000x Cheaper

L'objectif est de rendre les "tokens" aussi abordables que possible, en utilisant toutes les ressources disponibles, y compris les puces, l'énergie et les terrains aux États-Unis. L'idée est de démocratiser l'accès à l'intelligence artificielle, en la considérant non pas comme un service coûteux à consulter pour des questions difficiles, mais comme une capacité de pensée que la machine possède et qui devrait être accessible au plus grand nombre. Sal Research, l'entreprise en question, se positionne comme une "usine à tokens". Elle offre une API permettant d'utiliser des modèles de langage ouverts (LLM) pour diverses tâches, en fournissant ces tokens à un prix jugé imbattable sur le marché. L'entreprise supporte également la création d'agents sur cette infrastructure, en hébergeant des "sandboxes" qui sont des machines virtuelles d'agents fonctionnant sur le cloud pendant des heures, des jours ou des semaines. L'entreprise se veut le fournisseur le moins cher et le facilitateur d'une certaine forme d'utilisation de l'intelligence. Le thème central de l'entreprise est l'abondance. Ils visent à rendre cette nouvelle "matière première" de l'intelligence accessible au plus grand nombre, à un coût viable pour presque toutes les industries. L'idée est que rendre quelque chose 10 fois moins cher crée une nouvelle catégorie de produits. Pour l'instant, le coût du token est la principale métrique, mais l'objectif est de se diriger vers des "résultats", où les agents gèrent leur propre budget de tokens en fonction des tâches, plutôt que de se voir imposer un budget mensuel. L'opportunité pour Sal Research réside dans deux tendances majeures. Premièrement, la montée en puissance de l'open source. De plus en plus de clients et le marché en général souhaitent posséder et contrôler leur intelligence, ce qui a créé un marché robuste pour les modèles personnalisés ou les modèles open source "vanilla". Deuxièmement, les entreprises existantes dans ce domaine, comme Base 10 ou Fireworks, se sont concentrées sur l'inférence à faible latence, en partie à cause d'un client important comme Cursor. Cependant, il est devenu évident que l'avenir de l'inférence agencielle réside dans les tâches à long terme, où les machines peuvent fonctionner pendant des heures ou des jours. Dans ce scénario, une latence de 10 tokens par seconde est acceptable, ce qui offre des avantages en termes d'efficacité. La confiance dans cette orientation vient de l'idée que l'utilisateur ne devrait pas attendre la machine. L'objectif est une intelligence proactive, travaillant en arrière-plan, où le travail est déjà fait au réveil. La meilleure latence est l'absence totale de latence. L'interaction humaine avec les agents devrait se rapprocher des interactions avec des collègues, avec des tâches de haut niveau et des vérifications hebdomadaires plutôt que toutes les cinq minutes. Les premières indications de cette tendance sont le "test time compute scaling", l'idée que donner plus de temps à un agent améliore sa réponse. Les modèles récents, comme Opus 45 et les modèles open source, montrent une capacité à fonctionner pendant des heures. Le marché des agents à long terme est considéré comme illimité car il n'y a pas d'humain dans la boucle, permettant de consommer autant de tokens que nécessaire en arrière-plan. L'objectif est d'atteindre 90% de charges de travail en arrière-plan, contre 50/50 actuellement. Les exemples préférés de tâches en arrière-plan sont la recherche approfondie, nécessitant d'analyser des dizaines de milliers de sources, et la cybersécurité. Les agents peuvent être utilisés pour construire des index d'informations massifs, surveiller l'internet en temps réel, ou trouver des vulnérabilités dans le code et les corriger de manière proactive. La sécurité est devenue une preuve de travail, où la robustesse du logiciel est mesurée par le nombre de dollars dépensés pour tenter de le "casser" avec des APIs d'IA. En termes d'applications imaginatives, les agents intelligents proactifs pourraient transformer l'expérience utilisateur. Une Siri fonctionnant en permanence en arrière-plan pourrait comprendre les e-mails et les messages, offrant une vue encyclopédique de la vie de l'utilisateur et une assistance proactive. L'objectif est de prédire la prochaine action de l'utilisateur, rendue possible par une intelligence incroyablement bon marché, permettant de dépenser des tokens sans promesse de retour immédiat. À long terme, cette forme d'intelligence peut s'attaquer à tout problème vérifiable, ce qui inclut la plupart des logiciels, les preuves mathématiques formelles et la découverte scientifique. Ces tâches ont actuellement un coût financier, mais l'objectif est de le réduire à des milliers, voire des centaines ou des dizaines de dollars pour une réponse définitive à toute question scientifique ou problème de recherche. Concernant les tâches non vérifiables, comme le goût humain, l'entreprise se concentre sur les problèmes quantitatifs, laissant l'écriture créative et l'art aux humains. La stratégie de l'entreprise pour atteindre cet objectif de tokens à faible coût repose sur une approche multicouche, incluant le logiciel, le matériel et l'énergie. Au niveau logiciel, l'entreprise a optimisé l'ensemble de la pile logicielle LLM pour une efficacité maximale du GPU, en utilisant les GPU Nvidia. L'objectif est d'extraire plus de tokens de la même puce que n'importe qui d'autre, en commençant par les "kernels" de programmation de très bas niveau. Les "tensor cores" sur le GPU, qui accélèrent la multiplication matricielle, sont cruciaux car l'algèbre linéaire est une représentation compacte des relations arbitraires dans les données. Nvidia a historiquement adapté ses GPU de jeu pour les tâches d'apprentissage automatique, en allouant progressivement plus de surface de silicium aux "tensor cores". L'entreprise s'inspire de l'éthos d'Nvidia de "chasser la vitesse de la lumière", c'est-à-dire d'atteindre les performances maximales possibles du matériel. L'expérience chez Nvidia a montré l'importance de développer une utilisation plus efficace du matériel sous-jacent via le logiciel. Le GPU est fondamentalement une machine à "throughput", performante lorsqu'il a beaucoup de travail à traiter. Cependant, l'IA est souvent utilisée comme un chatbot interactif, nécessitant une faible latence. Il existe un compromis fondamental entre l'optimisation du "throughput" et de la latence sur le GPU. L'entreprise estime que le passage des chatbots aux agents proactifs ou en arrière-plan rendra l'optimisation du "throughput" plus pertinente. Techniquement, le compromis entre "throughput" et latence est lié au concept de "batching" sur le GPU. Regrouper de nombreuses requêtes d'utilisateurs en un "batch" permet une exécution parallèle efficace, mais chaque requête individuelle passe plus de temps sur le GPU. L'analogie du bus contre la voiture privée est utilisée pour illustrer ce compromis : le bus (grand batch) est plus lent mais sert plus de personnes, la voiture (petite requête) est plus rapide mais moins efficace globalement. L'optimisation logicielle vise à créer le meilleur "bus" possible sur les GPU Nvidia. Cela inclut l'exploration de différents schémas de parallélisme. Par exemple, NVLink, le système d'interconnexion d'Nvidia, est excellent pour réduire la latence minimale d'une opération en partageant une grande multiplication matricielle sur plusieurs GPU, mais il ne permet pas une mise à l'échelle linéaire du débit en raison des frais de communication. Pour l'inférence à faible latence, NVLink est essentiel, mais Sal Research, qui se soucie moins de la faible latence, préfère d'autres schémas de parallélisme comme le "expert parallelism" ou le "pipeline parallelism", qui permettent de masquer la latence de communication. L'entreprise est ouverte à l'utilisation d'autres puces que celles d'Nvidia. Bien qu'Nvidia soit excellent pour l'inférence à faible latence, Sal Research ne met pas tous ses œufs dans le même panier. Si d'autres fournisseurs proposent des puces avec de bonnes capacités de calcul par dollar, même si leur interconnexion est moins performante, l'entreprise cherchera des schémas de parallélisme adaptés à ces puces. L'objectif est d'optimiser les "flops par dollar". Concernant les puces très axées sur la faible latence comme Cerebras ou Grock, elles font un pari intéressant sur une hiérarchie de mémoire différente, maximisant la SRAM sur la puce pour une mémoire très rapide pour les poids et le cache KV. La SRAM est intégrée directement sur la puce logique, offrant un accès ultra-rapide aux données, des pétaoctets par seconde. Contrairement à la DRAM, qui est plus dense mais plus lente, la SRAM est physiquement plus proche des unités de calcul. Cerebras va jusqu'à utiliser la tranche entière de silicium ("wafer") pour maximiser la SRAM, permettant de déplacer l'ensemble des paramètres d'un grand modèle en une milliseconde. Cependant, ces approches ultra-rapides sont limitées par le cache KV (Key-Value), qui stocke l'historique de la conversation dans les modèles de langage. Le cache KV est dynamique et peut devenir plus volumineux que les poids du modèle eux-mêmes. Il est difficile de prévoir sa taille et il croît avec l'utilisation du modèle. Bien que les modèles aient des fenêtres contextuelles d'un million de tokens, leur force principale de formation se situe souvent à des longueurs plus courtes, ce qui pose un défi persistant pour maintenir l'intelligence à des contextes très longs. Dans trois à cinq ans, ces puces ultra-rapides devraient être considérées comme des accélérateurs, utilisés en conjonction avec des GPU plus traditionnels. L'idée est d'hybrider la mémoire embarquée pour la vitesse et la mémoire hors puce pour la capacité. Les transformeurs, à la limite de la longueur contextuelle, ont une couche MLP (Multi-Layer Perceptron) limitée par le calcul et une couche d'attention limitée par la mémoire. Il est difficile d'avoir une seule puce excellente pour les deux. Cerebras pourrait héberger le MLP (les poids), tandis que le GPU gérerait l'attention et sa capacité à gérer de très longues longueurs contextuelles. Les transformeurs ont révolutionné l'apprentissage non supervisé en trouvant des motifs dans des séquences de données arbitraires, notamment grâce à l'opération d'attention qui permet au modèle de s'adapter dynamiquement aux éléments les plus pertinents de la séquence. Leur principal avantage est leur capacité à s'adapter à l'échelle, passant de millions à des billions de paramètres. Ils sont d'excellentes "éponges" de calcul et peuvent s'étendre à presque n'importe quel ensemble de données, représentant n'importe quelle relation par paire dans une séquence. Concernant les données, l'internet a été une "subvention unique" de données de haute qualité, mais les modèles ont déjà vu l'ensemble de l'internet à plusieurs reprises. La prochaine phase de données sera l'auto-amélioration des modèles via des environnements d'apprentissage par renforcement (RL). Les interactions aléatoires des utilisateurs avec l'IA ne sont plus aussi précieuses que les préférences d'experts humains. L'avenir des données est de donner aux modèles des tâches difficiles et vérifiables dans des environnements isolés, leur permettant de progresser et d'obtenir des mesures de cette progression, comme pour les problèmes de codage ou de mathématiques. L'objectif est de "stacker" des intelligences spécialisées jusqu'à ce qu'il n'y ait plus de lacunes, à condition que la tâche soit vérifiable et que le modèle dispose d'un système d'auto-évaluation. En revenant à l'optimisation du matériel existant, l'entreprise se concentre sur l'amélioration des "kernels" GPU. Bien qu'il existe d'excellents "kernels" de base comme "flash attention", de nouvelles architectures de modèles nécessitent des modifications rapides des "kernels" existants. L'objectif est de concevoir conceptuellement les "kernels" sur un tableau blanc, puis de laisser les modèles d'IA les implémenter. L'ingénierie