Inside the Race to Measure Frontier Intelligence

L'émergence d'une nouvelle industrie de mille milliards de dollars nécessite un groupe de test indépendant. Quand Meta a lancé Llama 4, il a sous-performé sur nos benchmarks privés, mais a montré des capacités incroyables sur les benchmarks publics majeurs. Les évaluations, à mesure qu'elles deviennent plus complexes, ont une taille d'échantillon plus petite mais un ensemble de critères ou d'attentes plus large. Le gouvernement a une idée de ce qu'il craint, comme le biohacking ou le cyberhacking, mais la question est de savoir si le modèle peut le faire et si on peut l'amener à le faire. L'entreprise Val AI a été fondée en 2024 après qu'une équipe a découvert que les benchmarks publics n'étaient pas suffisants pour mesurer les progrès des modèles. Il fallait une nouvelle méthodologie et approche pour rester à la pointe. Le fondateur avait une expérience en recherche, notamment en construction de benchmarks et d'évaluations. Il était clair que la construction de nouveaux systèmes de génération et de nouveaux mécanismes d'évaluation étaient étroitement liés. L'un des principaux moteurs de la capacité des modèles est d'avoir une nouvelle façon lisible de les évaluer. Début 2024, de nombreux modèles intéressants arrivaient sur le marché, et il était plus difficile que jamais de déterminer leurs nouvelles capacités. Il était nécessaire qu'une entreprise tierce existe uniquement pour construire des évaluations et des benchmarks de haute qualité afin de discerner ce qui était réellement possible avec ces modèles. Les premiers benchmarks ont été publiés en 2024, et au cours des dernières années, cette approche a été adoptée par de nombreuses parties de l'industrie. Les laboratoires ne peuvent pas faire ce travail eux-mêmes car, bien qu'ils construisent en interne de nombreux benchmarks qui stimulent les progrès, il y a un problème lorsque les capacités des modèles sont auto-déclarées. Un exemple précoce a été le lancement de Llama 4 par Meta, qui a été un désastre. Sur les benchmarks privés, le modèle sous-performait, mais sur les benchmarks publics majeurs, où les questions et rubriques sont open source, il montrait des capacités incroyables. Il y avait une énorme déconnexion entre ce qui était auto-déclaré et ce qui était trouvé avec des benchmarks de meilleure qualité. Les laboratoires comprennent qu'ils aimeraient voir un marché d'achat rationnel. Lorsqu'ils investissent des milliards de dollars pour construire un nouveau modèle, ils veulent des preuves substantielles de leurs progrès, et pas seulement des rapports auto-déclarés pour justifier cet investissement. C'est pourquoi des personnalités de l'industrie appellent à un écosystème d'évaluateurs tiers. Historiquement, chaque fois qu'une nouvelle industrie de mille milliards de dollars émerge, il y a un besoin pour un groupe de test indépendant. L'IA a évolué si rapidement que de nombreux parallèles sont apparus. Val AI se positionne pour servir les deux côtés du marché : les laboratoires ont besoin de prouver que leurs nouveaux modèles sont très performants, et les entreprises ont besoin de déterminer quelle stratégie d'adoption leur apportera le meilleur retour sur investissement. Le processus de pré-lancement d'un modèle, six heures avant sa sortie, implique de faire tourner des dizaines de milliards de tokens sans retarder le lancement. Au début, cela signifiait des nuits blanches pour les co-fondateurs. Maintenant, l'entreprise a investi massivement dans l'infrastructure et une équipe, permettant d'exécuter des évaluations de manière massivement distribuée, atteignant les limites de débit maximales avec chaque modèle auquel ils ont accès. Ils ont également un système interne appelé "Steve" qui automatise une grande partie du travail humain. Évaluer l'IA est un problème complexe, car l'évaluation des humains elle-même n'est pas parfaite (tests de QI, QE, etc.). Il n'y a pas de cadre universellement accepté, et les modèles sont doués pour "hacker" les benchmarks. La limite de ce qui peut être atteint est que cela force à rendre explicites des formes d'évaluation plus floues ou distribuées. Par exemple, la distinction entre un associé et un partenaire dans un cabinet d'avocats n'a pas de test clair dans le monde humain. Il faut d'abord établir ces distinctions dans les flux de travail réels des entreprises pour pouvoir tester les modèles de la même manière. À long terme, le plus grand goulot d'étranglement sera la capacité à rendre lisibles les processus internes des entreprises. L'évaluation de l'intelligence est fluide, contrairement aux logiciels d'entreprise où l'on peut évaluer 70 métriques différentes. C'est un peu comme la MPAA qui classait les films en "art" ou "pornographie", et dont les définitions ont changé avec le temps. L'évaluation de l'IA sera nécessairement floue, mais des normes se développeront avec le temps. Si suffisamment de personnes dirigeant des entreprises ou des finances s'accordent sur une norme, cela deviendra une norme. Contrairement aux benchmarks ouverts qui sont trop étroits et "hackables". En se basant sur les analogies historiques, il y a des leçons à tirer sur ce qui a mal tourné. Par exemple, Val AI a pris la décision de ne jamais vendre de données d'entraînement aux laboratoires, même si c'est une activité lucrative pour d'autres acteurs qui construisent des benchmarks "gadgets" pour vendre leurs données. Dans l'audit, comme avec Enron, si le même groupe est responsable de l'audit et du conseil, il y a un conflit d'intérêts et l'audit peut devenir un "paiement pour passer". Ce n'est pas ce dont le marché bénéficie. Val AI dispose d'un catalogue étendu de benchmarks, certains spécifiques à des industries, d'autres plus généraux. Le benchmark "finance agent" est utilisé par de grandes institutions financières pour évaluer l'amélioration des modèles. Leur "VI codebench" mesure la capacité des modèles à prendre une invite en langage naturel et à construire une application web full stack, un moyen clé de suivre les améliorations des modèles au cours des neuf derniers mois. Ils font également un travail plus expérimental, comme l'indice d'auto-amélioration récursive (RSI), qui est un sujet dont beaucoup de grands laboratoires parlent, mais pour lequel il n'y a pas de langage commun. Cet indice fournit un moyen de comparer les modèles de manière équitable. Construire le benchmark RSI implique de créer un ensemble de proxys pour chaque partie du processus de construction de la prochaine version d'un modèle (pré-entraînement, post-entraînement, ingénierie au niveau du harnais) et d'observer les mécanismes et comportements où les modèles excellent ou échouent dans le travail de recherche et la création de nouveautés. Les benchmarks sont parfois dépréciés lorsqu'ils sont saturés. C'est une nécessité dans ce "jeu infini". Le motto non officiel de Val AI est "toujours un pic plus élevé". À mesure que les laboratoires de modèles fondamentaux progressent, ils recherchent de nouveaux sommets à atteindre, et il est du travail de Val AI de construire perpétuellement ces prochaines montagnes. C'est ainsi que l'économie a fonctionné naturellement au fil du temps : à mesure que l'agriculture devient moins importante, de nouvelles formes de travail émergent. De la même manière, les benchmarks doivent suivre la nouvelle frontière de ce que l'on attend des modèles. Un autre aspect sous-estimé est que les benchmarks doivent refléter l'état actuel du monde. Tout comme un avocat doit repasser l'examen du barreau, les modèles doivent être testés sur l'état actuel de la médecine ou des lois. Par exemple, l'actualisation du droit jurisprudentiel pour un benchmark de recherche juridique vise à créer un benchmark plus représentatif du monde actuel et à pousser les modèles dans la direction souhaitée. L'évolution vers un travail plus "agentique" (agents asynchrones en finance, droit, codage) a changé la manière de construire l'infrastructure et d'évaluer les capacités. Il y a maintenant plus de dimensions à évaluer : non seulement la capacité, mais aussi le coût, la latence, la flexibilité. Au niveau de l'infrastructure, il faut des systèmes très stables pour prendre en charge des évaluations qui peuvent durer des heures, des jours, voire des semaines, avec des mécanismes de reprise en cas d'échec. Les évaluations, devenant plus complexes, ont une taille d'échantillon plus petite mais un ensemble de critères plus large. Un benchmark est un espace d'entrée de requêtes pour un modèle et un ensemble d'exigences pour la sortie. Au début, il y avait des millions d'images à catégoriser (ImageNet), une correspondance un-à-un. Maintenant, il y a moins de tâches, comme générer 50 applications web full stack, mais un mécanisme beaucoup plus complexe pour évaluer la sortie produite. Cette tendance va se poursuivre. Les évaluations pourraient-elles devenir un mécanisme en temps réel, par exemple pour un routeur de modèles comme Open Router ? Open Router est en fait une passerelle de modèles, et c'est à leurs utilisateurs de décider quels modèles utiliser. La partie la plus difficile du routage est la construction des évaluations pour déterminer quels ensembles d'intelligences doivent être utilisés pour une application particulière. Le soutien de Val AI aux entreprises dans la construction d'évaluations les a également aidées à adopter des routeurs. L'évaluation est non seulement importante pour les laboratoires, mais aussi existentielle pour les entreprises. Pour les laboratoires, il est essentiel de montrer pourquoi leur modèle s'améliore et pourquoi les clients devraient payer une prime. Pour les entreprises, c'est aussi existentiel. Une entreprise du Fortune 10 avait un budget de 100 $ par jour pour leurs ingénieurs utilisant Cloud Code. Cela a fondamentalement changé la façon de travailler : les heures les plus productives étaient de 16h à 18h lorsque les limites de débit se réinitialisaient, créant une période creuse l'après-midi. Cela montre une mauvaise évaluation de l'intelligence à chaque niveau de la pile. Les ingénieurs ne savent pas comment allouer au mieux leur budget de 100 $. L'entreprise a arbitrairement fixé cette limite, puis l'a augmentée à 300 $ par employé, ce qui est arbitraire car il est difficile de quantifier la limite d'utilisation appropriée. De plus, Anthropic fonctionne avec des marges très faibles pour soutenir cela, avec des coûts massifs pour servir ces modèles. Le ROI et la valorisation de cette intelligence utilisée sont encore très flous. Les dépenses en tokens pourraient commencer à éclipser les dépenses salariales. Si c'est une ligne de coût aussi significative, le ROI doit être justifié beaucoup plus précisément. La capacité d'une entreprise à rendre son évaluation lisible pour résoudre ce calcul de ROI sera la raison pour laquelle cette entreprise l'emportera sur ses concurrents à long terme. Pourquoi les entreprises ne peuvent-elles pas le faire elles-mêmes ? Bien qu'il soit recommandé aux entreprises de développer une expertise interne, ce ne devrait pas être la seule solution. Il y a une explosion de l'intelligence, avec de plus en plus de laboratoires de modèles fondamentaux, chacun publiant plus de modèles que jamais avec de nombreuses options d'hyperparamètres, existant au sein d'ensembles complexes de harnais et d'agents. Les cas d'utilisation sont de plus en plus complexes. Il est très difficile pour une entreprise de développer la capacité interne de faire l'évaluation. Pour y remédier, Val AI a commencé à proposer des produits plus ouverts aux entreprises. Le premier s'appelle ValSmith, axé sur la génération de code, le domaine où les dépenses en IA d'entreprise sont les plus élevées. Il permet à toute entreprise de prendre sa base de code GitHub et de construire son benchmark de codage interne pour déterminer quels agents de codage seront les plus performants, et quels seront les plus optimaux en termes de ROI. Val AI utilise ValSmith en interne et constate que les meilleures entreprises sophistiquées font de même. Les benchmarks sur des dépôts privés peuvent montrer des comportements de performance et de coût très différents de ceux des modèles frontières utilisant des benchmarks de dépôts publics. Il est encore très difficile de savoir si le meilleur modèle OpenAI ou Anthropic sera le meilleur pour un dépôt donné. Il existe de nombreux exemples non intuitifs où il a fallu exécuter l'évaluation pour déterminer la performance frontalière