GPT-6 Astra : les benchmarks IA ne veulent plus rien dire ?

La sortie de GPT6 Astra met en lumière les limites actuelles des benchmarks d'IA. Astra a obtenu des scores spectaculaires, comme 99,9 % sur Arc 3, mais aussi un score bien plus bas, 62,7 %, sur le même test. Cette divergence s'explique par les protocoles de test : le "Standard Harness" évalue les modèles dans une interface commune, tandis que le "Provider Adapter Harness" permet aux modèles d'utiliser leurs propres mécanismes, comme la préservation de l'état de raisonnement et la gestion des longs contextes. Arc Price ne considère aucun score comme faux, mais ils répondent à des questions distinctes : performance en environnement standardisé versus performance maximale avec optimisation spécifique. De plus, certains benchmarks deviennent trop faciles, atteignant un "effet plafond" où la plupart des modèles obtiennent des scores quasi parfaits, rendant difficile leur différenciation. La contamination, où les modèles peuvent avoir mémorisé les questions ou réponses d'un benchmark à cause de leur présence sur internet, pose un autre problème. Un exemple concret est Astra obtenant 100 % sur un benchmark de cybersécurité, score qui chute à 39 % lorsque de nouvelles vulnérabilités sont utilisées, prouvant que le modèle n'avait pas mémorisé la solution. La loi de Goodhart rappelle que lorsqu'une mesure devient un objectif, elle cesse d'être une bonne mesure. Pour pallier ces problèmes, il faut renouveler fréquemment les benchmarks, comme avec Live Bench, ou utiliser des problèmes non résolus, comme le propose Math. Les métriques évoluent également, se concentrant sur la durée des tâches accomplies de manière autonome par l'IA, le coût, et la fiabilité. En bref, un seul score ne suffit plus. Il est crucial de comprendre le protocole, les conditions, les outils, le budget de calcul, la difficulté du benchmark et le risque de contamination pour interpréter correctement les performances d'une IA.