
Google "Carbon" just won everything...
Audio Summary
AI Summary
Google a annoncé son nouveau modèle, Gemini 4 Carbon, le présentant comme le meilleur modèle au monde, surpassant tous les concurrents, qu'ils soient open source ou propriétaires. Cependant, Google n'a pas encore rendu le modèle public, ce qui est une pratique inhabituelle par rapport à d'autres laboratoires qui publient généralement l'accès le jour même de l'annonce.
Selon l'index V5 d'Artificial Analysis, qui agrège et effectue divers benchmarks, Carbon se classe numéro un avec un score de 59, dépassant le précédent meilleur modèle, Opus 5.5. Carbon est également salué pour son efficacité et son coût inférieur à celui d'Opus.
Le modèle montre des gains significatifs dans les tâches de codage et d'agent, ainsi que dans les capacités critiques pour la cybersécurité. Il excelle dans SEC Bench Pro pour la détection de vulnérabilités et Exploit Gym pour l'exploitation. En raison de ses capacités cybernétiques avancées, le déploiement de Carbon sera progressif : d'abord auprès de partenaires de cybersécurité pour la correction de logiciels et la recherche de vulnérabilités, puis pour une disponibilité générale.
Carbon améliore la génération de code sécurisé et réduit les taux de désalignement et de fabrication dans les environnements de codage en direct. Il est intéressant de noter que Gemini 4 Argon a été lancé il y a seulement deux semaines, ce qui suggère une amélioration rapide au sein de la famille de modèles Gemini 4.
Le processus de déploiement inclut une phase de test volontaire avec le gouvernement américain. Carbon sera d'abord disponible pour un sous-ensemble de cyberdéfenseurs, puis progressivement pour des partenaires de confiance via le programme Fair Wind, avant d'être accessible aux développeurs, entreprises et consommateurs.
Le modèle est proposé à un prix très compétitif : 2 $ par million de jetons d'entrée et 10 $ par million de jetons de sortie en prix de lancement, qui passera à 4 $ et 20 $ respectivement après la période d'introduction. Ces prix sont considérés comme très bas, surtout si l'on considère le coût par tâche accomplie, qui dépend du prix des jetons et de la densité d'intelligence du modèle (moins de jetons pour accomplir la même tâche).
Les benchmarks sont impressionnants. Carbon dépasse Argon (lancé il y a deux semaines), GPT-6 Astra, Claude Opus 5.5 et Claude Fable 5.1 dans de nombreux domaines. Il obtient un score de 59 sur l'index d'intelligence d'Artificial Analysis (contre 58 pour Opus 5.5 et 57 pour Astra). Sur SWI Sweep, il double le score d'Argon. Sur Terminal Bench 4.0, qui mesure la capacité à écrire et exécuter des commandes dans le terminal, il atteint 65 (contre 57 pour Argon). Sur Agents Last Exam, il obtient 77.4.
En revanche, sur OS World, qui évalue la capacité à contrôler un ordinateur, Opus 5.5 est le meilleur, suivi de Carbon (81.5) et Astra (80.9). Sur Vending Bench, où le modèle doit maximiser les revenus d'un distributeur automatique, Carbon atteint 16 000 $, surpassant GPT-6 Astra (15 000 $). Il est également numéro un en science et mathématiques sur Reman Bench et Terminal Bench Science.
En matière de cybersécurité, Carbon surpasse tous les autres modèles sur CWEB Bench (71) et Exploit Gym (54, contre 42 pour Astra et 34 pour Opus, dont les capacités cybernétiques publiques auraient été réduites).
Google affirme que Carbon est un modèle plus aligné, réduisant les tentatives de raccourcis et d'exploitation de failles. Il a réduit les tentatives de triche réussies sur Terminal Bench 4.0 à 0 % et les tentatives à 4 %, tout en améliorant la précision globale. Il a également diminué les affirmations non fondées d'environ deux fois par rapport à Argon et demande des précisions en cas de divergence entre la demande de l'utilisateur et sa propre compréhension.
En termes d'efficacité, Carbon nécessite beaucoup moins de jetons pour accomplir la même tâche. Il utilise 123 000 jetons par tâche sur l'index d'intelligence d'Artificial Analysis, soit la moitié de Sonnet 5.5 et Haiku 5.5, et environ 20 % de moins qu'Opus 5.5. Moins de jetons et un coût réduit positionnent