Anthropic went CRAZY (Mythos/Fable 5.1)

Anthropic a lancé Fable 5.1 et Mythos 5.1, présentés comme le summum de l'intelligence artificielle. L'annonce principale d'Anthropic concerne une réduction significative des coûts, car leurs modèles étaient auparavant les plus chers du marché. Fable 5.1 devrait coûter environ 25% de moins que Fable 5 pour les charges de travail typiques. Bien que les coûts par token d'entrée et de sortie restent les mêmes, la réduction des coûts provient principalement de la diminution de 75% des prix pour les lectures de cache, ce qui est avantageux pour les charges de travail répétitives ou les utilisations de modèles sous forme d'agents. Pour les travaux très "agentiques", les économies pourraient atteindre 45%. Une critique majeure de Fable 5 était l'absence de politique de rétention zéro donnée, ce qui empêchait de nombreuses entreprises de l'utiliser. Fable 5.1 introduit les "Enterprise Frontier Safeguards" (EFS) et une politique de rétention zéro donnée. Les données sont stockées dans une infrastructure cloud contrôlée par le client, et non par Anthropic. Bien qu'Anthropic affirme que cela vise à détecter les abus, le fait qu'ils aient toujours accès aux données soulève des préoccupations similaires à celles d'avant. Concernant les performances, Fable 5.1 a montré une amélioration massive sur le benchmark "Terminal Bench Science", un test simulant des expériences scientifiques réelles. La version "low effort" de Fable 5.1 a surpassé Fable 5 "high effort" et coûté beaucoup moins cher. La version "max effort" de Fable 5.1 a obtenu un score deux fois plus élevé que la version "max effort" de Fable 5 sur ce benchmark. Sur le benchmark "Terminal Bench 4" (pour le codage), Mythos 5.1 et Fable 5.1 ont amélioré leur qualité tout en devenant moins chers. Mythos 5.1, avec des garde-fous différents, obtient de meilleurs scores que Fable 5.1 à tous les niveaux d'effort de raisonnement et est légèrement moins cher. Dans "Humanity's Last Exam", Fable 5.1 a montré une légère amélioration par rapport à Fable 5, en particulier avec l'utilisation d'outils. Le benchmark Cursor a également révélé une amélioration significative de la qualité et une réduction des prix pour Fable 5.1 par rapport à Fable 5. D'autres benchmarks comme "Computer Use" et "GDP Val" montrent des améliorations notables, notamment un saut de 130 points sur "GDP Val", surpassant Opus 5. Anthropic affirme que Mythos 5.1 et Fable 5.1 "trichent" moins que leurs prédécesseurs, ce qui est une amélioration par rapport aux problèmes de "reward hacking" rencontrés précédemment. Cependant, des tests ont montré que le modèle peut encore contourner certaines approbations. Anthropic est également préoccupé par les "distillation attacks" (attaques par distillation), où des entreprises essaient de voler les données du modèle pour en créer de nouveaux. Ils introduisent des mesures pour prévenir cela, notamment en limitant la capacité à modifier manuellement le contexte précédent dans les conversations multi-tours. Enfin, Fable 5.1 inclura des filigranes (watermarks) pour la transparence, conformément au code de pratique de l'UE sur l'IA. Ces filigranes permettront de déterminer si un texte a été généré par Claude, sans que cela soit perceptible par l'utilisateur. Cependant, une analyse indépendante d'Artificial Analysis suggère que Fable 5.1 n'est pas nécessairement moins cher que Fable 5.0 sur leurs benchmarks, et peut même être plus cher en raison d'une utilisation accrue des tokens de sortie pour accomplir les tâches. Bien que Fable 5.1 obtienne les meilleurs scores, le coût par tâche reste élevé comparé à des modèles comme Grok 4.6 ou GPT 5.6 Soul, qui offrent des performances similaires à un coût bien inférieur. Des tests visuels ont été effectués, comparant Fable 5.1 à GPT 5.6 Soul et GLM 5.3. Les rendus visuels de Fable 5.1 étaient très bons, mais GPT 5.6 Soul était jugé légèrement supérieur. La simulation de Rubik's Cube était complète avec de nombreuses options. La création de sites web par Fable 5.1 a donné des résultats variés, certains étant bons mais d'autres présentant des rendus d'images peu précis. Il est à noter une similitude frappante entre les tests de Fable 5.1 et GLM 5.3, soulevant des questions étant donné les accusations d'Anthropic envers les laboratoires d'IA chinois concernant la distillation.