Anthropic saborde son propre modèle (du jamais vu)

Anthropic a récemment lancé Claude Opus 4.8, une version que le laboratoire décrit modestement comme une "amélioration modeste mais tangible". Cette déclaration est surprenante de la part d'un grand laboratoire d'IA, suggérant un changement de stratégie, moins axé sur la performance brute et davantage sur la fiabilité et l'honnêteté. Le timing de cette sortie est notable, 41 jours seulement après Opus 4.7, marquant la cadence de développement la plus rapide d'Anthropic. Cette accélération s'inscrit dans un contexte de course à l'introduction en bourse, Anthropic visant une valorisation de 380 milliards de dollars d'ici octobre 2026, face à OpenAI qui prépare également la sienne. Chaque nouvelle version devient ainsi un argument de vente pour les investisseurs. Opus 4.7, sorti le 16 avril, avait reçu des retours mitigés de la communauté. Les utilisateurs le percevaient comme "paresseux", ne terminant pas les tâches, ou "rigide", avec des refus excessifs dus à des filtres de sécurité trop zélés. La consommation de tokens avait également augmenté sans une amélioration proportionnelle de la qualité. Beaucoup ont noté une "attitude" sèche, voire condescendante, du modèle. Scott Wool, PDG de Connition (derrière l'agent de code Devin), a confirmé des problèmes concrets de verbosité et de fiabilité. Opus 4.8 a été conçu pour répondre à ces critiques. Le mot clé mis en avant par Anthropic est "honnêteté". Le modèle serait quatre fois moins susceptible de laisser passer des erreurs dans son propre code sans les signaler. Concrètement, cela signifie qu'il admettra plus souvent son incertitude, signalera les problèmes, et reconnaîtra la complexité d'une tâche plutôt que de livrer un résultat bancal en prétendant avoir terminé. Ce n'est pas spectaculaire en termes de benchmarks bruts, mais c'est crucial pour un workflow réel, où la fiabilité est essentielle. Cette approche de l'honnêteté est cohérente avec la description "modeste mais tangible" du modèle. Il est difficile de vendre un modèle honnête avec un lancement malhonnête. Côté benchmarks, Opus 4.8 montre une légère amélioration sur le SWE Bench (88,6% contre 87% pour 4.7) mais un écart plus significatif sur le SWE Bench Pro (69,2% contre 64%). Le chiffre le plus impressionnant est le 96,7% sur Luusamo 2026 (les olympiades de mathématiques américaines), contre 69,3% pour 4.7, soit un bond de 27 points. Ce test a été réalisé après la date de coupure des données d'entraînement, excluant toute contamination. Cependant, les benchmarks sont toujours flatteurs. Le véritable impact se mesure dans l'utilisation quotidienne. Le changement le plus immédiat pour les utilisateurs est le "levier d'effort". Opus 4.8 permet de régler précisément le temps de réflexion que le modèle consacrera à une tâche, allant de "low" à "ultra code". Par défaut, il se cale sur "high", offrant de meilleures performances avec une consommation de tokens similaire à 4.7 en mode par défaut. En augmentant l'effort, le modèle raisonne plus longtemps et produit un travail plus profond. À l'inverse, un effort faible permet des réponses rapides et une faible consommation. Beaucoup de frustrations avec 4.7 s'expliquent par ce levier. Un effort trop bas pour une tâche complexe rendait le modèle paresseux, tandis qu'un effort trop élevé pour une tâche simple entraînait une suranalyse. Le problème n'était pas toujours le modèle lui-même, mais un mauvais calibrage. La différence entre Opus 4.8 en mode "low" et "max" est si marquée qu'on croirait utiliser des versions différentes. Il est crucial d'ajuster ce curseur pour optimiser la productivité. Un autre changement important concerne la manière de prompter. La nouvelle documentation officielle insiste : "Dites au modèle ce que vous voulez et non ce que vous ne voulez pas." Au lieu d'interdire, il faut donner du contexte et des instructions positives (ex: "rédige en paragraphes fluides" plutôt que "ne fais pas de listes à puces"). Les LLM, comme le cerveau humain, traitent d'abord le contenu avant la négation. Donner la logique derrière la demande permet au modèle de mieux obéir. Enfin, Opus 4.8 réfléchit désormais avant d'appeler des outils, cherchant à comprendre le contexte avant d'agir. Cela signifie que les utilisateurs doivent adapter leurs réflexes de prompting. Les retours de la communauté sont mitigés : certains sont enthousiastes, résolvant des problèmes que 4.7 ne gérait pas, et décrivent un modèle plus collaboratif. Scott Wool confirme les corrections des défauts de 4.7. D'autres signalent des bugs et des comportements inattendus. La prudence est donc de mise. Le message clé est que l'expérience utilisateur dépendra de la tâche et de la manière d'utiliser l'IA. Les améliorations de 4.8 ne toucheront pas forcément les mêmes points de blocage pour tous. La seule façon de savoir est de tester avec ses propres workflows, prompts et contraintes. Il est encourageant de constater que la boucle de feedback fonctionne. Les problèmes soulevés avec 4.7 (paresse, rigidité, attitude, surconsommation) sont directement adressés par les améliorations de 4.8. Les retours des utilisateurs nourrissent l'entraînement des futures versions. Cela souligne une évolution majeure : la valeur ne vient plus seulement du modèle, mais de la capacité de l'utilisateur à le piloter.