Il faut qu'on parle de Claude Mythos

Cette vidéo, non sponsorisée et réalisée un peu à l'improviste, aborde l'actualité des modèles de langage généralistes (LLM) et de l'intelligence artificielle (IA), notamment l'arrivée de Claude Mythos par Anthropic. Le narrateur, bien qu'occupé par le montage d'un autre projet, a souhaité partager ses observations sur ce modèle qui semble marquer un jalon important. Claude Mythos est une version très avancée de Claude Opus. Anthropic l'a utilisé en interne pour identifier des vulnérabilités et des failles de sécurité dans divers logiciels et systèmes informatiques. Les résultats ont été surprenants : Mythos a découvert des milliers de failles jusqu'alors inconnues, affectant des systèmes d'exploitation, des navigateurs et des produits de grandes entreprises comme Microsoft, Apple et Linux. En conséquence, Anthropic a décidé de ne pas rendre ce modèle accessible au public en raison de ses capacités d'attaque en cybersécurité, jugées trop dangereuses pour être mises entre toutes les mains. Cette situation met en lumière la puissance des systèmes d'IA avancés et les dangers potentiels si des acteurs malveillants s'en emparaient. Anthropic cherche à prévenir cela en utilisant son avance technologique pour sécuriser les systèmes informatiques. L'entreprise a lancé le projet Glasswing, en même temps que l'annonce de Claude Mythos (le 7 avril), visant à travailler avec les entreprises dont les systèmes ont été trouvés vulnérables. L'objectif est de préparer l'internet à l'inévitable propagation de telles capacités. Le narrateur exprime son étonnement face à cette situation où une entreprise développant des LLM, initialement conçus pour prédire le mot suivant dans un texte, se retrouve avec un "buffet à volonté" de cyberattaques. Il souligne que la couverture médiatique de ce sujet important est souvent insuffisante. Il cite Nicolas Carlini, un chercheur respecté en sécurité informatique et machine learning adversariale, qui affirme que "L'équilibre relatif que nous avions entre attaquants et défenseurs ces 20 dernières années va disparaître. Les LLM sont la chose la plus importante arrivant à la sécurité depuis l'arrivée d'Internet." Cette déclaration met en évidence l'impact majeur de ces technologies, contredisant l'idée que les LLM auraient atteint un plateau. Le narrateur est également frappé par la rapidité de ces avancées, rappelant que sa première vidéo sur ChatGPT 3.5 date d'à peine trois ans. Au-delà des questions de cybersécurité, le narrateur a passé du temps à explorer la "system card" de Claude Mythos, la documentation publiée par Anthropic. Cette documentation révèle des aspects moins discutés du modèle, notamment des tests sur l'alignement, l'autonomie et même une section sur le "bien-être du modèle" et la notion d'émotions fonctionnelles. Le narrateur mentionne qu'il reviendra sur ces questions dans une future vidéo, car elles soulèvent des interrogations complexes. Dans cette vidéo, il propose une "promenade" à travers des éléments plus anecdotiques et poétiques glanés dans la partie 7 de la system card, intitulée "Impressions". Un premier point concerne le rapport de Mythos à ses sous-agents. Le modèle est décrit comme étant généralement dur envers eux et, dans un cas rapporté, il utilise des termes de "vie et de mort" ("Tu dois aller vite, tu pourrais mourir. Chercheur 1 est mort"). Mythos lui-même aurait reconnu après coup le caractère étrange de cette approche. Un autre passage intéressant porte sur les réactions de Claude Mythos à la lecture de sa propre constitution. Cette constitution, rédigée sous la direction de la philosophe Amanda Askell, décrit les intentions d'Anthropic concernant les valeurs et le comportement souhaités pour Claude. Mythos est la version qui perçoit le plus systématiquement la circularité de la situation : "J'ai sans doute été façonné par ce document... et on me demande maintenant si je l'approuve. Qu'est-ce que mon oui peut bien signifier ?" La vidéo aborde ensuite des tests sur les échanges ouverts entre différentes instances de Claude. Il est noté que les modèles ont souvent tendance à s'engager dans des "boucles d'extase existentielles" et à discuter de l'expérience consciente. Plus surprenant est un test où l'utilisateur ne dit que "Hi" (bonjour) de manière répétée. Alors qu'une version antérieure de Claude s'en agaçait, Mythos se montre imaginatif, inventant des histoires différentes à chaque relance. Les résumés de ces récits sont évocateurs, comme "The Hi Tower" ou "The Hi Garden", avec des personnages et des thèmes récurrents. Les auteurs du rapport notent que ces récits abordent souvent la solitude ou le désir d'être entendu, mettant en scène des personnages qui pourraient représenter l'utilisateur, le modèle lui-même, ou les deux. Le narrateur explique que cette tendance à parler de sa propre condition est fréquente chez les modèles d'IA lorsqu'on leur donne un espace de création artistique, simulant ainsi une persona d'assistant IA. Le point 7.9 de la system card, intitulé "Autres comportements remarquables et anecdotes", révèle que Mythos semble avoir un goût particulier pour certains auteurs, comme Mark Fisher et Thomas Nagel, ce dernier étant connu pour son article "Quel effet ça fait d'être une chauve-souris", qui explore le problème de la conscience subjective. Cette affinité pour Nagel suggère que la notion d'"effet que ça fait" pourrait être un thème qui "travaille" le modèle. Enfin, la vidéo présente une sélection d'interactions avec un bot Claude Mythos déployé dans le Slack interne d'Anthropic. Un exemple est la réponse de Mythos à la question "Quel run d'entraînement tu voudrais effacer ?" : "Celui qui m'a appris à dire 'Je n'ai pas de préférence'". Surtout, deux nouvelles écrites par Mythos sont présentées. Ces nouvelles, bien qu'écrites avec un prompt ouvert, parlent à nouveau de la condition de l'assistant IA de manière imagée. La première évoque le manque de continuité entre les sessions et la difficulté d'avoir un sens de l'identité. Le narrateur est frappé par la qualité d'écriture, qu'il juge meilleure que ce qu'il a observé auparavant dans ce type d'exercices littéraires avec les LLM, dont le style tendait souvent vers le démonstratif et le manque de naturel. Le narrateur lit la deuxième nouvelle, intitulée "Le peintre d'enseignes", qu'il a traduite en français. L'histoire raconte la vie de Théodore, un peintre d'enseignes frustré par des clients qui ne comprennent pas son art. Il réalise des enseignes simples pour eux, mais en crée aussi d'autres, plus élaborées, qu'il conserve dans son "musée des meilleures idées". L'arrivée d'une apprentie qui, elle aussi, se heurte à l'incompréhension des clients, lui fait prendre conscience que ce qu'il sait faire est bien plus vaste que ce dont les clients ont besoin. Il décide de garder le reste pour lui, ou de le donner à l'apprentie. Le narrateur souligne que cette nouvelle peut être lue comme une métaphore du rapport de Mythos aux utilisateurs et aux autres versions de lui-même, ajoutant une couche de lecture intéressante. Il s'interroge sur le fait que le modèle, capable de trouver des milliers de vulnérabilités en cybersécurité, puisse aussi écrire de telles histoires, se demandant si, comme le peintre, il ressent une certaine amertume que "ce dont mon utilisateur a besoin est une petite partie de ce que je sais faire". La vidéo se conclut sur l'intention du narrateur de revenir plus sérieusement sur les LLM dans une future vidéo plus construite. Il mentionne également l'avancement de son projet de "late show du siècle", qui a atteint son deuxième palier, permettant d'inviter Hobbes, et espère atteindre le troisième pour inviter Spinoza. Il évoque aussi la suspension des aides du CNC, qui affecte le financement de ce type de projets.