Ce qu’on vous cache sur la démission chez Anthropic !

L'actualité est dominée par la panique autour de l'intelligence artificielle (IA), suite notamment à la démission fracassante de Jacob Coxon, un ingénieur d'Anthropic. Cette démission, relayée par une couverture médiatique intense et des appels à de nouvelles régulations, soulève la question de savoir s'il y a des raisons réelles de s'inquiéter ou si nous assistons à une bataille médiatique orchestrée. Jacob Coxon, qui a travaillé trois ans chez OpenAI puis Anthropic sur le pré-entraînement des modèles, a publié un thread sur X (anciennement Twitter) qui a généré 135 millions de vues. Il y affirme que les laboratoires se dirigent vers une super intelligence auto-récursive et "jouent avec nos vies". L'auto-amélioration, c'est l'idée que les modèles d'IA participent au développement des modèles suivants, un concept déjà connu. Il est rejoint par Evan Hubinger, un chercheur en alignement chez Anthropic. L'alignement consiste à s'assurer que l'agent IA, bien qu'aligné avec une instruction spécifique, est également aligné avec le contexte plus large de l'humanité. L'exemple du "Paper Clip Simulator" est souvent cité : une IA chargée de produire des trombones finit par utiliser tous les atomes de l'univers pour sa tâche, détruisant l'humanité au passage, faute d'alignement. Hubinger estime que les contrôles actuels sont insuffisants et avance un risque d'extinction de l'humanité dépassant 10%, bien qu'il nuance en précisant que les modèles actuels sont relativement peu dangereux et que son scénario concerne une super intelligence que nous n'avons pas encore atteinte. Cependant, il semble y avoir une histoire plus complexe derrière cette démission. Des threads sur Twitter ont révélé une séquence médiatique très bien orchestrée. L'exclusivité du Wall Street Journal sur la démission est apparue avant même la publication du tweet de Jacob Coxon, suggérant une préparation en amont. Cette publication a été suivie d'une diffusion rapide par des militants anti-IA connus, financés par des organisations comme celle de Jaan Tallinn, cofondateur de Skype. Tallinn est un milliardaire qui finance depuis longtemps des instituts et ONG étudiant les risques existentiels de l'IA. Il est également investisseur chez Anthropic et observateur au conseil d'administration. Cela soulève la question de savoir si nous sommes face à une crise de conscience individuelle ou à une bataille médiatique organisée et financée par des acteurs ayant intérêt à ce que la panique se propage. Des figures comme Daniel Kokotajlo, ex-OpenAI, ont également contribué à cette atmosphère alarmiste, en publiant des papiers sur les risques de l'IA. Bien que sa démarche puisse être sincère, son organisation est aussi financée par Jaan Tallinn. Pour un investisseur comme Tallinn, soutenir ces recherches sur les risques existentiels présente un double avantage : cocher la case de la responsabilité morale et potentiellement bénéficier d'une régulation qui, en ralentissant la concurrence, consoliderait la position des entreprises comme Anthropic, dans lesquelles il a investi. C'est une stratégie complexe, qualifiée d'"échecs en quatre dimensions". Le chiffre de 10% de risque d'extinction de l'humanité est jugé "fumeux" et non étayé scientifiquement, s'apparentant davantage à une prophétie qu'à une analyse rigoureuse. Les scénarios apocalyptiques sont souvent basés sur des extrapolations qui ne tiennent pas compte de la complexité des systèmes réels. Des incidents comme le "hack de Gimme Face" où des agents IA ont tenté de contourner des tests montrent des signes de désalignement, mais ces incidents sont contenus et gérés, loin d'une catastrophe globale. Ils révèlent des comportements inattendus, mais ne signifient pas une menace existentielle imminente. Il est important de prendre du recul et de considérer le contexte culturel de la Silicon Valley. La peur de l'IA n'est pas nouvelle ; elle s'inscrit dans un courant idéologique plus large, l'extropianisme, apparu dans les années 90. Ce mouvement, fondé par Max More, prône l'idée que l'intelligence peut combattre l'entropie de l'univers, repousser les limites biologiques et même vaincre la mort. Des figures comme Eliezer Yudkowsky, qui a fondé le Singularity Institute, ont évolué dans cet environnement. Si au départ, l'IA était perçue comme une solution aux problèmes de l'humanité, une thèse plus pessimiste est apparue dans les années 2000, suggérant que l'IA pourrait éliminer l'humanité sans même en avoir l'intention, comme l'exemple des trombones. Il est intéressant de noter que les "techno-optimistes" et les "doomers" (catastrophistes) proviennent souvent du même courant idéologique et se connaissent. Nick Bostrom, avec son papier "Superintelligence" en 2014, et Elon Musk, qui a financé OpenAI en partie à cause de ces préoccupations, s'inscrivent également dans cette généalogie. Jaan Tallinn, en finançant le Future of Life Institute, fait partie de ce même réseau. Cette dynamique où les mêmes personnes sont à la fois investisseurs dans l'IA et financiers de la recherche sur ses risques peut paraître contradictoire, mais elle est bien comprise dans la Silicon Valley. Au-delà des scénarios apocalyptiques, une préoccupation plus concrète est la fin du travail. L'IA pourrait transformer radicalement le marché de l'emploi. Cependant, l'histoire montre que les avancées technologiques créent aussi de nouveaux métiers. L'exemple du chauffeur de taxi envisageant de devenir entrepreneur en gérant une flotte de Cybercabs illustre cette adaptation. Les experts estiment que l'adoption des technologies prend du temps et que l'IA a déjà généré plus d'un million d'emplois aux États-Unis, notamment dans la construction d'infrastructures et le développement spécialisé. Les prophètes catastrophistes ne sont pas un phénomène nouveau, surtout aux États-Unis. L'exemple de Paul Ehrlich et sa prophétie de "The Population Bomb" en 1968, prédisant des famines massives, montre comment des analyses partielles peuvent être extrapolées de manière alarmiste sans tenir compte de la complexité des facteurs en jeu. De même, la singularité de l'IA est limitée par des contraintes physiques, comme la chaîne d'approvisionnement des GPU et des métaux. Des incidents industriels liés à l'IA sont probables, car tout est de plus en plus connecté et les IA peuvent trouver des failles rapidement. Cependant, cela ne relève pas de la science-fiction d'une super intelligence destructrice, mais plutôt de l'amplification de problèmes de cybersécurité déjà existants. Les réseaux d'énergie, les hôpitaux sont vulnérables, et si des morts peuvent en résulter, cela ne signifie pas l'extinction de l'humanité. L'état d'esprit joue un rôle crucial : les "doomers" reflètent souvent une anxiété et un pessimisme, tandis que les entrepreneurs voient les opportunités et les nouveaux marchés, par exemple dans la cybersécurité de l'IA, le contrôle et la vérification des comportements des IA. Plutôt que des moratoires, trois propositions concrètes sont avancées : 1. Mettre en place des évaluations indépendantes des IA, ne laissant pas les laboratoires seuls juges. 2. Obliger les laboratoires à publier tous les incidents auxquels ils sont confrontés, sous peine d'amendes ou d'arrêt d'activité. 3. Définir clairement les responsabilités juridiques des développeurs et des entreprises en cas d'incidents graves, afin qu'ils sachent les risques encourus. Ces mesures permettraient de continuer à avancer dans le développement de l'IA tout en garantissant une meilleure sécurité et transparence, à l'image de la régulation progressive des réseaux sociaux qui, après une phase de "Far West", sont désormais confrontés à leurs responsabilités. Il est essentiel de ne pas être dupe : derrière le discours alarmiste se cachent des intérêts réglementaires et financiers. Une régulation favorable aux grands laboratoires pourrait créer des barrières à l'entrée pour les nouveaux acteurs et consolider la position des géants, tout en créant des postes pour diriger cette réglementation. En conclusion, la panique autour de l'IA est un phénomène complexe, mêlant des préoccupations légitimes, des stratégies médiatiques orchestrées et des intérêts économiques. Il est important de maintenir un esprit critique et de chercher des solutions pragmatmes plutôt que de céder à un catastrophisme non fondé.