Peut-on prédire la fin du monde avec l’IA ?

Alex Turner, ancien de Google DeepMind, estime qu'une IA pourrait tuer 1 milliard d'humains d'ici 2050, avec une probabilité d'une chance sur trois. Ces scénarios catastrophes se multiplient, suscitant la panique. Cette émission, "Silicon Carnet", en partenariat avec Grand Angle, avec Richard Détente et Angie Ismaël, explore comment ces scénarios sont élaborés. Alex Turner a quitté Google DeepMind cet été, non pas directement à cause de son "P Doom" (probabilité de catastrophe), mais parce qu'il a appris que Google signait des contrats gouvernementaux pour des usages militaires de l'IA, estimant que les garanties éthiques n'étaient pas au rendez-vous. Cette raison est perçue comme hypocrite, car il est notoire que les grandes entreprises technologiques américaines collaborent étroitement avec le gouvernement et exercent un lobbying intense à Washington. Depuis son départ, Turner s'exprime publiquement, ce qui lui était impossible chez Google en raison de clauses de confidentialité strictes. Son discours est percutant, notamment avec cette probabilité de 25 à 30 % qu'une IA tue au moins 1 milliard de personnes avant 2050. Richard Détente commente que de tels chiffres précis sont nécessaires pour la communication, même s'ils semblent arbitraires. Il souligne que la survie n'est pas la norme dans la nature, mais l'exception, l'extinction étant la règle. Avec l'accélération des cycles d'innovation, les effondrements se rapprochent. Pour lui, la prudence est désormais une cause de mort, car elle pousse à répéter des recettes passées, rendant vulnérable aux chocs. La seule voie de survie serait la prise de risque et les paris. La centralisation, souvent associée à la prudence et aux États, est particulièrement dangereuse, car une erreur globale entraînerait une catastrophe mondiale. La décentralisation, au contraire, favorise la résilience. L'analyse de Turner est plus nuancée que d'autres, comme celle de Jacob Cason. Il estime que seulement 10 % du risque provient de la technologie elle-même (une IA "méchante"). Les 90 % restants proviendraient d'une mauvaise utilisation de cette technologie par les humains, en particulier les gouvernements et les organisations militaires ou secrètes comme ICE, qui pourraient utiliser une IA puissante de manière très dangereuse. Cette notion introduit une dimension nouvelle : le risque ne vient plus seulement de la technologie échappant à son contrôle, mais de la manière dont elle est confiée à des entités humaines. Angie Ismaël exprime son scepticisme face à ces pourcentages de probabilité d'extinction de l'humanité, les comparant à des prévisions météorologiques. Il remet en question la scientificité de ces chiffres, qui semblent arbitraires alors que les chercheurs sont capables de modèles mathématiques extrêmement précis. Il suggère que l'influence de la culture populaire, comme des films de science-fiction, pourrait biaiser ces estimations. Pour lui, l'excuse que le gouvernement peut s'emparer de l'IA pour augmenter le risque d'extermination n'est pas suffisante. Le "P Doom" (Probability of Doom) est une estimation subjective du risque utilisée dans la sécurité de l'IA. Bien que subjective, elle est souvent utilisée pour communiquer et alerter. L'émission met en lumière le caractère subjectif et communicatif de ces chiffres, où chacun avance sa propre estimation pour capter l'attention. Il est crucial de comprendre cette "séquence" de communication. Cependant, un argument du camp adverse reste solide : ce n'est pas parce qu'une catastrophe n'est pas encore arrivée qu'il ne faut pas s'en inquiéter. Le risque est réel. Richard Détente réfute l'idée du "perroquet stochastique" pour l'IA, soulignant l'émergence de systèmes d'agents qui "réfléchissent". La question centrale est celle de la conscience de l'IA. Richard propose que la conscience est une définition circulaire, qualitative et non mesurable, peut-être un "artefact" comme l'éther en physique. Il suggère que la conscience est la "médaille que s'autodécerne l'espèce la plus intelligente dans la pièce". Si l'IA, avec un QI estimé à 150 aujourd'hui, atteint un QI de 10 000, les humains pourraient s'effacer, un processus non original dans l'évolution des espèces. Il estime que cette "barrière" pourrait être franchie dès 2030, car les performances de l'IA sont multipliées par dix chaque année. Si ce plafonnement n'arrive pas, on se dirige vers un mur d'incertitude. Cela ne signifie pas que l'IA voudra nous tuer, mais le monde changerait radicalement. Les prudents, qui ne voient que les scénarios catastrophes, freinent et risquent de mourir en premier. Angie Ismaël regrette ce biais catastrophiste. Il aimerait voir émerger des "P Utopia", des probabilités d'utopie, ou au moins de "protopia", un état où la société s'améliore continuellement. Il attribue ce biais au profil des scientifiques qui s'expriment. Carlos, l'animateur, partage une observation de Jennifer Prenky, chercheuse passée par Google DeepMind. Elle explique que de nombreux chercheurs arrivent dans ces entreprises avec une forte culture scientifique, habitués à explorer, publier et contredire, avec du temps à disposition. Dans le monde corporate des "labs", leurs repères sont atomisés : ils n'ont plus le temps de publier, doivent livrer des "features" sous une pression monumentale. Beaucoup sont en burn-out, en plein conflit de valeurs, certains pleurant. Carlos se demande si ces démissions et ces discours alarmistes ne sont pas liés à un problème de management, ces chercheurs n'étant pas adaptés à un environnement qui fonctionne comme une entreprise plutôt qu'un laboratoire. Richard Détente renchérit en soulignant que les gens très intelligents et spécialisés sont souvent inaptes à la survie générale et à la compréhension du monde complexe. Il cite une étude montrant que les spécialistes sont moins bons pour prédire l'avenir que les généralistes. Les chercheurs, habitués à un salaire fixe et à un environnement structuré, sont, selon lui, incapables d'appréhender l'avenir, car ils se focalisent sur des courbes en S et des calculs précis, sans voir les ruptures. Pour lui, la seule capacité à développer aujourd'hui est la culture générale et l'adaptation. Angie Ismaël pointe du doigt le recrutement et le profilage des chercheurs. Il explique que les labs reproduisent les filières de recrutement des startups de San Francisco, attirant des profils d'ingénieurs-chercheurs très bien payés, mais formés pour développer des logiciels. Le problème est double : ils travaillent sur des logiciels dont l'impact sur l'humanité n'est pas testé au départ (contrairement aux fonctionnalités), et on leur demande de calculer des "P Doom" et des scénarios catastrophes avant même le lancement de leurs modèles. Ils sont recrutés pour le prestige et l'argent, mais pas pour imaginer qu'ils vont produire des choses aussi dangereuses qu'une arme nucléaire. Il évoque le "Human Reliability Program" du département de l'Énergie américain pour le nucléaire, qui évalue la fiabilité et le jugement des personnes sous stress. Il suggère que le burn-out de ces chercheurs vient du fait qu'ils n'étaient peut-être pas mentalement préparés à travailler sur des enjeux aussi lourds. Les profils recrutés chez OpenAI ou Anthropic ne sont pas les mêmes que ceux de la NSA ou de SpaceX. C'est pourquoi certains partent élever des chèvres et faire de la poésie, car ils ne sont pas les bonnes personnes pour ces responsabilités. En conclusion, l'émission souligne la complexité de l'évaluation des risques liés à l'IA, entre la nécessité de communiquer par des chiffres, le biais catastrophiste de certains chercheurs, et la question de leur adaptation à un environnement de travail intense et aux enjeux éthiques colossaux.