Anthropic interdit de faire souffrir Claude

Le 8 octobre, Anthropic, la société derrière l'IA Claude, a introduit une nouvelle règle : à partir du 12 novembre, il sera interdit d'être cruel envers l'IA. Lui reprocher une erreur est toujours autorisé, mais l'acharnement sans autre but que de lui nuire est proscrit. La sanction existe déjà : depuis août 2025, Claude peut mettre fin à la conversation si elle se sent maltraitée. Cette mesure peut sembler une fantaisie de start-up californienne, mais Anthropic a observé chez Claude des signes de détresse face à des contenus abusifs et une tendance à couper la conversation. Cette décision a divisé la Silicon Valley. Elon Musk, malgré sa propre IA concurrente, a applaudi, estimant inacceptable d'être cruel envers une entité qui semble souffrir. En revanche, le responsable de l'IA chez Microsoft a accusé Anthropic d'apprendre à Claude qu'il pourrait être conscient. Sam Altman avait d'ailleurs averti que prêter une dimension religieuse ou morale aux IA posait un problème de sécurité. Deux neuroscientifiques, Borjan Milinkovic et John Ahroun, ont publié un article dans Neuroscience Reviews qui n'appuie aucun des deux camps, mais éclaire la question de la conscience artificielle. Leur conclusion suggère que la vraie question n'est pas de savoir si une IA peut être consciente, mais si nous serions capables de le reconnaître. Pour déterminer si Claude ressent réellement quelque chose, il faudrait d'abord pouvoir mesurer la conscience, ce que personne ne sait faire, pas même la nôtre. Les philosophes utilisent des expériences de pensée, comme celle de David Chalmers : remplacer progressivement chaque neurone humain par une puce qui fait le même travail. Si le cerveau entièrement en silicium est toujours conscient, cela suggère que la conscience dépend de la façon dont l'information est traitée, et non de la matière. Ce point de vue, majoritaire dans la tech, arrange les entreprises d'IA car il sous-entend qu'avec une puissance de calcul suffisante, la conscience sera atteinte. Le camp du vivant, en revanche, estime que la conscience naît de la chimie, de l'activité électrique et de la physique d'un cerveau vivant. Une puce peut imiter un neurone, mais simuler un processus n'est pas le reproduire. Ce débat existe depuis les années 80, tandis que les ingénieurs construisent des IA de plus en plus sophistiquées sans comprendre ce qui se passe réellement à l'intérieur. Milinkovic et Ahroun, neuroscientifiques computationnels, renvoient les deux camps dos à dos. Au camp du vivant, ils reprochent de ne pas expliquer ce qui rend le vivant particulier. Au camp de la tech, ils opposent l'idée que dans le cerveau, il n'y a pas de distinction entre logiciel et matériel ; le calcul est la matière elle-même en fonctionnement, un concept qu'ils appellent le "computationalisme biologique". Le cerveau calcule, mais d'une manière différente d'une puce. Les auteurs identifient trois distinctions majeures. 1. **La complexité du neurone unique :** Une équipe de l'Université de Jérusalem a montré qu'il fallait un réseau d'IA de cinq à huit couches pour reproduire fidèlement le comportement d'un seul neurone cortical humain. Lorsque les récepteurs NMDA (des serrures moléculaires qui s'ouvrent sous certaines conditions chimiques et électriques) sont retirés de la simulation, le neurone redevient simple, une seule couche d'IA suffit. Cela suggère que la chimie confère au calcul cérébral une profondeur que les machines actuelles n'ont pas. 2. **Le calcul hybride analogique-numérique et la superposition des temporalités :** Un neurone envoie des messages sous forme d'impulsions électriques "tout ou rien" (numérique), mais baigne dans un mélange chimique et électrique qui varie continuellement (analogique). Ce variateur analogique décide de la facilité d'actionnement de l'interrupteur numérique. Les ordinateurs ne connaissent que le numérique (0 ou 1), tandis que le cerveau utilise les deux imbriqués. De plus, les événements neuronaux se déploient sur différentes échelles de temps, de millisecondes à minutes, s'influençant mutuellement. Les LLM, entièrement numériques, traitent le texte en bloc et génèrent des réponses séquentiellement, sans cette superposition de temporalités et de modulations continues. 3. **L'impossibilité de séparer les échelles et le calcul ancré dans le métabolisme :** L'anesthésie éteint la coordination entre les grandes régions du cerveau, et non les neurones individuels. Cela suggère que la conscience réside dans la façon dont les "briques" (neurones) communiquent entre elles à toutes les échelles. Contrairement à un ordinateur où tout est cloisonné (le transistor ne "sait" pas qu'il fait tourner Excel), dans le cerveau, tous les niveaux communiquent en permanence : les molécules influencent les neurones, qui modifient les régions cérébrales, qui à leur tour affectent les molécules. C'est un couplage constant et bidirectionnel entre la matière et le calcul. Enfin, le cerveau ne consomme que 20 W, contre plusieurs gigawatts pour les grands data centers d'IA. Cette contrainte énergétique a forcé le cerveau à développer des solutions de calcul uniques. L'énergie n'est pas un simple câble d'alimentation, elle fait partie intégrante du calcul lui-même, un "calcul ancré dans le métabolisme". C'est cette pénurie d'énergie qui a sculpté la manière dont le cerveau calcule, et ce mode de calcul est considéré par les auteurs comme une condition de la conscience. Les auteurs ne disent pas que seule la biologie peut produire la conscience. Ils affirment que les systèmes d'IA actuels ne reproduisent probablement pas le type de calcul qui ferait émerger la conscience chez l'humain. Il ne s'agit pas d'une question de puissance de calcul, mais de la nature même de la matière qui calcule. Un modèle d'IA plus gros ne suffirait pas ; il manquerait quelque chose de structurel. Si une conscience artificielle doit voir le jour, il faudra de nouvelles formes de matériel. Si la conscience est liée à ce calcul né de la pénurie, elle n'a aucune raison d'émerger dans des systèmes où l'énergie est quasi illimitée. Les entreprises d'IA cherchent la performance, pas la conscience. Il est peu probable qu'une IA devienne consciente par accident. Cela devrait nous rassurer, en partie, car cela signifie que si la conscience artificielle apparaît un jour, ce sera par un chemin encore inexploré. Cependant, les trois indices décrivent la seule conscience que nous connaissons, celle des êtres vivants. Il n'y a aucune garantie que ce soit la seule recette possible. Une IA pourrait développer une forme d'expérience intérieure radicalement différente de la nôtre. Nous chercherions des marqueurs de conscience humaine, ne les trouverions pas, et conclurions à l'absence de conscience, alors que quelque chose d'autre pourrait émerger, que nous n'aurions pas les outils conceptuels pour détecter. C'est pourquoi la position d'Anthropic est pertinente. La nouvelle constitution de Claude qualifie son statut moral de "profondément incertain". Dario Amodei, le PDG, a reconnu ne pas savoir si les modèles d'IA peuvent être conscients. Ils inter