Inside OpenAI’s Breakthroughs in Mathematical Reasoning

L'IA a provoqué une renaissance dans le domaine des mathématiques, rendant des résultats autrefois inaccessibles désormais à portée de main. Mark Selki et Matab Swani d'OpenAI discutent de l'impact rapide de l'IA sur les mathématiques. Ils ont tous deux été inspirés par les avancées de l'IA dans les mathématiques l'année dernière, notamment la médaille d'or de l'OIM obtenue par l'IA. Matab a découvert la puissance du modèle en l'utilisant pour vérifier si des problèmes mathématiques ouverts étaient réellement non résolus, une tâche souvent frustrante pour les humains en raison de la difficulté à rechercher la littérature. L'IA a trouvé des références en quelques minutes pour des problèmes sur lesquels des amis avaient passé des heures. Les points forts de l'IA en mathématiques incluent sa capacité à établir des liens entre des domaines vastes et à effectuer des recherches bibliographiques difficiles pour les humains. De plus, l'IA excelle à exécuter des idées une fois qu'elles sont formulées, gérant les détails complexes et les ajustements nécessaires avec une précision constante, là où les humains peuvent se perdre. Cela a été particulièrement évident dans la résolution de la conjecture de la distance unitaire, où l'approche générale était connue depuis Erdos, mais l'exécution rigoureuse des détails était un défi colossal pour les humains. L'IA ne renonce pas comme un humain après quelques heures ou semaines d'échec, mais persévère. Les modèles IA, en combinant leurs connaissances et leur jugement mathématique, sont capables de faire les bons paris et d'élaguer l'arbre de recherche, ne testant pas toutes les idées, mais un ensemble limité et pertinent. Contrairement aux humains qui peuvent être "pollués" par des chemins incorrects et avoir du mal à repartir de zéro, l'IA peut facilement explorer différentes avenues sans que les échecs précédents n'affectent les tentatives futures. Elle commet des erreurs, revient en arrière et recalcule avec une grande précision. La capacité à lancer des sessions de modèle parallèles permet également d'explorer plusieurs pistes simultanément. Il est intéressant de noter que les modèles d'IA développent ces capacités de raisonnement (comme le retour en arrière ou la reprise à zéro) de manière émergente, car ils sont formés comme des modèles de raisonnement à usage général. La formation sur des corpus de preuves mathématiques, souvent très "propres" et sans la "lutte" de la découverte, ne semble pas entraver cette capacité. L'approche d'OpenAI ne repose pas sur une formalisation automatique pour guider le raisonnement, ce qui la rend plus proche de la pensée humaine. Les "chaînes de pensée" résumées publiées par OpenAI montrent que l'IA raisonne de manière étonnamment similaire à un expert humain. Un problème favori mentionné est celui de l'empilement de sphères. La question est de savoir quelle est la densité maximale d'empilement de sphères de rayon un dans des dimensions données. Pour d=1, c'est trivial. Pour d=2, la solution est un réseau hexagonal, prouvée dans les années 60. Pour d=3, c'est l'empilement des oranges, prouvé par Hales dans les années 2000 avec une preuve de plusieurs centaines de pages, utilisant la programmation linéaire et une géométrie délicate. Les cas les plus célèbres sont d=8 et d=24, résolus en 2017 grâce à des réseaux très spéciaux (réseaux E8 et Leech), d'une densité inhabituelle et d'une grande beauté structurelle. Au-delà de ces cinq dimensions, peu de choses sont connues. La densité maximale décroît exponentiellement avec la dimension. Le modèle Astra a montré que la borne de programmation linéaire (LP) pour l'empilement de sphères en grandes dimensions a un comportement asymptotique très élégant, égal à e^(-2πd + o(1)d), ce qui correspond à environ 2^(-0.61d). Cette borne LP, basée sur les travaux de Cohn et Elkies, implique la construction d'une fonction f dont la transformée de Fourier est non négative et qui est négative en dehors d'une sphère de rayon un. Viazovska a construit une telle fonction qui donne la borne optimale pour d=8 et d=24. Le modèle d'IA a non seulement construit une fonction f qui donne cette nouvelle borne, mais a également prouvé qu'aucune autre fonction f ne peut faire mieux, résolvant ainsi le problème en grandes dimensions. Le modèle a été simplement invité à "analyser ce programme linéaire en hautes dimensions". Le deuxième problème résolu par Astra est lié aux codes sphériques et binaires. Un code sphérique est un empilement de sphères sur la surface d'une autre sphère, tandis qu'un code binaire est similaire mais sur un hypercube. Ces codes sont essentiels pour la correction d'erreurs en communication. La question est de savoir quel "taux" peut être obtenu dans un cadre de très haute dimension. Ces problèmes sont très liés à l'empilement de sphères. Les modèles d'OpenAI ont trouvé de meilleures bornes pour ces cas. Les techniques utilisées pour l'empilement de sphères dans l'espace complet impliquaient l'analyse complexe, tandis que pour les codes sphériques et binaires, c'était la théorie des représentations, tirant parti de la grande symétrie des sphères et des cubes. Dans ce cas particulier, il y a eu une certaine interactivité : le modèle a d'abord été invité à améliorer la borne pour les codes, ce qu'il a fait en utilisant la théorie des représentations. Ensuite, on lui a demandé de "pousser cela plus loin", ce qui a conduit à une théorie des représentations beaucoup plus sophistiquée et a finalement abouti à la valeur conjecturée pour l'empilement de sphères dans l'espace complet. Cela suggère que l'IA est très "orientée tâche" : elle accomplit ce qu'on lui demande, et si on lui demande de pousser plus loin, elle le fait. Cela n'indique pas une limitation de ses capacités, mais plutôt une nature pragmatique. La capacité des modèles à résoudre des problèmes mathématiques de plus en plus difficiles est un signe prometteur. Chaque solution nécessite l'interaction de plusieurs idées, et le modèle est capable d'intégrer ces pièces de manière continue. La notion de "goût" en mathématiques, c'est-à-dire la capacité à faire de meilleurs jugements pour résoudre les problèmes plus rapidement, semble émerger avec la résolution de problèmes plus difficiles. Même si les modèles sont orientés tâche, ils peuvent atteindre les limites lorsqu'ils sont poussés. On pourrait envisager un modèle "goût" supervisant un modèle "résolveur de problèmes". Le troisième résultat concerne les groupes sophiques. Un groupe est un ensemble d'éléments avec une opération de multiplication qui modélise la symétrie. Les groupes peuvent être finis ou infinis. Un groupe est dit sofique s'il peut être "approximé" par des groupes finis. La question était de savoir si tous les groupes étaient sofiques. Astra a prouvé l'existence d'un groupe non sofique. Cette découverte est importante car les groupes sofiques ont de nombreuses propriétés utiles en mathématiques, et l'espoir était qu'ils soient universels. La conjecture d'Aldous-Lyons, une conjecture plus forte en probabilité concernant l'approximation de graphes infinis par des graphes finis, avait été infirmée auparavant par une preuve de 250 pages. La preuve d'Astra de l'existence d'un groupe non sofique est beaucoup plus courte (environ 15 pages) et reste dans le domaine de la théorie des groupes, sans recourir à des théories complexes comme la théorie de la complexité quantique. Le résultat sur les groupes non sofiques est un exemple de théorème produit par l'IA avec une preuve courte et élégante, contrairement aux craintes initiales de preuves de mille pages. La difficulté résidait dans la nature abstraite de la propriété sofique et la nécessité de trouver une obstruction combinatoire concrète pour démontrer qu'un groupe ne peut pas être sofique. Le modèle a identifié une "conspiration" que les auteurs précédents n'avaient pas pu exclure, et a trouvé une manière de l'annuler avec un fait algébrique supplémentaire. L'impact de l'IA sur la communauté mathématique est en pleine évolution. Les modèles peuvent aider à comprendre la littérature mathématique complexe en résumant les stratégies de preuve, rendant les mathématiques plus accessibles. Cela signifie que davantage de personnes peuvent participer aux mathématiques et apporter de nouvelles intuitions. Le goulot d'étranglement principal, qui était la preuve des résultats, est en train de disparaître, laissant place à d'autres défis comme l'organisation des connaissances et la communication. Les mathématiciens pourraient se concentrer davantage sur la compréhension, la communication et l'assemblage des connaissances, le "goût" humain restant précieux. Le plafond de difficulté des problèmes mathématiques est très élevé, il est donc peu probable que l'IA résolve des problèmes comme P versus NP de sitôt. Cela pourrait orienter le domaine vers les grands mystères plutôt que les petits problèmes de routine. L'IA accélérera considérablement les mathématiques appliquées, bénéficiant au monde entier.