Recursive Self-Improvement and the Future of AI

L'idée fondamentale est de créer une IA qui s'améliore elle-même. Pour la première fois, nous pourrions échanger l'optimiseur avec l'optimisé, ce qui conduit à un réinvestissement de l'amélioration cognitive en elle-même. L'amélioration récursive de soi (RSI) peut être envisagée à plusieurs niveaux de la pile, des prompts aux poids, et même jusqu'aux puces. Notre objectif est d'optimiser tous les niveaux de la pile. Notre approche du RSI repose sur un système multi-agents travaillant ensemble et amélioré de manière récursive. Mes interlocuteurs, un physicien ayant un doctorat en apprentissage par renforcement du MIT Media Lab, et un autre ayant étudié les mathématiques et travaillé sur l'apprentissage continu et le méta-apprentissage chez DeepMind, sont les fondateurs d'une startup axée sur le RSI. De nombreuses entreprises utilisent le terme RSI, mais leur définition diffère. Pour nous, le RSI implique que l'optimiseur et l'optimisé sont interchangeables. Beaucoup de ce qui est appelé RSI aujourd'hui est en fait de l'autocatalyse, où les humains utilisent l'IA comme un outil pour développer une meilleure IA. L'amélioration provient toujours du cerveau humain. Historiquement, l'autocatalyse est courante, comme les ordinateurs utilisés pour construire de meilleurs ordinateurs. Cependant, l'idée de cette amélioration vient toujours du cerveau humain, qui n'est jamais l'optimisé. Avec le RSI, le modèle de langage (LLM), le cerveau de l'agent, peut être la chose que vous optimisez, entraînant un réinvestissement composé de l'amélioration cognitive en elle-même. Nous nous sommes attaqués à ce problème difficile car c'est un défi stimulant. Du point de vue de la théorie du contrôle, l'autocatalyse n'a pas de boucle fermée, ce qui signifie qu'il y a toujours un écart que les humains doivent combler. Avec une boucle fermée, les gains marginaux peuvent devenir constants ou augmenter avec le temps. Nous cherchons à améliorer le taux d'amélioration des capacités. Le taux d'amélioration est déterminé par deux facteurs: le numérateur (performance) et le dénominateur (coût ou difficulté). Pour les technologies comme les machines à vapeur, le numérateur était fixe, ce qui entraînait un plateau. Cependant, dans un système où la chose améliorée est également celle qui réalise l'amélioration, le numérateur est corrélé à la capacité. Plus vous êtes bon, plus vous êtes bon à vous améliorer. Mathématiquement, cela peut conduire à une amélioration constante au fil du temps. Si le numérateur est corrélé à une puissance supérieure de la capacité, cela peut même entraîner une "décollage" exponentiel. Il est important de noter que les systèmes de contrôle non linéaires sont complexes, et un "décollage" n'est pas garanti. Spéculer sur ce qui pourrait arriver n'est pas utile; c'est un problème empirique qui nécessite des tests rigoureux. Des problèmes comme le "reward hacking" (piratage de récompense) doivent être gérés. Il n'y a pas de solution analytique simple, car nous n'avons même pas de théorie d'apprentissage pour le deep learning. Les lois d'échelle sont les choses les plus proches que nous ayons, et elles sont empiriques. Notre approche du RSI implique un système multi-agents, pas seulement un agent numérique entièrement automatique. Les chercheurs et ingénieurs humains sont des agents spéciaux dans ce système hybride, qui est amélioré de manière récursive. Nous n'excluons aucun composant de l'optimisation, car toute partie non optimisée deviendra un goulot d'étranglement. Il y a des affirmations selon lesquelles la vitesse d'amélioration de l'IA augmente, comme en témoigne la réduction du temps de sortie des modèles. Cependant, si l'on divise cela par le capital réel levé par les entreprises, le tableau change. Pour nous, le RSI n'est pas une simple amélioration obtenue en injectant plus de ressources. Il faut pouvoir justifier l'amélioration obtenue en incluant tous les efforts humains et les expérimentations dans le dénominateur. Nous suivons méticuleusement les coûts et le temps de chaque expérience. Nous avons un "bleederboard" pour suivre les coûts des expériences. Un exemple de RSI est le nano GPT benchmark, où les gens peuvent entraîner GPT2 en quelques heures sur un seul GPU, alors qu'il fallait des semaines sur plusieurs GPU auparavant. Cette amélioration ne vient pas de la loi de Moore, mais de l'amélioration des techniques algorithmiques, des techniques de données et des noyaux. Ces améliorations proviennent en grande partie de la recherche automatisée. Le coût de formation de GPT2 a considérablement diminué, ce qui n'est pas le cas pour les modèles plus récents comme GPT5, dont le coût augmente. L'un des secrets les mieux gardés de l'industrie est la quantité de calcul que l'on peut tirer d'un système. Améliorer le dénominateur (l'efficacité) est crucial, car cela permet plus de déploiements, un échantillonnage plus étendu de l'espace linguistique et, par conséquent, des modèles plus intelligents. Beaucoup d'articles revendiquant le RSI ne fonctionnent pas à grande échelle lorsqu'ils sont testés en interne. Souvent, ce sont des idées complexes et cool qui ne sont pas assez simples pour être mises à l'échelle. Nous commençons toujours par un cadre mathématique très solide qui cartographie l'ensemble de l'espace. Cela nous permet de ne pas nous perdre dans la complexité. Au lieu de construire 200 systèmes différents et d'espérer que cela fonctionne, nous identifions les abstractions qui généralisent ces 200 choses. Nous cultivons une approche basée sur les premiers principes, en examinant les mathématiques et en identifiant les hypothèses pratiques. Cela révèle que de nombreuses idées sont en fait des sous-classes du même cadre général. Sans un cadre mathématique unifié, la recherche n'est qu'une collection d'idées inspirées par le comportement humain, sans savoir si le système global s'améliore réellement. Nous mettons tous les composants du RSI dans un cadre unifié pour une vue holistique, afin que l'amélioration d'une partie n'ait pas d'impact négatif sur les autres. Par exemple, l'amélioration récursive sur le harnais et les poids n'est pas isolée; ils s'influencent mutuellement. Nous visons à optimiser tous les niveaux de la pile, des prompts aux puces. Nous avons commencé par le harnais, puis les poids, et nous descendons la pile. Nous pensons qu'une co-optimisation de nombreuses parties du système est nécessaire. Notre domaine de problème est l'inférence, car il est très proche de l'IA elle-même et offre des améliorations à la fois au numérateur et au dénominateur. Plus l'inférence est efficace, plus tout se débloque. L'amélioration est double: la capacité du modèle à rendre l'inférence plus rapide, et le fait que l'inférence plus rapide lui permet de faire cela plus rapidement. Cela ne signifie pas nécessairement un "décollage", mais cela a un impact composé. C'est un problème économiquement important car tout le monde veut servir son propre modèle de manière efficace. Notre système n'utilise pas un seul LLM, mais plusieurs LLM pour différentes tâches. Le choix du LLM à utiliser pour quelle tâche n'est pas toujours le nôtre; le modèle lui-même choisit. Nous essayons d'être le plus "hands-off" possible. Même le "master prompt" s'améliore. Mathématiquement, notre système est conçu pour se généraliser à tout domaine de problème où l'IA peut être appliquée. Cependant, il existe des limites physiques, notamment l'élément humain. Nous ne cherchons pas à remplacer les humains, mais à les intégrer comme des agents dans un système multi-agents, car les bons chercheurs et ingénieurs apportent une valeur difficile à remplacer. Nous cherchons à réduire la quantité d'énergie nécessaire au fil du temps par rapport à l'amélioration. Non seulement c'est possible, mais nous pensons que cela se produit déjà: il faut moins d'énergie pour obtenir de meilleurs résultats. Cela ne signifie pas une croissance illimitée, car il y aura des limites physiques, comme la constante de Planck, qui fixeront une borne supérieure à la computation. Notre conviction en l'amélioration autonome des modèles n'est pas une croyance, mais une mesure empirique. Nous voyons des signes de cela se produire. Il est crucial de choisir la bonne métrique pour évaluer les progrès. L'exactitude des benchmarks, par exemple, est limitée à 100%. Nous devons être très bons pour mesurer les choses et identifier le bruit ou le "cherry picking" dans les résultats. Nous avons même un ingénieur dont le travail est de détruire nos résultats et de trouver ce qui ne va pas. Dans les systèmes de contrôle non linéaires, il existe de nombreux comportements dégénérés, tels que les oscillations et le bruit stochastique. L'intelligence n'est pas un scalaire unique, mais un vecteur multidimensionnel. Certains domaines verront un "décollage", d'autres un plateau ou une amélioration lente. Le facteur déterminant est le composant le plus lent, comme le suggère la loi d'Amdahl. Les parties numériques peuvent être accélérées, mais si un domaine implique des interactions avec le monde physique (comme la découverte de médicaments nécessitant des expériences en laboratoire et des essais cliniques), il restera limité par ces processus lents. Nous nous demandons si nous nous rapprochons de la détermination de limites pour l'énergie nécessaire pour résoudre un problème donné. Une blague interne est que le secret du RSI se trouve dans une entreprise de tuyaux d'arrosage au Wisconsin. L'idée est que les vrais défis pourraient exister dans des domaines non conventionnels. En résumé, nous poursuivons le RSI, non pas l'autocatalyse. Le système améliore le système complet, y compris le harnais et les poids. Nous cherchons à améliorer le numérateur (performance) et le dénominateur (coût). Nous pensons voir des signes où les deux s'améliorent simultanément. Nous espérons pouvoir partager plus de détails très bientôt.