La fondation de TOUTE l'IA était CASSÉE... PERSONNE ne l'avait vu.

Une percée récente de l'équipe derrière Kimi, l'équivalent de Lia Dipsic, a résolu un problème majeur dans la construction des modèles d'IA. Cette avancée corrige non seulement l'amnésie des IA actuelles, mais introduit également une nouvelle architecture capable de se reconfigurer et d'apprendre de manière dynamique. Depuis 2015, tous les modèles d'IA reposent sur la même fondation, mais cette équipe chinoise a démontré que cette fondation était défaillante. Il s'agit d'une recherche fondamentale qui modifie la conception même des IA, saluée publiquement par des personnalités comme Elon Musk et André Schpati. Pour comprendre cette percée, il est essentiel de saisir le fonctionnement interne d'un modèle d'IA. Un modèle comme ChatGPT est une succession de couches de traitement. Chaque couche analyse l'information de manière de plus en plus abstraite. Historiquement, empiler trop de couches posait un problème : le signal de correction des erreurs, appelé gradient, s'affaiblit à mesure qu'il remonte les couches, rendant les corrections inefficaces pour les premières couches. C'est le problème du gradient qui disparaît. En 2015, les connexions résiduelles ont apporté une solution élégante. Au lieu de forcer chaque couche à transformer intégralement l'information, l'information originale peut contourner la couche et s'ajouter directement à la sortie, créant un "raccourci". Cette innovation a permis de passer de dizaines à des centaines de couches, complexifiant les modèles et leur capacité de pensée abstraite. Tous les modèles modernes, de ChatGPT à Gemini, reposent sur cette brique fondamentale, qui n'avait jamais été remise en question jusqu'à présent. L'équipe derrière Kimi, développée par Moonshot AI, a publié un article scientifique identifiant un défaut fondamental dans cette "autoroute" des connexions résiduelles. Le problème réside dans la manière dont chaque couche reçoit la somme de toutes les couches précédentes, avec un poids égal. La couche 100, par exemple, reçoit la somme des 99 couches précédentes, où la contribution de la couche 1 est aussi importante que celle de la couche 50. Cette addition uniforme et aveugle entraîne une croissance incontrôlée de la somme à mesure que le modèle s'approfondit, noyant les contributions des premières couches. Le signal initial est dilué et quasiment irrécupérable. De plus, les couches tardives doivent produire des signaux de plus en plus forts pour avoir un impact, "criant" pour se faire entendre par-dessus le bruit accumulé. Bien que des tentatives aient été faites pour pondérer différemment les couches (comme MHC de Dipsic), aucune n'a résolu le problème de fond. Ces approches restent prisonnières de la logique selon laquelle chaque couche ne reçoit qu'un seul état compressé, mélange de tout ce qui précède, sans pouvoir accéder sélectivement à une information spécifique dans une couche antérieure. L'intuition brillante de l'équipe de Kimi a été de faire le parallèle avec la résolution d'un problème similaire dans la dimension du temps. Avant les Transformers, les modèles de langage récurrents (RNN) traitaient le texte mot par mot, compressant tout dans un seul vecteur de mémoire. Cette mémoire saturait rapidement, entraînant l'amnésie du modèle qui oubliait le début de la phrase en arrivant à la fin. Les Transformers ont résolu ce problème avec le mécanisme de l'attention, permettant à chaque mot de consulter directement n'importe quel mot précédent et de décider de leur pertinence. L'équipe de Kimi a réalisé que les connexions résiduelles classiques fonctionnent comme des RNN, mais sur l'axe de la profondeur au lieu de l'axe du temps. Chaque couche reçoit un seul état compressé qui mélange tout, conduisant au même problème d'amnésie et de saturation. La solution a été d'appliquer le mécanisme de l'attention à la profondeur du réseau, ce qu'ils appellent l'attention résiduelle. Désormais, chaque couche dispose d'un vecteur de requête appris qui lui permet de consulter sélectivement les sorties de toutes les couches antérieures, de calculer des poids d'attention et de construire son entrée comme une combinaison pondérée et dynamique de ces sorties. En termes simples, chaque couche peut désormais demander : "De quoi ai-je besoin parmi tout ce qui a été calculé avant moi ?" et obtenir une réponse ciblée plutôt qu'un mélange uniforme. C'est une révolution comparable à celle des RNN aux Transformers, mais appliquée à l'intérieur même du modèle. Cependant, un défi majeur subsiste : les modèles d'IA de pointe sont si volumineux qu'ils ne tiennent pas sur un seul GPU, nécessitant d'être découpés et distribués sur plusieurs serveurs. Avec l'attention résiduelle dans sa version simple, chaque couche devrait accéder aux sorties de toutes les couches précédentes, y compris celles situées sur d'autres serveurs, ce qui ferait exploser le trafic de données entre serveurs. Pour y remédier, l'équipe a développé une variante pragmatique : les blocs d'attention résiduelle. Les couches sont regroupées en blocs, et l'attention intercouche ne s'applique qu'entre ces blocs, et non entre chaque couche individuelle. Cette approche rend la solution déployable sur les infrastructures existantes utilisées par les grands modèles comme ChatGPT. Les résultats sont impressionnants. L'équipe a testé sa méthode sur cinq tailles de modèles différentes, comparant la version classique, l'attention résiduelle appliquée à fond, et une version allégée. Les deux versions utilisant l'attention résiduelle apprennent beaucoup mieux, quel que soit le budget. Le modèle avec attention résiduelle atteint le même niveau de performance qu'un modèle classique, mais en consommant 25% de puissance de calcul en moins. Une économie de 25% est considérable, sachant que l'entraînement d'un modèle de pointe peut coûter des centaines de millions de dollars. Sur les benchmarks, les gains sont encore plus probants. Sur le GPQA Diamond (questions scientifiques de niveau doctorat), le modèle gagne 7,5 points (de 36,9 à 44,4). Sur Human Eval (génération de code), il passe de 59,1 à 62,2. Sur le MMLU (connaissances générales), il atteint 74,6%. Ces gains sont particulièrement marqués sur les tâches nécessitant un raisonnement multi-étape, où le modèle doit revenir en arrière et maintenir un fil de pensée sur de nombreuses couches. Sous le capot, l'effet est fascinant. Dans le modèle de base, la magnitude des sorties augmente continuellement avec la profondeur, les dernières couches produisant des signaux disproportionnés. Avec l'attention résiduelle, cette croissance est contenue, le signal reste stable, et les gradients se distribuent plus uniformément sur toutes les couches. Ce n'est plus seulement les dernières couches qui apprennent, mais l'ensemble du réseau. Cette innovation change également les règles de conception des modèles. Historiquement, construire un modèle plus profond était risqué, la performance s'effondrant avec trop de couches. Les chercheurs préféraient des modèles plus larges et moins profonds. Avec l'attention résiduelle, l'optimum se déplace vers des architectures plus profondes et plus étroites. La profondeur ne serait plus une contrainte, mais un avantage. Yang Ziling, le fondateur de Moonshot AI, a présenté ce travail comme faisant partie d'un effort plus large pour refondre des standards techniques vieux de 8 à 9 ans. Ce contexte est important, car les laboratoires d'IA chinois font face à des restrictions d'exportation de puces américaines, ce qui les pousse à innover différemment, en extrayant plus de performance de chaque paramètre plutôt qu'en empilant plus de GPU. Le code est disponible en open source, offrant une implémentation complète et un remplacement "plug and play" pour les connexions résiduelles standard. N'importe quel laboratoire peut l'intégrer dans son architecture existante, ce qui devrait entraîner un boom dans le monde de l'IA open source. Cette percée est élégante car elle ne vient pas d'une complexité ajoutée, mais d'une observation que personne n'avait formulée aussi clairement : les connexions résiduelles étaient en réalité de l'attention linéaire sur l'axe de la profondeur. Comprendre comment l'IA est construite et fonctionne "sous le capot" devient un avantage concret. Ceux qui maîtrisent ces mécanismes seront mieux préparés à exploiter les futurs outils d'IA. Il existe une véritable course à l'armement dans ce domaine, et la maîtrise de ces technologies est cruciale.