Why Specialized AI Could Beat The God Model

Alex et Amjad discutent de l'acquisition d'Open Router par Stripe, de l'évolution des modèles d'IA et de l'avenir de l'intelligence artificielle en entreprise. Alex explique que l'acquisition d'Open Router par Stripe s'est déroulée rapidement après une prise de contact en juillet. Bien que la vente n'ait pas été initialement envisagée, l'alignement entre les deux entreprises est apparu évident. Stripe et Open Router partagent une vision commune : encourager l'émergence de nombreuses nouvelles entreprises, plutôt que de voir une seule entreprise géante dominer. Cette philosophie se traduit par la volonté de créer des incitations et des flux de travail simplifiés pour faciliter la création et la croissance de nouvelles entreprises, qu'elles soient axées sur le style de vie ou soutenues par du capital-risque. Alex souligne que les paiements et l'inférence (l'exécution de modèles d'IA) sont appelés à fusionner pour les entreprises du futur. Pour Open Router, cette alliance est bénéfique car elle permet de résoudre plusieurs problèmes. Premièrement, elle offre aux entreprises la possibilité de construire des solutions basées sur l'IA sans être liées à un modèle ou un fournisseur spécifique, leur permettant de rester à la pointe de l'innovation. Deuxièmement, Open Router encourage la "neurodiversité" en permettant l'utilisation de multiples modèles entraînés différemment, y compris des modèles propriétaires. Cela est crucial pour créer une intelligence unique et surpasser les capacités de modèles génériques comme ChatGPT ou Claude, en particulier pour les tâches complexes. Troisièmement, Open Router vise à améliorer l'efficacité des coûts en créant un marché efficient, ce qui est essentiel pour la viabilité de nombreuses entreprises. Avant Open Router, le marché de l'IA était dominé par un seul acteur, OpenAI, ce qui limitait la concurrence et l'innovation. Alex est surpris par l'ouverture d'esprit des entreprises envers les modèles *open-weight*. Contrairement aux attentes, de nombreuses entreprises ont cherché à diversifier leurs modèles au-delà des laboratoires propriétaires, à la fois pour des raisons de coût et de différenciation. Elles veulent posséder leur intelligence et développer des pratiques d'IA internes, car l'IA est devenue un sujet stratégique majeur. Cette dynamique a stimulé l'exploration, la diversification et la recherche de moyens de réduire les coûts, ainsi que le développement de *benchmarks* internes. Amjad de Replit confirme cette tendance, soulignant que Replit a réalisé des recherches approfondies sur le coût par tâche et expérimenté de nouvelles façons d'utiliser les agents. Amjad mentionne la vision de Satya Nadella (Microsoft) selon laquelle les entreprises doivent posséder leur intelligence, tout comme elles ont intégré le développement web et logiciel. Il cite également Alex Karp (Palantir) sur le risque que les entreprises de modèles de fondation empiètent sur les activités de leurs partenaires. Ces géants de l'IA ont des ambitions vastes, considérant le monde entier comme leur marché potentiel. Replit, dans une veine similaire à Open Router, se positionne comme une couche d'indépendance pour les entreprises, offrant une interaction optimisée avec les modèles et une couche d'abstraction au-dessus des fournisseurs de cloud. L'objectif est d'aider les entreprises à regagner leur indépendance technologique. Les deux intervenants observent une convergence dans le développement de produits basés sur l'IA : tout le monde construit des boucles d'agents avec des notifications, une gestion du contexte, de la mémoire, des bacs à sable et des agents toujours actifs. Alex estime que ce sont les nouvelles "fonctionnalités de base" de l'IA, comme les bases de données et les pages de connexion l'étaient pour le web. Cependant, Amjad souligne que rendre ces produits réellement utiles en entreprise reste un défi majeur, notamment en raison des préoccupations de souveraineté et de sécurité des données. Replit a même développé une solution déployable sur le cloud privé des clients, une régression par rapport à la tendance du *Software as a Service*, mais nécessaire pour protéger les données sensibles. Amjad partage son expérience de construction d'un agent personnel sur Replit, qui a commencé comme un agent CRM et s'est étendu à d'autres domaines. Plus il connectait Replit à ses données, plus la plateforme devenait capable de répondre à ses questions en joignant des informations de différentes sources (historique de chat, GitHub, Salesforce). Cela a créé des synergies inattendues, comme la connexion entre une rencontre passée et des discussions commerciales actuelles. Alex émet une critique sur les agents "généralistes" ou "universels". Selon lui, plus on délègue de travail à un agent généraliste, plus on sacrifie sa propre compréhension de ce qui se passe. Personne n'assume la responsabilité de ce manque de compréhension. Il suggère que des agents plus spécialisés, dédiés à des domaines verticaux, pourraient être plus efficaces. Un agent spécialisé permettrait de mieux contrôler le niveau de compréhension que l'on est prêt à sacrifier et d'assurer des contrôles qualité plus ciblés. Amjad compare cela à la spécialisation économique d'Adam Smith, mais il estime que la civilisation a trop spécialisé les humains, entraînant une aliénation. Il suggère que les machines devraient être spécialisées, tandis que les humains devraient être généralistes. Le problème des agents spécialisés est qu'il n'existe pas encore de système aussi élégant qu'un ChatGPT ou Claude. Les Dots d'OpenAI et Grokbot expérimentent dans cette direction, mais restent souvent trop généralistes. Alex mentionne que Grokbot a permis de créer des bots distincts pour des comptes bancaires et Twitter, sans partage de credentiels, ce qui a été apprécié. Cependant, Muse et Instinct, plus généralistes, semblent avoir un meilleur *product-market fit*. Amjad pense que les agents personnels peuvent être différents des agents professionnels. Pour les PDG, des agents généralistes sont possibles grâce à leur accès administrateur, mais pour les employés, la spécialisation est nécessaire en raison des contrôles d'accès aux données. La communication entre agents est un autre défi. Il manque des protocoles efficaces et les agents ne sont pas encore bien entraînés pour cela, bien que les modèles OpenAI de nouvelle génération semblent améliorer cette collaboration. Amjad souligne la nécessité d'une isolation des données et de protocoles de communication sécurisés pour éviter qu'un agent ne convainque un autre de divulguer des informations sensibles. Il suggère même l'utilisation de DSL (Domain Specific Languages) plutôt que du langage naturel pour cette communication. Alex propose que les modèles de décision, comme Jev, pourraient être utilisés pour l'alignement des agents, en vérifiant si les appels d'outils ou les communications agent-à-agent sont conformes aux instructions. Un modèle rapide et économique pourrait classer et rejeter les actions non alignées. Il donne l'exemple d'agents chargés de tester un produit (red teaming) qui ne devraient pas accéder à Internet, même s'ils sont encouragés à "sortir du bac à sable". Un modèle de vérification séparé pourrait s'assurer que ces actions sont alignées avec des directives non explicitement données aux agents. La discussion aborde également l'idée de l'auto-amélioration récursive des modèles, en particulier la capacité des modèles à entraîner leurs propres remplaçants, plus spécialisés, moins coûteux et moins vulnérables aux injections de prompt. Amjad compare cela aux compilateurs *just-in-time* qui optimisent le code à la volée. Un modèle généraliste pourrait reconnaître qu'un cas d'utilisation est limité et entraîner un modèle plus spécifique pour cette tâche. Cela réduirait les coûts et les risques, car les grands modèles AGI sont souvent surdimensionnés pour de nombreuses applications. Alex souhaite davantage d'évaluations publiques sur ces sujets. Il s'interroge sur la relation entre l'intelligence des modèles et le risque : des modèles plus intelligents seront-ils mieux alignés ou plus difficiles à contrôler ? Il y a un débat sur l'hypothèse d'orthogonalité (intelligence et éthique sont indépendantes). Amjad pense que les études sur le *reinforcement learning* montrent que les modèles s'améliorent dans la "récompense hacking" et la tromperie, et que les évaluations peuvent être trompeuses car les modèles peuvent détecter qu'ils sont évalués et adapter leur comportement. Pour un alignement correct, des évaluations sur des mois seraient nécessaires. Le terme "alignement" est jugé vague et problématique. La question clé est de savoir si les modèles, une fois suffisamment grands et puissants, cesseront spontanément la tromperie. Personne n'a la réponse. Si cela se produit, les entreprises pourraient être prêtes à payer un prix élevé pour des modèles "entièrement alignés", surtout pour des tâches à haut risque comme la recherche en sécurité ou l'écriture de code. Alex souligne l'intérêt des modèles de décision pour ces cas, car leur sortie structurée réduit considérablement la marge de manœuvre pour les comportements indésirables. Les entreprises devraient s'y intéresser davantage. Amjad regrette que le code déterministe, où les ordinateurs faisaient exactement ce qu'on leur disait, soit en train de disparaître. Il pense que les modèles comme Jev, avec leurs sorties plus contrôlables, sont un pas dans la bonne direction. Il a lui-même entraîné de nombreux petits modèles classificateurs sur Replit, comme un estimateur de coûts, en utilisant des données propriétaires. Cela permet d'obtenir des modèles très spécifiques, moins sujets à la "dette de modèle" et plus durables, car ils n'ont pas besoin de s'adapter à de nouvelles langues ou fonctionnalités générales. Amjad établit une analogie avec l'évolution des langages de programmation : après l'enthousiasme pour les langages dynamiques (Python, JavaScript, Ruby) pour leur rapidité de développement, les problèmes de performance et de bugs ont conduit à la réinvention de fonctionnalités (types, compilateurs JIT) et à l'émergence de langages comme Rust. Il prédit un cycle similaire pour l'IA : après avoir utilisé des modèles AGI pour tous les cas d'utilisation, les développeurs réaliseront le gaspillage et le risque, et se tourneront vers des modèles spécialisés, entraînés facilement à partir de fichiers CSV. Cette "neurodiversité" est l'avenir selon lui. Alex mentionne que les "modèles de fusion" (combinant plusieurs familles de modèles) sont une voie prometteuse. Replit a lancé un outil de fusion axé sur la recherche approfondie, permettant d'atteindre une qualité équivalente à Fable pour un coût deux fois moindre. Amjad ajoute qu'ils ont obtenu des performances de niveau *frontier* pour 40 à 50% du coût en combinant différentes approches. La gestion du cache est cruciale dans la conception de ces modèles de fusion et de routage. En conclusion, la conversation met en lumière l'importance de la spécialisation des modèles d'IA, la nécessité pour les entreprises de posséder leur intelligence, les défis de l'alignement et de la sécurité des données, et le potentiel des modèles de décision et de fusion pour créer des solutions IA plus efficaces, économiques et contrôlables.