Why AI’s Next Breakthroughs Could Come from Outside the Big Labs

Le podcast aborde la régulation de l'IA, la sécurité des systèmes et l'évolution de l'innovation. Les intervenants soulignent que réguler l'IA trop tôt ne résout pas les risques et qu'il faut d'abord comprendre la technologie. Martine et Aaron discutent du billet de Daario sur la sécurité de l'IA, qui met l'accent sur le sandboxing et les tests. Aaron est d'accord avec la substance du billet, mais s'inquiète de la manière dont il pourrait être utilisé pour justifier un ralentissement drastique de l'IA par la régulation ou des interdictions de centres de données. Martine trouve que le concept de "rythme" est un euphémisme et ne résoudra pas le débat entre les partisans de la pause et les régulateurs. Il estime que les laboratoires devraient aborder directement la question du risque existentiel plutôt que d'essayer de concilier des positions divergentes, ce qui rend tout le monde insatisfait. Martine, ayant travaillé sur des programmes d'armes nucléaires, suggère que si les experts internes aux laboratoires croient réellement au risque existentiel, la solution est la nationalisation et la mise en place de contrôles connus. Si ce n'est pas le cas, c'est un problème de ressources humaines. Il critique l'idée de "rythmer" le développement de l'IA, la qualifiant de "non-sens" car il n'y a pas de calendrier connu pour ce que l'on est censé ralentir. De plus, il estime que la demande des laboratoires de se faire réguler est suspecte. Les intervenants sont d'accord sur le fait que le gouvernement ne cède jamais entièrement aux demandes des parties prenantes et que le compromis est inévitable. Une fois que la régulation de l'IA commence, elle ne ralentira pas. Les prochaines élections pourraient même être un référendum sur l'IA, mais le récit pro-IA est trop complexe et défensif, laissant le champ libre à ceux qui veulent la réguler fortement. Un point crucial est l'absence de position claire des laboratoires sur le risque existentiel. Si les dirigeants admettent un risque d'extinction de 10%, il est négligent pour le gouvernement de ne pas intervenir. Cependant, il est difficile d'obtenir une quantification précise de ce risque. La position officielle la plus honnête serait de reconnaître les risques et les bénéfices de l'IA, et de travailler à atténuer les risques. La discussion s'oriente vers la nationalisation potentielle des industries critiques. Les banques, l'énergie et la santé sont déjà fortement régulées, et l'IA pourrait suivre cette voie, devenant une infrastructure critique. Cela pourrait être une issue plausible pour les laboratoires, même si ce n'est pas idéal pour l'innovation. L'industrie technologique a toujours eu du mal à naviguer dans le climat réglementaire. Des entreprises comme AT&T et IBM, nées de monopoles gouvernementaux, ont été poursuivies pour abus de position dominante. Microsoft a également été confrontée à des poursuites antitrust malgré ses efforts de lobbying. L'exemple de Hollywood s'auto-régulant pour éviter la censure gouvernementale est cité comme un modèle potentiel, mais la proposition FINRA pour l'IA est jugée trop proche de la nationalisation, imposant une surveillance directe. La discussion met en évidence que les régulateurs aiment les "prompts" et les avertissements, comme ceux de la GDPR, qui assignent la responsabilité. L'Europe pourrait prendre la tête de cette approche, n'ayant "rien à perdre", et imposer des avertissements constants aux utilisateurs, rendant l'expérience fastidieuse. Cela pourrait étouffer l'innovation, comme l'ont fait les mises à jour obligatoires et les avertissements incessants dans les logiciels passés. Les intervenants regrettent que le débat actuel ne se concentre pas sur des problèmes pragmatiques de cybersécurité, mais sur des risques existentiels philosophiques. L'histoire montre que la régulation des technologies (automobiles, aviation, produits pharmaceutiques) a toujours suivi l'innovation, et non l'a précédée. Réguler trop tôt, comme le suggère Nick Bostrom, ne résout rien et empêche de comprendre le système. L'innovation de Jeff Dean, qui propose que les LLM ne génèrent pas de texte coûteux mais choisissent la meilleure option parmi un ensemble, est saluée. Cette approche, moins coûteuse et plus précise, est un excellent ajustement pour l'intégration de l'IA dans les logiciels traditionnels. Elle ramène également la programmation probabiliste, un concept des années 60 et 70, au premier plan. Cette nouvelle approche, qui intègre les modèles de langage dans les logiciels traditionnels, déplace le centre d'innovation en dehors des laboratoires, vers l'écosystème plus large. Cela rappelle le phénomène de "sherlocking" chez Apple, où les innovations externes sont intégrées comme des fonctionnalités de la plateforme. Cela indique que l'innovation est désormais possible "autour du modèle", et non seulement "dans le modèle". La discussion se termine sur l'idée que le problème n'est pas une limitation technique, mais plutôt un problème d'utilisabilité. Les modèles de menaces sont bien compris, mais les systèmes sécurisés sont difficiles à maintenir. L'IA pourrait résoudre ce problème d'utilisabilité en aidant à construire des systèmes sécurisés par conception, ce qui pourrait conduire à une renaissance de la conception des systèmes d'exploitation et des réseaux. L'idée d'une menace d'extinction de l'espèce est jugée non-réconciliable avec les propositions de sécurité actuelles. Si un risque non-zéro est admis, la nationalisation devient la seule option. Le vrai problème est la fracture entre les laboratoires et la communauté de la sécurité, qui trouve les rapports de post-mortem des laboratoires "brouillons" et "incomplets". La discussion sur les "canaux cachés" et les "attaques par rayonnement électromagnétique" illustre la sophistication des menaces de sécurité. L'IA, capable de tester toutes ces vulnérabilités rapidement et sans fatigue, soulève de nouveaux défis pour la sécurité des systèmes internes (GitHub, Slack). Une nouvelle couche de sécurité est nécessaire pour suivre les authentifications et les API, nécessitant une réévaluation de chaque couche de la pile technologique. En conclusion, les intervenants estiment que le débat devrait se concentrer sur des risques concrets et des solutions pragmatiques, plutôt que sur des discussions philosophiques sur le risque existentiel.