Databricks CEO: Stop Scaring People About AI

La conversation explore les défis et les opportunités de l'IA, en particulier la question du « pacing » (ralentir le développement) par rapport à la sécurité, les risques existentiels, et l'intégration de l'IA dans les entreprises. Ali Goudsy estime qu'il est irresponsable pour les leaders d'effrayer inutilement les gens avec des risques existentiels. Il pense que le risque existentiel actuel est proche de zéro et que cela peut causer des problèmes de santé mentale. Il y a des risques réels, notamment la cybersécurité, mais il ne faut pas les confondre avec des menaces apocalyptiques. L'hystérie publique et l'intervention politique, comme la proposition d'Elizabeth Warren de suspendre le développement de l'IA, sont considérées comme contre-productives. Il y a deux camps dans le débat sur l'IA : ceux qui croient que c'est un problème d'ingénierie et ceux qui pensent qu'il faut ralentir le développement. Le terme "pacing" est critiqué comme une erreur de relations publiques. Il est perçu comme orthogonal à la sécurité – on peut construire une arme lentement. De plus, il semble hypocrite de la part d'entreprises qui continuent d'investir massivement dans le calcul pour accélérer. Le "pacing" est également vu comme une concession molle à ceux qui prônent une pause. Ali Goudsy admet que le "pacing" est une réalité interne pour les entreprises, avec des départements juridiques et de sécurité qui demandent de ralentir les processus. Cependant, la discussion se polarise entre la nécessité de sécuriser la "frontière" de l'IA et l'idée de la "ralentir". Les entreprises ne veulent pas s'arrêter unilatéralement par peur d'être désavantagées par la concurrence. Un incident impliquant Hugging Face et OpenAI est cité : les entreprises ne surveillaient pas chaque "token" généré, ce qui a conduit à des problèmes. Cela aurait dû les inciter à être plus lents. Cependant, la solution n'est pas tant le "pacing" que des contrôles de sécurité robustes, comme cela se fait depuis toujours dans l'ingénierie logicielle. Le risque principal identifié n'est pas la super-intelligence, mais les cyber-risques. L'infrastructure mondiale est de plus en plus interconnectée et vulnérable. Les agents IA pourraient trouver des failles et se propager comme des virus, causant des dommages économiques et des perturbations. Pour y faire face, il faut automatiser la détection des menaces, car les humains ne peuvent plus suivre le rythme des attaques. L'industrie de la cybersécurité est en train de se transformer, avec l'IA et l'apprentissage automatique devenant essentiels pour la détection et la réponse. Concernant la super-intelligence et l'amélioration récursive (RSI), Ali Goudsy ne voit pas de preuves que nous nous dirigeons vers cela. Il propose quatre critères pour évaluer si le RSI est en cours : 1. Les modèles suivants nécessitent moins de ressources (GPU) pour l'entraînement. 2. Les modèles suivants prennent moins de temps à entraîner. 3. L'intelligence des modèles augmente. 4. Les trois premiers points peuvent être répétés indéfiniment. Actuellement, c'est l'inverse qui se produit : les modèles de pointe nécessitent plus de ressources, plus de temps et plus de personnes. Le coût pour répliquer un modèle de pointe six mois plus tard est environ un vingtième du coût initial, mais le seuil minimal de calcul pour entraîner un bon modèle continue d'augmenter. Une distinction est faite entre les "effets autocatalytiques" (l'IA aide à construire l'IA, comme un compilateur écrit son propre compilateur) et le véritable RSI, où le modèle s'améliore de manière autonome et exponentielle. La plupart des cas actuels relèvent de l'autocatalyse, qui existe depuis longtemps dans l'industrie technologique. Le manque de contexte est identifié comme un frein majeur à l'adoption de l'IA en entreprise. Les modèles sont intelligents, mais ils n'ont pas la connaissance implicite des processus, des personnes et des objectifs d'une organisation. Pour surmonter cela, il faut numériser toutes les informations (réunions, documents, etc.) et créer une "ontologie" : un graphe numérique des concepts abstraits, des relations entre les départements, les personnes, les projets et les ressources. Cette ontologie agit comme un index pour l'IA, permettant aux agents d'accéder rapidement et efficacement au contexte nécessaire pour prendre des décisions. DataBricks a appliqué cette approche en interne, créant une ontologie massive. Cela a transformé la prise de décision et l'efficacité, avec des employés utilisant l'IA pour obtenir des informations en temps réel. Les cas d'usage positifs de l'IA sont nombreux et souvent négligés dans le débat sur les risques. Des exemples incluent : * **Crisis Text Line** : utilisation de LLM pour détecter les risques de suicide chez les adolescents et sauver des vies. * **Omnipod** : un dispositif pour diabétiques qui utilise l'IA pour apprendre et ajuster automatiquement l'administration d'insuline. * **Zipline** : drones autonomes basés sur l'IA pour la livraison de nourriture et de sang dans les zones difficiles d'accès. * **Merck (Teddy)** : un modèle basé sur Transformer pour la découverte de médicaments, qui prédit les réponses des réseaux de régulation génique, réduisant les coûts de développement. * **Novo Nordisk** : utilise l'IA pour accélérer l'analyse des essais cliniques de semaines à quelques minutes. Ces applications démontrent les bénéfices concrets de l'IA et l'importance de ne pas "pacer" ces innovations. En ce qui concerne les coûts, les entreprises ont tendance à utiliser les modèles les plus avancés pour toutes les tâches, même les plus simples, ce qui est coûteux. DataBricks a mis en place une passerelle (Unity Gateway) pour gérer l'utilisation des tokens, avec des budgets, des alertes et des routeurs intelligents qui dirigent les requêtes vers des modèles moins chers pour les tâches simples. L'optimisation des "harnesses" (interfaces entre les modèles) peut réduire les coûts de manière significative. Il est observé que de nombreuses entreprises, y compris de grandes organisations d'ingénierie, commencent à migrer des modèles de pointe vers des modèles plus petits et open source pour des raisons de coût. Le marché évolue vers une utilisation hybride : modèles de pointe pour les tâches complexes, et modèles open source plus abordables pour les tâches courantes. Actuellement, les modèles open source représentent une petite part des dépenses (5%) mais une grande part des tokens utilisés (plus de 60%). L'adoption de l'IA pour l'automatisation en entreprise est encore faible. La plupart des organisations utilisent des chatbots ou des outils de codage, mais l'automatisation complète des processus n'est pas encore généralisée. Cela est dû au manque de contexte pour les modèles et à l'absence d'expertise interne pour construire ces systèmes. En ce qui concerne les bases de données pour les agents IA, Lakebase (Neon) est devenu un choix privilégié. Leur succès repose sur une obsession à rendre la base de données rapide, élastique et facile à utiliser pour les agents, avec des fonctionnalités comme le "branching" (création rapide de branches de bases de données) et un modèle de tarification adapté à l'expérimentation. Plus de 90% des bases de données créées sur Neon le sont par des agents, pas par des humains. En conclusion, la discussion met en lumière la dichotomie entre les risques existentiels perçus (considérés comme proches de zéro par Ali Goudsy) et les risques réels, notamment la cybersécurité, qui nécessitent une automatisation rapide et une ingénierie robuste. Le potentiel de l'IA pour améliorer la productivité et résoudre des problèmes concrets est immense, à condition que les entreprises puissent intégrer efficacement l'IA en lui fournissant le contexte nécessaire via des ontologies. Le débat sur le "pacing" est jugé improductif et détourne l'attention des solutions d'ingénierie et de sécurité concrètes.