Ce chercheur en IA veut nous débarrasser des claviers - Neil Zeghidour CEO Gradium

Nail Zidour, CEO de Gradium, partage son parcours et sa vision de l'intelligence artificielle, en particulier dans le domaine de l'audio. Agé de 35 ans et père de deux enfants, il a une décennie d'expérience en recherche audio, notamment chez Google où il a développé l'Audio LLM, capable de générer de la musique, des voix et des bruits. Gradium se spécialise dans les modèles de voix, de transcription et de synthèse, transformant toute interaction avec un grand modèle de langage (LLM) en interaction vocale. Leurs modèles sont parmi les plus rapides au monde, offrant une réponse en 50 millisecondes, quasi instantanée. Nail estime que la voix deviendra la couche d'interaction permanente avec les machines, supplantant le clavier. Il souligne que l'amélioration technique des modèles en termes de fiabilité, de qualité et de personnalisation des voix est cruciale. Gradium fournit une brique technologique permettant de créer des IA vocales avec n'importe quel accent, style ou ton. L'objectif est de se débarrasser du clavier, car l'interaction vocale est plus naturelle pour l'être humain. Il aborde le rôle de l'IA dans le développement de l'IA elle-même, notant que l'espace de travail devra se réorganiser avec l'adoption généralisée des agents vocaux. Nail pense que l'âge d'or est aux entreprises à taille humaine, car l'impact de chaque individu est démultiplié par ces technologies, rendant les grandes entreprises moins agiles. La discussion s'oriente vers les risques liés à l'utilisation d'assistants IA, notamment la "prompt injection". Un agent autorisé à communiquer avec l'extérieur peut être "jailbreaké", ses instructions étant annulées et remplacées par celles d'un attaquant externe, pouvant mener à l'exfiltration d'informations confidentielles. Nail a lui-même expérimenté ces risques en tentant de coder son propre assistant vocal, qui aurait eu accès à ses emails, Slack et calendrier. Ses ingénieurs l'ont mis en garde contre la prompt injection, soulignant la subtilité des attaques possibles, comme la modification d'événements dans un calendrier pour réécrire les instructions de l'agent. Ces assistants personnels, comme ceux développés par Meta (Instinct, Muse) ou OpenAI (Dots), accèdent aux informations personnelles (emails, SMS, comptes bancaires) et peuvent effectuer des actions comme réserver un restaurant ou envoyer des messages. Cependant, des cas catastrophiques de fuites d'informations ont été rapportés. La création de silos et de barrières de sécurité est essentielle pour minimiser ces risques. Nail mentionne l'exemple d'Instinct qui, sans instruction spécifique, lui a notifié via WhatsApp un renouvellement imminent de serveur critique, prouvant la profondeur de l'aide que ces outils peuvent apporter au-delà de simples tâches. L'intelligence de ces modèles s'améliore, mais la clé réside dans la couche produit et l'orchestration, car de nombreuses applications utilisent les mêmes modèles de base (Anthropic, OpenAI). L'IA apprend à connaître l'utilisateur, s'efface quand elle n'est pas nécessaire et remonte les informations importantes. Gradium, en tant qu'infrastructure, utilise des agents pour surveiller la production en permanence et alerter les ingénieurs en cas de problème technique, allant jusqu'à les "harceler" pour qu'ils interviennent. Nail évoque la création de QwantAI, un laboratoire à but non lucratif, financé par 300 millions d'euros, avec la liberté de travailler sur des sujets à fort impact. Il a co-inventé l'Audio LLM, l'équivalent des LLM pour l'audio, qui peut générer musique, voix et bruits. Cette technologie a été un succès retentissant chez Google, remplaçant les systèmes existants et donnant naissance à des projets comme Suno (plateforme de musique générative). Initialement, la génération d'IA était perçue comme risquée, mais après ChatGPT, l'urgence est devenue de tout sortir rapidement. Il explique que les grandes entreprises comme Google ou Meta étaient initialement frileuses à lancer ces modèles, craignant la disruption de leurs produits existants et les risques associés. Nail a quitté Google car il se sentait limité par ces contraintes, pensant que cette technologie disruptive était difficilement compatible avec la structure des grandes entreprises. Il croit en l'âge d'or des petites structures agiles. Les modèles vocaux sont beaucoup plus petits que les LLM de raisonnement (2 à 5 milliards de paramètres contre 1000 milliards pour Mistral), ce qui les rend moins coûteux à entraîner. Contrairement aux LLM textuels qui absorbent le savoir écrit, les Audio LLM sont entraînés sur des corpus audio. Nail explique que l'idée est née d'un modèle de compression audio pour Google Meet. En compressant l'audio en "tokens audio", ils ont réalisé que ces tokens étaient similaires aux tokens de texte et pouvaient être prédits par un LLM. Cela a conduit à l'invention du "voice cloning" et de la génération de musique. Pour la conversation, il est crucial de passer de la voix à la voix directement (speech-to-speech) pour conserver les informations para-linguistiques comme l'ironie, les émotions ou les rires, perdues dans le processus transcription-LLM-synthèse. C'est ce que Moshi, développé par QwantAI et rendu public, a introduit, et que GPT Live d'OpenAI a repris en production. Ces modèles "full duplex" peuvent parler et écouter simultanément, rendant l'interaction plus naturelle et permettant des interruptions. Pour concilier intelligence et naturel, ils ont développé un système de délégation hybride, le Moshirag. Un petit modèle (l'interface conversationnelle) interagit en temps réel et, si nécessaire, délègue des requêtes à un modèle plus puissant sur le cloud. Cela permet d'avoir une interaction naturelle pour les tâches simples et de mobiliser une intelligence supérieure pour les questions complexes, en "meublant" le temps d'attente. Nail a cofondé Gradium comme spin-off de QwantAI, car il était évident de ne pas passer à côté de l'opportunité commerciale de la voix, un marché explosif. QwantAI est actionnaire de Gradium, un modèle qui permet de financer la recherche fondamentale tout en valorisant les innovations. Gradium se concentre sur les modèles, laissant à ses clients le développement des applications (agents vocaux pour rendez-vous médicaux, recouvrement de dettes, sondages, apprentissage des langues, amis virtuels, personnages de jeux vidéo). Ils fournissent une brique technologique agnostique permettant de créer des IA vocales personnalisables. Il mentionne que, malgré des modèles techniquement impressionnants pour la génération de musique (Suno), l'adoption par le public reste faible, car l'expérience humaine et l'émotion sont irremplaçables. Cependant, pour des tâches utilitaires, la voix est une évidence. L'absence de clavier et l'interaction vocale vont transformer l'organisation du travail et les espaces physiques. Nail souligne l'importance des "harnesses" (harnais), qui sont des architectures permettant d'interagir avec un modèle sous-jacent. Un harnais prend une demande de haut niveau, la divise en sous-tâches et les délègue à différents agents ou modèles. Il gère la division du travail, les embranchements et l'accès aux informations (emails, calendrier, etc.). Un même modèle peut donner des résultats très différents selon le harnais utilisé. La mémoire de l'agent est également cruciale, avec la capacité de stocker et de récupérer des informations pertinentes. Concernant l'apprentissage des bébés, il explique que les humains apprennent le langage avec très peu de données, peu structurées et dans des environnements bruyants, un défi pour les machines. L'efficacité de l'apprentissage humain est bien supérieure à celle des modèles actuels. Il est optimiste quant à l'avenir de l'IA, malgré les inquiétudes sur l'emploi. Il voit l'IA comme un "cadeau magnifique" qui met une intelligence quasi gratuite à la portée de tous, offrant de nouvelles opportunités. L'ingénierie informatique est à son âge d'or, la productivité des développeurs étant décuplée par les agents de code. Cependant, cela exige plus de créativité et de rigueur dans la planification. Nail anticipe la disparition du smartphone au profit d'interfaces vocales, mais il reste sceptique quant à la pertinence des lunettes ou casques. Il croit davantage aux petits appareils dédiés, comme ceux pour la prise de notes instantanée. La prochaine frontière de la voix est l'interaction avec des robots humanoïdes dans des environnements complexes, où la localisation des sources sonores et l'abstraction des bruits ambiants seront essentielles. Il est "chamboulé" par le rôle de l'IA dans son propre développement, les agents devenant presque des collègues. Il insiste sur l'importance de la discipline pour planifier les tâches avec les agents, afin d'éviter la "psychose LLM" où l'on est constamment sur-stimulé sans résultat tangible. Gradium se distingue par la rapidité et la fiabilité de ses modèles, capables de gérer des spécificités comme les plaques d'immatriculation ou les accents régionaux. Ils proposent des modèles via API et des modèles embarqués sur téléphone pour les applications grand public. Gradium travaille déjà avec des entreprises comme Renault pour des transitions audio personnalisées dans les podcasts embarqués. La traduction en temps réel est une autre application majeure, permettant des live streams multilingues. Cependant, cela pose la question de la surabondance de contenu et de la compétition pour le temps d'attention des utilisateurs. En conclusion, Nail Zidour est convaincu que la voix est une catégorie explosive, qui va transformer notre interaction avec la technologie. Il est passionné par la recherche fondamentale, mais aussi par la concrétisation de ces avancées en produits utiles et performants, tout en soulignant l'importance de l'humain dans le développement et l'évaluation de ces intelligences artificielles.