Cette IA vous coupe la parole (et c'est fait exprès)

L'épisode s'ouvre sur une discussion concernant l'évolution des assistants vocaux, rappelant la démo de Google Duplex en 2018 et leur manque d'adoption généralisée depuis. L'invité, Naël, cofondateur de Gradium, est présenté comme quelqu'un qui pourrait avoir trouvé la "pièce manquante" avec Moshi, un modèle vocal qui imite les imperfections humaines comme les interruptions et les hésitations. L'architecture de Moshi est aujourd'hui largement adoptée par les géants de l'IA. Naël raconte son parcours débutant par des études de mathématiques pour la finance, puis une découverte du machine learning qui l'a détourné de la finance vers l'IA. Il a ensuite effectué un doctorat sur l'apprentissage du langage chez les bébés, comparant l'efficacité de l'apprentissage humain avec celle des machines, malgré un volume de données bien moindre. Il a réalisé ce doctorat entre l'ENS et Facebook, marquant son entrée dans le domaine de la voix. Son expérience s'est poursuivie chez Google, où il a travaillé sur des codecs de compression audio. Il explique qu'un codec compresse l'audio, un signal unidimensionnel, pour réduire la taille des fichiers. Les codecs traditionnels comme le MP3 ou Opus sont basés sur des principes de psychoacoustique définis par des experts humains. Naël a contribué à développer un codec basé sur l'IA, plus coûteux à compresser et décompresser mais offrant une compression plus efficace, exploitable grâce à l'évolution du hardware pour l'IA. Ce travail sur les codecs a mené à un projet de doublage, où le modèle a tellement bien appris la voix qu'il était possible de presque discerner les phonèmes dans sa représentation. Cela a conduit à une "tokenisation" de l'audio, une représentation compressée du son. En entraînant un modèle de langage (LM) à prédire le prochain token audio, ils ont découvert le "voice cloning" et la génération musicale. Cette avancée, non existante auparavant, est considérée comme le précurseur de Suno. Naël quitte Google pour cofonder QAI, un laboratoire à but non lucratif axé sur le dialogue en temps réel et le "full duplex". Il souligne les limites des systèmes conversationnels existants : la latence due aux cascades de modèles (transcription, génération de texte, synthèse vocale), la perte d'informations comme l'émotion et l'intonation, et le caractère "talkie-walkie" des interactions (écoute ou expression, mais pas les deux simultanément). Le "full duplex", en revanche, permet une écoute et une expression continues, simulant la superposition et les "back channeling" (signes d'écoute active) présents dans les conversations humaines. La démo live de Moshi à l'été 2024 a été un moment marquant, présentant pour la première fois une interaction vocale full duplex non falsifiée. Malgré des réactions positives des experts soulignant la prouesse technique, le grand public a parfois eu du mal à comprendre les limites d'un simple chatbot vocal sans connexion à des services externes. L'impact majeur de Moshi réside dans la publication d'un article détaillé et l'open-sourcing du code et des modèles, dont le tokenizer audio est devenu un standard industriel. L'architecture de Moshi est à la base de modèles de nombreuses grandes entreprises d'IA. Fort de ce succès, Naël cofonde Gradium, une entreprise commerciale visant à transformer ces avancées en produits concrets. L'ambition est de devenir le leader mondial des modèles vocaux, en surpassant les performances des acteurs existants sur toutes les tâches. Gradium se distingue par son approche de l'efficience, cherchant à développer des modèles plus petits et moins coûteux à déployer, tout en maintenant une haute qualité. L'objectif est de rendre les produits vocaux économiquement viables et plus rapides, améliorant ainsi l'expérience utilisateur. Naël explique que la voix nécessite une performance en temps réel pour être rentable, notamment pour des applications comme la prise de rendez-vous. L'approche de Gradium combine de petits modèles full duplex pour des conversations naturelles avec la capacité de faire appel à de plus grands LLM pour des tâches complexes nécessitant plus de connaissances. Cette approche hybride permet de conserver la fluidité conversationnelle tout en garantissant la précision des réponses. Il aborde la distinction entre les modèles speech-to-speech (comme Moshi) et les modèles qui s'appuient sur un modèle texte réentraîné. Ces derniers, bien que performants, peuvent perdre en intelligence pour certaines tâches. Gradium se concentre sur la génération de données synthétiques de haute qualité pour entraîner ses modèles, car les données humaines existantes sont souvent limitées ou peu diversifiées. La génération de scripts personnalisés permet de créer des volumes massifs de données audio variées, essentielles pour améliorer la pertinence des modèles dans toutes les situations. Des exemples concrets de produits sont présentés : des démos pour des rendez-vous téléphoniques, des bornes de commande vocales pour la restauration rapide (avec gestion des allergies), des PNJ (personnages non-joueurs) dans les jeux vidéo, des coachs virtuels, et des commentateurs sportifs générés en temps réel. L'interaction vocale est vue comme l'avenir, notamment pour les robots humanoïdes qui devront interagir avec les humains sans clavier. Naël partage sa vision d'une interface future pilotée par des agents, idéalement asynchrone, qui pourrait même devenir le système d'exploitation des ordinateurs. Il décrit un monde où les instructions deviennent de plus en plus générales, les agents gérant les détails et les décisions complexes. La voix devient alors une interface plus naturelle et efficace pour interagir avec ces systèmes. Il évoque les défis de la recherche en audio, soulignant que le dernier kilomètre est le plus ardu et que la qualité audio nécessite une évaluation humaine constante, contrairement à d'autres domaines de l'IA où les métriques automatiques suffisent. Gradium mise sur cette expertise humaine combinée à la technologie pour conserver une avance. Concernant les forces en présence dans l'IA, Naël reconnaît la domination actuelle des laboratoires chinois dans certains benchmarks, tout en saluant leur contribution à l'open source, notamment en texte. Il souligne que dans le domaine de la voix, les modèles chinois s'appuient largement sur l'architecture de Moshi. Il exprime sa confiance dans le potentiel européen, citant Paris comme un centre majeur de recherche en IA, avec la présence de nombreux grands acteurs et de startups prometteuses comme Mistral. Gradium, avec son financement récent de 60 millions d'euros, démontre la confiance des investisseurs dans cette approche. Enfin, Naël évoque l'importance stratégique de développer des modèles d'IA de bout en bout en Europe pour ne pas dépendre des acteurs étrangers, notamment pour des applications critiques dans les domaines de la santé, de la défense ou de l'industrie. Il conclut sur l'idée que l'IA va transformer de nombreux secteurs, et que l'humain, par sa capacité à évaluer et à apprécier les nuances, conserve un avantage structurel dans certains domaines, comme la création artistique ou l'interaction humaine.