AI Breakthroughs Everyone Missed

Cette vidéo présente des avancées récentes dans le domaine de l'IA qui ne font pas forcément la une des grands médias. Elle débute avec Fish Audio et son modèle Drama 3 pour la génération de voix. Contrairement aux systèmes classiques, Drama 3 permet de diriger la performance vocale en langage naturel, d'intégrer des effets sonores précis et de gérer plusieurs voix, le tout avec une qualité de prononciation supérieure même à celle de 11 Labs. Il est disponible en open weight sur Hugging Face, nécessitant cependant un matériel conséquent. Ensuite, le sujet aborde Omnihuman 2.0 de ByteDance, capable de générer des vidéos jusqu'à cinq minutes à partir d'une seule image et d'un fichier audio, avec des améliorations dans la synchronisation labiale et la possibilité de contrôler la caméra. Bien que prometteur, le modèle génère en 720p et soulève des questions sur les deepfakes. La vidéo explore également les "world models" avec Worldcrafter de Tencent Arc Lab, qui améliore la cohérence de la mémoire dans les environnements virtuels. Une autre approche, Matrix Game 4.0, sépare la logique du jeu de la génération visuelle, permettant des sessions plus longues et une meilleure gestion du monde. Enfin, Nvidia Stream Render H3 utilise une approche similaire en se basant sur des cartes de couleur pour la génération en temps réel, mais nécessite du matériel de centre de données. L'article mentionne aussi des outils pour la création de maillages 3D détaillés à partir de photos, l'animation de personnages 3D et un outil non-IA de génération de régions fictives.