I Tried Learning AI Video Editing in One Day

L'auteur de cette vidéo entreprend un défi personnel : déterminer si l'intelligence artificielle (IA) peut produire une vidéo de lancement de qualité comparable à celle d'un monteur humain de classe mondiale. Il se donne pour objectif d'atteindre 80 % de la qualité humaine. Ayant lui-même monté des vidéos pendant trois ans, il a une bonne compréhension de ce qu'implique un bon montage. Pour contextualiser, le montage vidéo comprend plusieurs étapes : l'importation des séquences, la suppression des erreurs pour obtenir un montage net, l'ajout du B-roll (enregistrements d'écran, captures d'écran), l'animation du B-roll (zooms, dézooms, transitions), l'ajout de musique de fond et d'effets sonores, et enfin, le facteur de goût pour raconter une histoire cohérente. L'auteur exprime son scepticisme initial quant à la capacité de l'IA à gérer la finesse des coupes, notamment les "coupes A" qui déterminent la fluidité générale d'une vidéo. Il observe que les démonstrations d'IA sur Twitter semblent trop parfaites pour être des créations "en un seul coup" et anticipe que le processus de raffinement des 20 % finaux prendra le plus de temps. La première phase du projet consiste à explorer les outils de montage vidéo par IA disponibles. En utilisant Grock, il identifie trois pipelines potentiels : 1. L'utilisation de Da Vinci Resolve avec une API, complété par Descript pour le montage et Resolve pour les graphismes et la finition. 2. Des outils comme Hyperframes et Remotion, qui génèrent des vidéos entièrement à partir de code, sans nécessiter de séquences filmées. L'auteur décide d'essayer les deux approches en parallèle. Il achète Da Vinci Resolve Studio et installe les extensions nécessaires. Il configure également Claude Code pour les méthodes Hyperframes et Remotion. Un bref intermède publicitaire est consacré à Whisper Flow, un outil de transcription vocale en texte. L'auteur démontre son efficacité en comparant sa capacité à transcrire des messages complexes et à corriger les erreurs par rapport à la dictée intégrée des téléphones. Il souligne la précision de Whisper Flow, même pour des noms propres et des corrections en temps réel, et mentionne son utilisation personnelle intensive. De retour à l'expérimentation, l'auteur lance les processus de montage sur Da Vinci Resolve et Hyperframes simultanément. Il exprime son étonnement si l'IA parvient à produire un résultat satisfaisant du premier coup. Il ajoute également Remotion comme troisième expérience. Les premiers résultats de Da Vinci Resolve sont décevants. L'IA semble rencontrer des problèmes et ne parvient pas à réaliser un montage cohérent, notamment au niveau des coupes de base. L'auteur constate que l'IA ne comprend pas les pauses et les reprises de manière naturelle. Les résultats d'Hyperframes sont plus prometteurs. Une première version silencieuse, bien que "bancale", est jugée impressionnante pour une V1. Une version avec voix et sans visage est beaucoup mieux réussie que celle de Da Vinci Resolve, avec des animations graphiques bien intégrées. La version avec le visage de l'auteur est également jugée "très bien" et "remarquablement impressionnante", dépassant ses attentes initiales. Remotion, quant à lui, offre une interface de montage vidéo directement dans le navigateur, ce qui surprend l'auteur. Cependant, les premiers rendus de Remotion sont "super buggés", avec des problèmes de qualité et des images aléatoires. À ce stade, l'auteur évalue Hyperframes à 7/10, Da Vinci Resolve à 3/10 et Remotion à 2/10 (en raison des bugs, malgré la bonne idée de l'interface). L'auteur tire une première leçon : l'IA ne peut pas simplement prendre 10 Go de séquences et en extraire 45 secondes d'une histoire cohérente de manière magique. Il réalise qu'il est nécessaire de décomposer la tâche en étapes plus gérables. Il identifie deux flux de travail distincts : 1. Une vidéo de lancement purement animée (faceless), avec texte et musique, qui ne nécessite pas de séquences originales. 2. L'édition de séquences originales filmées, qui implique l'importation, le tri du montage A, puis l'ajout du B-roll et des animations. Il envisage un hybride des deux : obtenir un montage A de qualité à partir de séquences réelles, puis y superposer des "plaques de mouvement" (motion plates) générées par l'IA. Ces plaques de mouvement sont définies comme des animations graphiques finies, courtes (3 à 8 secondes), avec zooms, panoramiques et texte intégré, qui peuvent être déposées dans une timeline comme du B-roll. Deuxième apprentissage : apprendre la terminologie professionnelle. En découvrant le terme "plaque de mouvement", il peut demander à l'IA exactement ce qu'il veut, ce qui améliore la précision des instructions. Il se concentre ensuite sur la création de ces plaques de mouvement. Il demande à Hyperframes et Remotion de générer des graphiques animés, sans blocs noirs, en PNG avec transparence, en 4K, et avec une correspondance de fréquence d'images. Il met de côté Da Vinci Resolve pour cette étape. Les storyboards générés par l'IA sont "remarquablement bien", bien que l'auteur émette des réserves sur la police de caractères utilisée. Il apprécie la visualisation des plans avant le rendu complet. Troisième apprentissage : demander à l'IA de montrer le plan (storyboard/planche contact) avant de construire quoi que ce soit, afin de corriger rapidement les erreurs. Les plaques de mouvement générées par Remotion sont jugées "remarquablement bien" et "solides". L'auteur demande ensuite à l'IA d'utiliser des images photoréalistes/générées par l'IA de style UGC (User Generated Content) pour les arrière-plans, afin d'améliorer l'authenticité visuelle. Quatrième apprentissage : si vous voulez une vidéo courte, filmez un script court. L'auteur réalise qu'il est irréaliste de demander à l'IA de condenser 5 minutes de séquences en une vidéo de lancement de 45 secondes sans un script précis. Il demande donc à Claude de lui écrire un script concis basé sur ses propos originaux, puis il le filme à nouveau. Pour le montage du A-roll, il utilise Fire Cut pour Da Vinci Resolve, un outil développé par son équipe. Bien qu'il soit un débutant complet sur Resolve, il parvient à obtenir un premier montage, même si c'est "très approximatif". Il exporte ensuite une transcription propre de cette vidéo. Il utilise la transcription pour demander à Hyperframes et Remotion de générer toutes les plaques de mouvement pour ce nouveau script. Le flux de travail est maintenant clair : montage du A-roll dans Resolve (avec Fire Cut et quelques ajustements manuels), création des plaques de mouvement par Hyperframes et Remotion, puis ajout de musique de fond et d'effets sonores (Epidemic Sound). L'auteur compare les résultats de l'IA avec le montage réalisé par Path, un monteur humain de son équipe. Le travail de Path est jugé "vraiment bien" et très professionnel, illustrant la complexité du montage humain, notamment la gestion des pauses, des transitions et de la cohérence narrative. L'auteur reconnaît que les monteurs humains sont très compétents. Cinquième apprentissage : lorsque votre vidéo est essentiellement du code, changer d'avis ne coûte pas cher. L'auteur teste cette hypothèse en demandant à Claude de mettre à jour les styles et couleurs de la vidéo pour correspondre à un nouveau logo de Creator Grid, un changement qui serait un "vrai casse-tête" avec un montage traditionnel. L'IA gère cette refonte en recalculant les rendus des plaques de mouvement. Les rendus finaux d'Hyperframes et Remotion, avec le nouveau logo et les effets sonores, sont présentés. La version d'Hyperframes est jugée "pas mal", mais l'auteur préférerait des graphiques en "image dans l'image" plutôt qu'en plein écran. La version de Remotion est également "pas mal", mais l'auteur note quelques bugs et un aspect "bâclé" dans les dégradés. Il demande à l'IA de faire des plaques de mouvement en "image dans l'image" pour les deux outils. La dernière version de Remotion est jugée "à 90 % du travail", et l'auteur décide de la peaufiner manuellement pour les derniers ajustements. En fin de journée, l'auteur récapitule ses conclusions. Il avait espéré que l'IA atteindrait 80 % de la qualité des monteurs humains, mais il estime avoir atteint environ 97 %, surtout en ce qui concerne les animations graphiques. Le processus a pris environ 6 heures et n'a coûté que l'abonnement à Claude. Il a désormais un modèle mental plus précis du fonctionnement du montage vidéo par IA et anticipe que cette technologie ne fera que s'améliorer. Il conclut que l'approche "humain + IA" est le juste milieu actuel.