Claude Skill Turns AI Video gens into real playable Games

Ce que vous voyez actuellement est une vidéo générée par IA. Rien n'est réel, il n'y a pas de géométrie physique, et vous ne pouvez pas visiter cet espace. Mais et si c'était possible ? J'ai demandé à Claude de le reconstruire dans Unreal Engine, chaque objet étant généré de manière procédurale à partir de zéro. Le code est le langage d'un ordinateur et peut créer presque tout. Les modèles de langage sont devenus si performants en codage qu'il est désormais possible de prendre une vidéo générée par IA, de la traiter avec un modèle de langage utilisant une méthode spéciale, et d'obtenir une représentation étonnante de cette vidéo entièrement en code. Cette technique est connue sous le nom de "video to GLSL". Une démonstration montre comment une vidéo générée par IA est répliquée si fidèlement que c'en est presque sans voix. Presque chaque détail est reproduit d'une manière ou d'une autre. Ce n'est pas une réplique exacte, mais c'est suffisamment proche. La génération de vidéo par IA est comme un rêve de réalité, et cette méthode transforme ce rêve en réalité. Tous les résultats visuels que vous voyez sont le fruit de calculs mathématiques, exécutés en temps réel dans un navigateur avec seulement 282 lignes de code. Cali a réalisé cela en 2013, soulignant des années de travail pionnier qui permettent à Claude de le faire aujourd'hui. La première étape consiste pour un modèle vidéo à "halluciner" un monde crédible, non physiquement ancré. Il n'a pas besoin de rendre la vraie géométrie de chaque objet physique, il se contente de faire une estimation très convaincante. Cette estimation est si convaincante que lorsqu'un modèle de langage l'exploite pour la recréer dans un environnement codé contraint par la réalité, le résultat procure 80 % de l'excitation de la vidéo IA originale et environ mille fois la praticité. C'est très puissant. Vous pouvez suivre cette méthode chez vous en utilisant Shader Skills de Go, disponible sur GitHub. J'ai utilisé Claude Code avec Opus 5.5. Il suffit de copier le lien GitHub et de demander à Claude d'installer les compétences. Claude reconnaît également Codeex et propose de l'installer. J'ai généré quelques clips avec Cdance 2.5. Le premier est un petit rover qui s'empare d'un vaisseau secret extraterrestre. Mon objectif est de pouvoir conduire le rover, non seulement de créer un shader qui génère une vidéo, mais aussi de le transformer en jeu. Les jeux sont ancrés dans la mémoire, les entrées et les règles. Le plus grand défi est que le shader ne fait que dessiner l'image. Il y a beaucoup d'environnements de base, de géométrie répétitive et de textures simples. Ma prédiction est que le résultat sera très bon. Je suis également curieux de voir ce qui se trouve "derrière la caméra". J'ai utilisé un sous-agent de Claude et j'ai tenté de suivre le coût via l'API. Avec mon plan Claude Max à 80 $ par mois, j'essaie d'obtenir un prix solide pour une conversion de base. Après environ 45 minutes, la démo du rover était prête. Il suffit de cliquer sur play.bat. La démo s'ouvre dans le navigateur, et je peux contrôler le petit rover, avec des sons et un éclairage impressionnant grâce au shader. On peut voir les étoiles et la planète. Je peux interagir avec l'environnement, récupérer la puce et l'insérer dans un dock, révélant une vue de Saturne. C'est une expérience interactive, pas un jeu à 100 %, mais c'est très proche. Il existe également une version cinématographique, aussi proche que possible de la référence. En comparant avec l'originale, le résultat est bon, mais peut-être pas aussi parfait que l'exemple de Go. Cependant, la réplication est très impressionnante. Je me demande si le pipeline GLSL est toujours nécessaire, ou si cette compétence pourrait être appliquée directement à un moteur de jeu comme Unreal Engine 5. Mon intérêt principal étant le développement de jeux, la méthode du shader est logique pour la réplication vidéo avec du code. Je suis sponsorisé par Crusoe Intelligence Foundry, qui offre une mise au point et une inférence sans serveur pour les modèles ouverts, sans avoir à gérer l'infrastructure GPU sous-jacente. Cela permet d'intégrer facilement des modèles open source et de les personnaliser avec ses propres données d'entraînement. Chaque nouveau compte Crusoe reçoit 5 $ de crédits gratuits. Je vais maintenant explorer une nouvelle direction : recréer une vidéo de pirate dans Unreal Engine. Ce "combat de boss" implique un quartier de capitaine sombre et atmosphérique, dans le style de Harry Potter rencontre les pirates, avec des cartes, une bougie, de l'eau scintillante et des nuages. Claude a confirmé que c'est faisable. Nous allons créer une compétence pour cela, en utilisant la même méthodologie sous-jacente pour les détails de surface et l'éclairage, via l'Unreal MCP officiel. Claude me met en garde contre les compromis et les risques liés à l'intégration d'un tel concept dans un moteur de jeu AAA. Contrairement à la méthode du shader, qui est rapide (45 minutes pour la démo du rover), Unreal prendra environ quatre fois plus de temps. L'idée est que ce coût et ce temps supplémentaires seront rentables grâce à une qualité bien supérieure. La méthode du shader est excellente pour l'expérimentation et les mini-démos rapides, mais pour des projets plus importants, une approche plus robuste est nécessaire. La création de la cabine de pirate avec la nouvelle compétence "video to Unreal" a pris environ 2 heures et demie et a coûté environ 35 $. Le résultat est stupéfiant. Il est beaucoup plus proche de la réplication originale, avec de nombreux petits détails corrects. Opus 5.5 est un modèle très puissant. Je peux me promener derrière le comptoir, admirer l'océan (qui est plutôt bien rendu), et les fenêtres, que je pensais difficiles, ont été gérées. Il y a quelques petits défauts de géométrie, mais c'est réparable. L'éclairage capture parfaitement l'ambiance sombre et profonde. Je peux même fermer les portes de la cabine, ramasser des objets comme l'atlas et le journal du capitaine, qui sont générés de manière procédurale et réagissent naturellement à l'éclairage. Les textures du bois sont surprenantes. Je peux souff