Claude Reverse Engineered Two 3DS Games to Add Real 3D

Minecraft sur 3DS n'avait jamais pleinement exploité l'écran 3D stéréoscopique, mais Claude Code a réussi à rétro-concevoir le jeu pour le faire. Le résultat est une expérience confortable, jouable et amusante, qui transforme le menu et le jeu en une véritable immersion en 3D. Cette réalisation est décrite comme la chose la plus proche de la réalité virtuelle que l'on puisse expérimenter sur 3DS. L'idée d'utiliser la 3D sur 3DS était présente lors du développement de Minecraft, mais des défis techniques et des contraintes de temps et de budget ont empêché son implémentation. Le même traitement a été appliqué à Terraria, un autre jeu populaire qui n'avait été publié qu'en 2D sur 3DS, malgré la 3D étant l'argument de vente principal de la console. Le narrateur exprime sa déception d'enfant face à cette lacune. Terraria a non seulement bénéficié de la 3D, mais aussi d'améliorations de performances et d'un support complet du C-stick sur la New 3DS, le tout avec un coût de performance minimal. La prouesse technique est d'autant plus remarquable que l'intelligence artificielle a réalisé toute la rétro-ingénierie, lisant le code machine pour comprendre le rendu des pixels et patchant les jeux en temps réel. Le narrateur avait envisagé ces conversions des mois auparavant, mais ChatGPT avait initialement estimé que cela prendrait des années, semblant impossible. L'absence d'incitation financière rend ce travail rigoureux et chronophage peu attrayant pour les développeurs traditionnels. L'histoire et le processus de Claude sont considérés comme remarquables et démontrent les capacités de l'IA. La vidéo est sponsorisée par AI Cora, un agent cinéma IA qui peut créer des courts-métrages entiers. Le narrateur utilise cet outil pour générer une histoire d'horreur dans les Backrooms, avec lui-même comme vedette. L'agent cinéma gère les scripts, le casting, les lieux, la production, les dialogues et le son, produisant un épisode entièrement monté à partir d'une simple phrase. Le service propose également de créer des séries en continu. Un code promotionnel est fourni pour commencer gratuitement et obtenir des crédits supplémentaires. Concernant la technique d'ingénierie inverse pour Minecraft 3DS, il est révélé que le jeu original possédait un moteur de rendu 3D complet dans son code avant sa mise à jour finale, mais il a été supprimé. Le jeu, avec sa courte distance d'affichage, n'avait pas beaucoup de performances en réserve pour un rendu 3D nécessitant la création d'une deuxième image complète. Claude a effectué des recherches approfondies, utilisant des projets open-source existants pour fouiller le code de Minecraft, en conjonction avec un émulateur et d'autres outils. Le narrateur a testé le jeu et enregistré ses observations, qui ont ensuite été transcrites et utilisées comme invite pour l'IA. Les débuts ont été difficiles, car les plugins fonctionnant sur émulateur ne se chargeaient pas toujours sur le matériel réel, causant des plantages système. Après une variante 3D plate et une petite fenêtre de profondeur, la vraie expérience 3D a été obtenue. La parallaxe complète était impressionnante, mais un problème majeur est apparu lors des mouvements de tête : chaque œil tournait à environ 17 Hz, provoquant une sensation de nausée et un décalage de l'image. Cela pourrait expliquer pourquoi la fonction n'a jamais été implémentée initialement. L'objectif suivant était une 3D confortable et jouable. Une méthodologie a été découverte : au lieu de doubler le coût de rendu du processeur, le plugin prend l'image du GPU pour l'œil gauche et la renvoie au GPU, ciblant l'image pour l'œil droit avec un léger décalage latéral. Le travail du processeur reste presque inchangé, et le GPU, qui avait de la capacité libre, gère le rendu deux fois. La profondeur est obtenue en identifiant les différentes passes de dessin du jeu (arbres, décor, sol, joueur) et en leur appliquant un décalage latéral spécifique, car rien n'était étiqueté pour la 3D. Des optimisations ont été intégrées, comme sauter l'arrière-plan de la grotte hors champ, fusionner les bandes d'arrière-plan et utiliser un éclairage plus rapide, permettant à la version 3D de fonctionner presque aussi fluidement que l'originale. Le mode 2D offre même de meilleures performances. Un menu de plugin accessible via la touche Select offre des options de performance, de débogage et des préréglages de profondeur. Pour Terraria, le processus était similaire, avec des ajustements pour chaque passe de dessin. Les plantages matériels étaient fréquents, l'émulateur masquant des problèmes réels. Un bug a notamment fait noircir l'œil droit, résolu en logeant l'image dans une mémoire vidéo réservée. Le support du C-stick a également posé problème, l'entrée étant "volée" par le framework du plugin, mais une solution a été trouvée. Les tests sur matériel réel ont été cruciaux, révélant qu'un mode de triche "full bright" causait d'énormes ralentissements, tandis que l'éclairage normal permettait d'atteindre 60 FPS. Des erreurs de glitch étranges étaient causées par un booster de couleurs OLED, mais un mode "faux OLED" a été implémenté. L'auto-audit par l'IA elle-même était une partie importante du flux de travail, détectant les bugs avant qu'ils n'arrivent, ce qui contribue à la fiabilité des mods. Bien que le narrateur ne les maintienne pas, ils sont open source et peuvent être forkés. Contrairement à Minecraft, Terraria a bénéficié de nombreuses fonctionnalités supplémentaires, dont le tri des objets (jusqu'à 9999 par pile), une carte qui ne plante plus (libérant sa mémoire à la fermeture) et des couleurs d'interface améliorées. L'ajout de mondes plus grands n'est pas possible en raison de contraintes de mémoire et de l'absence du code source. Les commandes sont personnalisables, incluant le déplacement à la croix directionnelle et divers préréglages de profondeur. Le narrateur préfère désormais la version 3DS de Terraria à la version PS Vita, louant l'intégration réussie de la 3D. Ce projet d'ingénierie inverse avec l'IA a pris entre 12 et 16 heures de développement pur, un temps incroyablement court par rapport aux mois ou années que cela aurait pris sans l'IA. C'est un exemple impressionnant de l'IA résolvant des problèmes du monde réel sans nécessiter de connaissances en codage de la part de l'utilisateur. La légalité de ces mods est soulignée : elle est totale