Why World Models Could Change Robotics, 3D, and Creativity

Dans cette vidéo, les intervenants présentent Atlas, un nouveau modèle de langage du monde qui révolutionne la génération, la reconstruction et la simulation d'environnements tridimensionnels. Contrairement aux modèles précédents qui se concentraient sur la prédiction du prochain token (pour les LLM) ou de la prochaine image (pour les modèles vidéo), Atlas innove avec la "prédiction de nouvelle vue". Cette capacité fondamentale permet de générer des images vidéo à partir de n'importe quelle perspective, en fournissant simplement une image et une trajectoire de caméra. Atlas excelle également dans la reconstruction 3D à partir d'un nombre limité de vues (jusqu'à 100), qu'il s'agisse de générer une nouvelle vidéo en survolant l'espace reconstruit ou de produire une reconstruction 3D explicite. L'une des applications les plus spectaculaires d'Atlas est la création de vidéos "bullet time", inspirées du film Matrix. Auparavant, de telles scènes nécessitaient des centaines de caméras et des studios sophistiqués. Avec Atlas, il suffit de trois caméras (même des smartphones) pour capturer une scène, puis de la recréer avec des mouvements de caméra complexes et des arrêts sur image, comme si le temps était figé. Cette prouesse est rendue possible par la capacité d'Atlas à comprendre le contexte spatial de chaque image d'entrée. Ce qui distingue Atlas des autres modèles de "monde" ou de "vues multiples", c'est son ancrage spatial. Chaque image fournie au modèle est associée à une pose de caméra tridimensionnelle, ce qui garantit une précision de reconstruction exceptionnelle. Atlas ne se contente pas d'interpréter des images de manière vague ; il reproduit fidèlement l'environnement tel qu'il est vu, sans deviner les relations spatiales. Cette approche permet également des reconstructions créatives et dirigées, où les vues d'origine sont positionnées et mises en scène pour créer des vols à travers l'espace, avec un contrôle précis sur la caméra et le contenu. Atlas représente une avancée architecturale majeure car il intègre la génération et la reconstruction de manière conjointe au sein d'un même modèle. Historiquement, ces domaines étaient séparés, la reconstruction étant un sous-domaine de la vision par ordinateur et la génération étant le domaine des modèles texte-vidéo. Atlas unifie ces deux aspects, permettant à la fois de créer des mondes imaginaires et de reconstruire fidèlement des environnements réels. Pour y parvenir, Atlas a été conçu dès le départ comme un modèle multimodal natif, capable de traiter nativement le texte, les images, les vidéos, les poses de caméra, et même la 3D (sous forme de cartes de profondeur). Cette multimodalité native, y compris la prise en compte de la 3D comme modalité, est une première dans la pré-formation des modèles. L'équipe de World Labs a passé deux ans et demi à développer Atlas. Leur précédente réalisation, le modèle "Marble", se concentrait sur la génération de mondes 3D sous forme de "Gaussian splats". Bien que utiles pour le rendu sur des appareils mobiles ou VR, les Gaussian splats représentaient une limitation. Atlas a été repensé pour adopter la prédiction de nouvelle vue comme primitive fondamentale, permettant de générer des images RGB, de la 3D, et potentiellement des Gaussian splats si nécessaire, sans être bloqué par cette dernière représentation. Le développement d'Atlas a également nécessité de suivre une "échelle de mise à l'échelle" (scaling ladder), c'est-à-dire de réaliser des expériences plus petites avec des modèles plus petits pour valider les hypothèses et la faisabilité avant de passer à des modèles plus grands. L'équipe a dû surmonter l'incertitude concernant l'approche optimale pour produire de la 3D : synthèse de vues multiples puis construction 3D, ou approche directe vers la 3D. L'intuition du créateur de NeRF, Ben, sur le potentiel de la reconstruction "dense" à petite échelle a été une étape clé. La distinction entre reconstruction "dense" et "sparse" est importante. La reconstruction dense, traditionnellement utilisée en imagerie scientifique ou médicale, nécessite un très grand nombre de vues (centaines, voire milliers) pour capturer chaque détail d'un objet ou d'une scène. Cela rend le processus laborieux et chronophage pour un utilisateur lambda. Atlas vise à réduire drastiquement ce besoin, en proposant une reconstruction "sparse" (à partir de quelques vues seulement, comme 3 à 50 images), ce qui représente une réduction de 50 à 100 fois par rapport aux méthodes denses. Cela ouvre la possibilité de reconstruire des environnements à partir de vieilles vidéos, d'images trouvées sur internet, ou de captures faites avec peu d'efforts. Atlas combine la génération et la reconstruction car la reconstruction seule, même avec de nombreuses vues, laisse des "trous" dans les zones non visibles. Pour combler ces manques, une capacité générative est nécessaire pour imaginer et remplir ces espaces, en se basant sur ce qui est visible. Atlas agit ainsi comme un pont entre la génération et la reconstruction, en utilisant les vues fournies pour trianguler les points visibles et en générant les informations manquantes. Cette approche est comparée à l'augmentation de la longueur de contexte dans les LLM ; plus on fournit d'informations (vues), plus la reconstruction est précise. La capacité d'Atlas à intégrer un grand nombre d'entrées (jusqu'à 64 images pour un survol de maison) tout en maintenant la cohérence spatiale et la qualité est une avancée majeure par rapport à Marble, qui était limité à quelques images. Atlas permet de réduire le nombre d'images nécessaires pour une reconstruction de haute qualité, rendant ainsi le processus plus accessible. La question de la cohérence 3D est centrale. Atlas assure cette cohérence en traitant la prédiction de nouvelle vue comme une primitive fondamentale, potentiellement une approche "AI-complete". Cela signifie que si l'on peut résoudre ce problème dans sa généralité la plus large, on peut potentiellement résoudre n'importe quel problème d'intelligence. L'analogie est faite avec la prédiction du prochain token pour les LLM, qui est considérée comme AI-complete. L'équipe était convaincue du potentiel du projet, bien que le niveau de qualité et la rapidité d'atteinte aient dépassé leurs attentes. Le développement a été limité par la puissance de calcul (compute), chaque augmentation de la taille du modèle et de la durée d'entraînement ayant conduit à des améliorations significatives. Une anecdote clé concerne un test matinal où une reconstruction sous une table de jardin (une scène célèbre du papier NeRF) a été réussie, scellant la décision de construire le modèle tel qu'il est aujourd'hui. Concernant les cas d'utilisation, Atlas s'adresse particulièrement aux créatifs, déjà utilisateurs de modèles comme Marble pour la cohérence des générations 2D, 3D, et vidéo. Atlas permet une synthèse de vues plus précise et contrôlée, répondant au besoin de construire des mondes 3D cohérents, un aspect crucial pour les films, les jeux, ou les prises de vue marketing. L'édition et le contrôle des éléments dans la scène, ainsi que la manipulation du temps, sont des axes de développement futurs. Au-delà des créatifs, Atlas a des implications pour des secteurs comme l'architecture et la construction, où la conception virtuelle est une étape laborieuse. L'interface utilisateur et l'interaction avec des modèles 3D complexes pourraient être radicalement améliorées. Dans le domaine de la robotique, Atlas est une pièce maîtresse. L'acquisition de l'entreprise Scenix (maintenant l'équipe robotique de World Labs) a apporté une technologie clé de "real-to-SIM" (du réel au simulé) et "SIM-to-real" (du simulé au réel). Le problème majeur en robotique est la collecte de données pour entraîner des politiques robotiques. La reconstruction de scènes réelles pour des simulations est un processus lent et laborieux. Atlas accélère considérablement cette étape, permettant une meilleure "randomisation" des conditions de simulation (par exemple, variations dans la forme ou la couleur des objets). Le potentiel d'Atlas pour la robotique ne s'arrête pas là. Il pourrait devenir un composant pour des "simulateurs neuronaux" capables de comprendre comment le monde réagit aux actions, ouvrant la voie à des planificateurs qui ne se contentent pas de générer des mondes, mais aussi de les simuler et de planifier des actions dans ces mondes. Bien que la version actuelle d'Atlas se concentre sur la génération d'images spatialement cohérentes et statiques, la dynamique ("dynamics") est déjà présente à un niveau embryonnaire (vagues, mouvements de voitures dans des vues aériennes). L'architecture d'Atlas supporte nativement la dynamique, et l'équipe envisage d'améliorer considérablement cet aspect. L'idée est que même pour obtenir des sorties statiques, exposer le modèle à la dynamique dans les données d'entraînement peut être bénéfique. La question de la "4D vidéo" (vidéo avec mouvement) est abordée, suggérant que le modèle pourrait évoluer pour permettre de se déplacer dans des environnements dynamiques. Les futures directions incluent l'amélioration de la multimodalité et du contrôle. L'editabilité (la capacité d'éditer et de modifier facilement le contenu généré) est considérée comme la clé. L'objectif est d'ajouter des contrôles précis sans compromettre la qualité visuelle, afin que les modèles puissent être utilisés de manière industrielle. Cela inclut le contrôle de la mise en scène, de l'identité des objets, et du temps. L'équipe est motivée par l'idée de construire des systèmes qui permettent de repenser l'interaction avec les mondes 3D, en offrant toutes les capacités nécessaires pour bâtir de tels systèmes. Le concept d'"AI completeness" est évoqué, suggérant que la prédiction de nouvelle vue pourrait être aussi fondamentale que la prédiction de prochain token pour les LLM, ouvrant la voie à une intelligence spatiale générale. En conclusion, Atlas représente un saut qualitatif majeur dans la capacité des IA à comprendre, générer et interagir avec le monde physique, en unifiant la génération de pixels contextualisés et la reconstruction spatiale précise.