Open Source is BACK (Kimi K3.1)

La nouvelle version, Kimmy K 3.1, est arrivée, se présentant comme un modèle de classe Frontier avec trois trillions de paramètres et des poids ouverts. Le créateur de contenu a décidé de tester ses capacités en réalisant une série de démonstrations et en analysant ses spécifications. La première démonstration consistait en une simulation de cube Rubik en 3D. Il a été observé que les modèles à poids ouverts ont souvent du mal avec ce test, manquant de la capacité à simuler correctement la physique 3D des rotations, entraînant des artefacts visuels comme la disparition de couleurs ou des résolutions illogiques. Seuls les modèles propriétaires avaient jusqu'à présent réussi ce défi. Kimmy K 3.1, cependant, a démontré une performance exceptionnelle, produisant un rendu 3D hyperréaliste et précis du cube. La simulation incluait des mouvements fluides, des reflets de lumière réalistes, et même des contrôles clavier pour interagir avec le cube. Le modèle a également montré sa capacité à résoudre le cube en utilisant un algorithme, et non simplement en inversant les mouvements, avec une animation de confettis pour célébrer la réussite. Cette performance a été qualifiée de phénoménale et de l'une des meilleures performances enregistrées. Kimmy a affirmé que le modèle était particulièrement doué pour l'animation et le rendu 3D, une compétence que des modèles comme Opus 5.5 et GPT 6.1 Soul ont également récemment développée, suggérant une convergence des capacités des modèles d'IA. D'autres modèles, tels qu'Argon de Google, ont été jugés bons en modélisation 3D mais inférieurs à Kimmy, tandis que Muse Wonderful Full de Meta, bien que performant, n'excelle pas dans ce domaine, une lacune reconnue par le responsable de l'IA chez Meta. La deuxième démonstration concernait la création d'un rendu 3D WebGL du nouvel iPhone Duo, en visant l'exactitude et le réalisme. Bien que le rendu 3D lui-même ait été jugé esthétiquement plaisant, avec des reflets de lumière réalistes sur les bords métalliques et les objectifs de la caméra, l'exactitude du modèle n'était pas au rendez-vous. Le logo Apple ressemblait à une version caricaturale, et le design général ne correspondait pas à l'apparence réelle de l'iPhone Duo, notamment l'absence de la division de l'écran unifié. Pour tenter d'améliorer ce résultat, une nouvelle requête a été lancée, demandant au modèle de rechercher les spécifications réelles de l'iPhone Duo pour recréer le modèle. Ce rendu 3D initial a pris 28 minutes et 45 secondes, malgré une recherche web effectuée par le modèle. L'utilisation de Kimmy K 3.1 Pro avec un effort de raisonnement élevé a été notée, bien que l'effort maximal n'ait pas été utilisé pour maintenir la cohérence. Une pause dans les démonstrations a été faite pour introduire le sponsor de la vidéo, Code Rabbit. Ce service est présenté comme une solution de sécurité pour le code, particulièrement utile à l'ère de la génération de code par IA. Code Rabbit Security aide à distinguer les risques réels du bruit de sécurité, à visualiser l'impact des changements sur la base de code et à suivre les corrections jusqu'à une solution éprouvée, empêchant la réapparition des problèmes. Une offre spéciale est proposée aux 50 premiers utilisateurs. Le test suivant était une combinaison de plusieurs compétences : modéliser une corde nouée en nœud de cabestan dans Blender. Ce test exige l'utilisation de Blender (contrôle informatique), la recherche web pour comprendre le nœud, une conscience spatiale pour le recréer précisément, et l'exactitude. Le résultat initial a été décevant : bien que la forme générale du nœud de cabestan soit présente, il n'était pas correctement noué et n'était pas attaché au harnais. L'illustration humaine était également jugée étrange, conduisant à un échec de ce test. Ensuite, pour améliorer le rendu du nœud, une requête a été faite pour créer un motion graphic expliquant comment faire un nœud de cabestan. La première tentative, réalisée en cinq minutes et demie, a produit un motion graphic de 28 secondes sans son. Le rendu de la corde était peu clair, rendant difficile la compréhension des étapes de nouage. En comparaison, GPT 6.1 Soul, sur un effort moyen, a produit un motion graphic de 54 secondes, beaucoup plus clair, montrant précisément le passage de la corde sur et sous les autres parties, permettant potentiellement de reproduire le nœud. Il a été noté que Kimmy, tout comme ChatGPT et Claude, avait tendance à inclure des avertissements de sécurité. Une nouvelle requête a été formulée pour améliorer l'esthétique du motion graphic de Kimmy, en demandant un style plus premium et une meilleure visualisation de la corde. La deuxième version a montré une légère amélioration, avec une ombre portée sur la corde, mais la clarté du nouage restait insuffisante pour un apprentissage efficace. Un autre test apprécié était la création d'un clone du jeu "Fall Guys" pour le navigateur. Le modèle a reçu une instruction simple pour rechercher des vidéos et des images du jeu afin de s'en inspirer. Après 48 minutes, "Bean Blitz" a été généré, un jeu de course d'obstacles 3D coloré avec 12 concurrents animés, divers obstacles, des mécaniques de jeu comme le saut et le plongeon, des checkpoints, un timer, et des contrôles tactiles. Bien que le jeu ait été jugé décent pour un modèle à poids ouverts, les couleurs étaient jugées trop pastels, les collisions imprécises et il y avait du scintillement. Le créateur de contenu a ensuite sollicité une refonte de son site web, forwardfuture.com. La version originale a été comparée à la nouvelle version générée par Kimmy. La refonte a respecté les directives de la marque en termes de couleurs et de police, mais présentait des problèmes d'espacement incorrects, donnant une impression générale de design "typique de l'IA" ou "ce que ChatGPT utiliserait". Enfin, une démonstration plus inhabituelle a été présentée : la création d'une vidéo YTP (YouTube Poop) de Theo. Kimmy a généré une vidéo de cinq minutes, orchestrée par une API de génération vidéo, Python pour l'édition et la bande sonore, et FFmpeg pour diverses manipulations vidéo. Il a été précisé que l'API de génération vidéo de Kimmy configurée en V2 avait été utilisée. Bien que la vidéo elle-même soit intentionnellement "garbage" de par son genre, la qualité de sa création a été jugée impressionnante compte tenu de l'objectif. Une difficulté rencontrée avec Kimmy a été sa tendance à nécessiter des instructions plus précises par rapport à d'autres modèles qui font plus d'hypothèses. Par exemple, pour créer un graphique comparant les benchmarks de Kimmy K 3.1 Pro avec d'autres modèles, la première tentative a produit un graphique avec des catégories générales sans noms de benchmarks spécifiques. Une deuxième tentative a listé les benchmarks, mais les chiffres semblaient inventés. Après avoir fourni les chiffres réels des benchmarks publiés par Kimmy, le modèle a finalement recréé l'image, mais de manière peu impressionnante, se contentant de coloriser une image existante. Cela a conduit à l'examen des benchmarks de Kimmy K 3.1 Pro. Le modèle est présenté comme un modèle open weight de trois trillions de paramètres. Il possède un contexte d'un million de tokens, 2,8 trillions de paramètres totaux avec 104 milliards de paramètres actifs (indiquant une architecture Mixture-of-Experts). Il est multimodal (accepte les images, potentiellement la vidéo et l'audio). Il est censé exceller dans le codage de projets complets (jeux Unreal, Unity, GDevelop), la modélisation 3D paramétrique