GPT-6 Astra vs Fable 5.1 : qui est le meilleur pour vos projets ?

Hier soir, une expérience a été menée pour comparer les performances de GPT-4o (identifié comme GPT6 Astra dans le transcript) et de Fable 5.1 sur cinq projets différents, avec un budget limité. L'objectif était de déterminer si GPT-4o, récemment sorti et acclamé, justifiait son potentiel. Les projets choisis étaient de véritables cas d'usage, et non des exemples simplifiés. Le premier projet consistait à recréer l'application Notion. Les deux modèles ont reçu le même prompt, avec un niveau d'effort élevé et l'instruction de travailler seuls, de documenter leurs décisions, et de s'arrêter uniquement lorsqu'ils auraient terminé. Fable 5.1 a terminé le premier, en environ 10 minutes. Le résultat obtenu par Fable présentait une interface utilisateur très similaire à Notion, avec la possibilité d'ajouter des éléments et d'utiliser la fonctionnalité de "slash" pour insérer des blocs. La création de nouvelles pages via des crochets doubles fonctionnait également. Cependant, certaines fonctionnalités comme les onglets n'étaient pas implémentées, et les raccourcis clavier présents dans Notion manquaient. L'upload d'images n'était pas fonctionnel, bien que le déplacement et la suppression de blocs fonctionnaient. GPT-4o, quant à lui, a pris plus de temps mais a produit une interface utilisateur plus élaborée, incluant un mode clair et sombre, et une meilleure gestion des listes à cocher. L'upload d'images était fonctionnel, et le modèle a même créé un guide des blocs. Bien que GPT-4o ait semblé "halluciner" en ajoutant des éléments non demandés comme des dossiers ou des espaces, le résultat visuel était jugé plus attrayant. En termes de coût, Fable 5.1 aurait coûté 7,75 dollars via API, tandis que GPT-4o aurait coûté 6,03 dollars. La conclusion pour ce projet était que Fable avait mieux respecté la demande de clone de Notion, mais GPT-4o offrait un résultat visuellement supérieur malgré des ajouts non sollicités. Le deuxième projet impliquait la création d'une carte 3D interactive d'Annecy dans un navigateur. GPT-4o a terminé en 20 minutes, tandis que Fable 5.1 a mis environ 25 minutes. La carte de Fable était impressionnante, avec des fonctionnalités de zoom, de déplacement et des annotations. Les ombres étaient bien gérées, mais les bâtiments étaient jugés un peu carrés. GPT-4o a produit une carte plus qualitative, avec une meilleure gestion des ombres, des bateaux animés, et des bâtiments moins carrés. Le coût pour Fable aurait été de 16,61 dollars, contre 6,30 dollars pour GPT-4o. Dans ce cas, GPT-4o était clairement le vainqueur en termes de qualité et de coût. Le troisième projet visait à moderniser la page de vente d'une formation en ligne. Fable 5.1 a mis 11 minutes et coûté 6,46 dollars. Le résultat était une page améliorée mais manquant de qualité, avec une vidéo non en autoplay et l'oubli de certains éléments comme des gifs. GPT-4o a pris 19 minutes et coûté 5,26 dollars. Il a généré un logo différent, mais a mieux géré la vidéo, le copywriting et surtout a détecté qu'une offre spécifique n'était plus valide, ce qui n'avait pas été le cas avec Fable. GPT-4o a donc été préféré pour ce projet, jugé plus proche d'être mis en production. Le quatrième projet consistait à développer une application mobile native pour iPhone permettant de scanner des notes de frais et d'en extraire les informations via IA. Fable 5.1 a créé une application basique en 5 minutes pour 4,37 dollars, mais l'interface utilisateur était jugée "dégueulasse" et le fonctionnement reposait essentiellement sur le LLM. GPT-4o a développé une application bien meilleure, avec une interface plus soignée, la détection de catégories, et une extraction d'informations plus précise, même sur des tickets de caisse complexes. Bien qu'ayant coûté 10 dollars et pris plus de temps, la qualité de l'application GPT-4o était jugée largement supérieure. Le cinquième et dernier projet demandait la création d'une vue éclatée 3D d'un MacBook Pro avec composants annotés. Fable 5.1 a mis 18 minutes et coûté 10 dollars, produisant un modèle 3D non réaliste mais avec une fonctionnalité intéressante : cliquer sur un composant affichait des informations. GPT-4o a pris 19 minutes et coûté 4,76 dollars. L'animation de démarrage était moins présente, et l'écran n'était pas un écran Apple. Cependant, le modèle a fourni une fiche technique détaillée et une vue d'ensemble de l'ingénierie. Malgré la différence de prix, la qualité globale de l'application Fable a été jugée supérieure dans ce cas. En conclusion générale, GPT-4o (Astra) a été préféré dans la majorité des cas pour sa qualité visuelle, sa capacité à prendre des décisions de conception plus pertinentes, et son coût souvent inférieur malgré un temps de traitement parfois légèrement supérieur. Il semble exceller dans les détails et la production de résultats plus aboutis, même en "one-shot". Fable 5.1, bien que parfois plus rapide, a souvent produit des résultats moins raffinés ou moins précis par rapport aux attentes. L'auteur envisage de passer plus de temps sur GPT-4o pour ses futurs projets en raison de la qualité et de l'efficacité démontrées.