LIVE: Sonnet 5.5

Nous sommes en direct. Bienvenue, Tyler. Bonjour à tous. C'est lundi. Joyeux lundi. C'est une autre semaine. On a l'impression d'avoir fait ça la semaine dernière, ce que nous avons fait il y a moins d'une semaine et un nouveau modèle est sorti. Joyeux lundi. C'est le jour du lancement de Sonnet 55. Il y a un autre modèle 0.5 qui est en ligne et oui, nous l'avons essayé pour vous. La première question avec Sonnet est : qui diable utilise Sonnet, car il y a Opus, Fable et Haiku. Alors, pourquoi l'utiliser ? Ce n'est pas le moins cher. Ce n'est pas le meilleur. Pourquoi en avons-nous besoin ? Et c'est intéressant, nous l'avons juste essayé et nous l'avons comparé à l'ancien Sonnet 5, dont nous n'étions pas de grands fans, et personnellement, j'ai été très surpris de la qualité d'un modèle Sonnet. Je pense que le dernier modèle Sonnet 5 que j'ai utilisé était Sonnet 3.5 et 3.5 new, ce sont des modèles incroyables. Et oui, parlons de la façon dont nous l'avons testé, de ce à quoi vous pouvez utiliser Sonnet 5, de ce que cela signifiera, de ce que nous aimons et n'aimons pas. Nous avons une "vibe check" écrite. Elle sortira dans les 30 minutes à une heure, où vous pourrez avoir tous nos avis. Et oui, certains de ces avis sont comme Katie et Mike par exemple, ils disent : "Oui, pourquoi devrais-je utiliser Sonnet 55 si j'ai Opus ?" Ce qui est une très bonne question. Puisque Opus 55 est si bon et même avec moins d'effort, il est très rapide. Alors pourquoi choisir un modèle plus petit plutôt qu'Opus si vous l'avez disponible ? Donc, pour Mike et Katie, la question était : oui, je n'ai pas vraiment d'utilité pour un modèle de cette taille, car Opus est si génial, même s'ils aiment le modèle. C'est leur version, et puis il y a Tyler et moi qui faisons un travail différent. Nous ne l'utilisons pas autant pour l'écriture. Nous sommes des constructeurs, des designers, des ingénieurs. Et oui, je suis curieux Tyler d'entendre votre avis, comment avez-vous utilisé Sonnet 55 et quelles sont vos conclusions, puis je partagerai les miennes après cela. Sonnet 55 a été super impressionnant. J'ai été époustouflé. Je l'ai testé à différents niveaux d'effort : faible, moyen, élevé, très élevé, etc. Et ce que j'ai trouvé, c'est que faible et moyen sont parfaits pour le travail de conception que je fais pour mon travail. Je ne sais pas si j'ai le droit de dire sur quoi nous travaillons encore. Restez à l'écoute, mais vous pouvez le dire, j'en suis sûr. Oui. Eh bien, nous travaillons sur un agent pour tout et une grande partie de mon travail est un tableau de bord qui ne nécessite pas toujours l'intelligence de haut niveau que vous exigeriez d'Opus. Parfois oui, mais souvent, vous n'avez pas vraiment besoin de modèles de très haute qualité, comme les meilleurs modèles de pointe. Donc, quand j'ai testé Sonnet en faible et moyen, j'ai réalisé que c'est en fait un excellent modèle pour mon travail quotidien. Et l'une des raisons est évidemment que c'est une option moins chère qu'Opus, mais c'est aussi rapide. Les niveaux faible et moyen sont rapides, ce qui est vraiment important pour le travail de conception. Vous avez besoin de ces invites rapides et itératives, et il a aussi une sortie étonnamment bonne. J'ai pu le pousser sur des tests de code créatifs. J'ai essayé de faire des jeux avec, ce qui m'a aussi impressionné. Je veux dire, ce modèle, Sonnet 55, fonctionne vraiment bien. Et pour le contexte, j'ai été un abonné Mac, sauf quand j'ai rompu brièvement avec eux après Opus 5. Avant cela, j'étais un abonné Mac aussi longtemps que je me souvienne. Et je n'ai jamais utilisé Sonnet. Je n'en ai jamais vu l'intérêt. Je me disais que j'allais juste utiliser Opus. C'est donc la première fois où je me dis : "Wow". Je peux utiliser Sonnet 55 en faible et moyen pour la plupart de mon travail, économiser de l'argent sur les jetons pour l'entreprise et quand même m'amuser beaucoup en travaillant. Tellement impressionné. Je n'ai que de bonnes choses à dire sur Sonnet 55, surtout en faible. J'ai des points négatifs. Qu'en est-il de l'effort très élevé ? Quelques bonnes choses à dire sur l'effort très élevé. Je pense qu'après le niveau moyen, c'est pourquoi ne pas simplement l'utiliser ? Nous entrerons dans les détails. Oui. Euh, oui. Oui. Trevan dit : "Tu vis à la limite des dépenses d'IA, dépense ces dollars, Tyler." Mais en fait, c'est amusant, parce que je demandais aux gens de faire l'argument d'utiliser un modèle moins cher pour économiser de l'argent, mais ce n'est pas la raison pour laquelle j'utilise ce modèle. Donc, pour ajouter à ce que vous dites, je pense que notre façon de travailler est plus similaire. Je construis aussi des produits. Je ressens vraiment cela comme une extension d'Opus et cela ressemble à Opus d'une certaine manière, mais c'est plus rapide. Et surtout en faible et moyen, je pense que c'est absolument génial. Je pense que si vous allez en élevé, très élevé ou quoi que ce soit d'inutilisable pour moi. Je n'aime tout simplement pas Sonnet là-bas. Cela prend trop de temps. Ce n'est pas assez intelligent pour faire ce dont j'ai besoin. Donc, pour les problèmes difficiles, donnez-les à Opus. Opus est meilleur avec moins d'effort. Donc, je pense qu'il faut utiliser ce modèle en faible et moyen. C'est le point idéal. Surtout avec des choses où vous pouvez simplement faire plus de choses traditionnellement. En tant que dépensiers de jetons, évidemment, nous faisons un million d'expériences et tout ça, mais beaucoup de gens n'ont pas cette disponibilité parce qu'ils ont soit un plan à 20 $ par mois, soit un plan à 100 $ par mois, soit ils sont à court parce qu'ils ont utilisé leurs limites Opus ou Fable. C'est parce qu'ils ont du travail à faire et qu'il n'y a pas de marge de manœuvre pour le plaisir et l'expérimentation. Et je pense que ce modèle vous offre des capacités très similaires à celles d'Opus 55 à bien des égards, ce qui est fou à dire. Opus 5 n'est certainement pas aussi bon, mais il fait beaucoup plus de choses que vous ne le pensez, et surtout dans la conception itérative. Comme ici, où vous êtes dans la boucle. Et j'ai fait cet argument, Katie a dit : "Oui, mais je suis prête à attendre deux secondes de plus pour qu'Opus revienne, parce que c'est un peu mieux." Et oui, c'est un peu mieux, mais si vous faites des mots, c'est assez rapide. Mais si vous faites des conceptions complètes, vous voyez soudainement cette différence. L'itération pour une conception complète, c'est juste plus de jetons que quelques lignes de texte. Donc, je pense que si vous faites un travail comme le logiciel ou la 3D, c'est plus itératif. Oui, consultez leur article de blog pour le prix, mais c'est moins cher, c'est plus rapide et c'est vraiment bien si vous comparez l'un à l'autre. Donc, il n'y a vraiment aucune raison de ne pas utiliser l'IA pour faire beaucoup de choses, même des choses pour lesquelles vous vous dites que ça ne vaut pas la peine d'utiliser l'IA. Je ne vais pas l'utiliser. Maintenant, cela facilitera encore plus l'adoption de plus de choses. Un exemple, laissez-moi juste montrer quelques comparaisons côte à côte et ensuite Tyler fera aussi ses comparaisons côte à côte. Mais je fais tourner LFGbench, qui est un benchmark qui utilise l'ingénierie composée LFG, qui est une invite en un seul coup. Et à gauche, c'est Sonnet 55 en faible, et à droite, c'est Sonnet 5. Évidemment, Sonnet 5 n'est pas capable de faire cela. C'est une réécriture complète de Proof, qui est l'éditeur d'IA que Dan a créé. Et le premier modèle qui a obtenu cela était Opus 5. Le tout premier modèle qui pouvait faire cela sans erreurs était Opus, c'était Fable 5, ce qui est fou que nous ayons maintenant un modèle Sonnet, en faible, qui peut faire en un seul coup ce produit qui fonctionne, ce qui est insensé pour moi. Le Sonnet à l'effort le plus faible peut coder ou exécuter et tout faire, tout vérifier, le faire fonctionner, ce qui est génial. Oui. Et Sonnet 5. Personne n'aime Sonnet 5. Donc, en voici un autre où c'est mon île douillette. À droite, c'est Sonnet 5. Il l'a fait. Et à gauche, c'est 55. Et clairement, c'est juste plus raffiné. C'est mieux. Il y a beaucoup de choses. Oui, ce n'est pas aussi bon qu'Opus et c'est aussi en faible. Si vous allez en très élevé par exemple, c'est déjà mieux. Mais vous pouvez voir à quel point le saut est fou et c'est un saut similaire. Comme ici, vous voyez à quel point c'est déjà mieux si vous allez plus haut. Mais je dirais que le très élevé prend trop de temps. Je pense qu'Opus en faible ou moyen vaut mieux votre argent car il utilise moins de jetons. Mais vous pouvez voir qu'il est très capable et qu'il peut faire beaucoup de choses. Voyons s'il y a des questions. Trevan en a une. Vous ne pouvez choisir qu'un seul modèle pour l'implémentation de fonctionnalités de bout en bout. Quel modèle et quel niveau d'effort choisissez-vous ? Je pense que pour le type de travail où vous ne faites qu'une seule chose, je choisirais toujours Opus. Parce qu'il est si polyvalent. Je choisirais le niveau moyen. Opus Moyen, je pense, est très bon pour cela, mais je pense que ce modèle a sa place lorsque vous êtes plus dans la boucle ou lorsque vous itérez. Et Tyler