
WATCH ME WRITE LIVE WITH CHATGPT VOICE
AI Summary
L'auteur a pris une semaine de congé pour écrire une histoire définitive des codecs et a découvert les avantages de l'utilisation du mode vocal pour l'écriture. Il a décidé de diffuser en direct son processus de travail pour partager cette expérience. L'objectif est d'écrire 500 mots supplémentaires aujourd'hui, en plus des 500 déjà rédigés.
La session d'écriture commence par une relecture de la section précédente. Cette section aborde l'écart entre OpenAI et ses concurrents, notamment Claude Code d'Anthropic, qui a connu une croissance fulgurante. Claude Code a atteint 500 millions de dollars de revenus annualisés en trois mois et plus de 2,5 milliards de dollars en un an, dépassant OpenAI. Pendant ce temps, ChatGPT, malgré 900 millions d'utilisateurs actifs, semblait dépassé. Cependant, OpenAI a fait un retour spectaculaire, avec Codeex dépassant 5 millions d'utilisateurs actifs hebdomadaires avant la fusion, et l'application combinée ajoutant plus d'un million d'utilisateurs par jour. La section se termine en posant la question de savoir comment ce retour a été possible, soulignant la capacité d'OpenAI à se perturber et à réintégrer le perturbateur.
L'auteur note une petite correction à apporter concernant le mot "turbulence" et demande de la noter. Il souhaite ensuite s'inspirer du style de Bill Bryson pour la section suivante. Après quelques tentatives pour trouver un livre de Bryson, l'assistant décrit le style de Bryson : "bavard mais précis, un peu autoritaire mais drôle. Il commence au niveau microscopique, rend un fait concret et absurde, puis élargit l'objectif jusqu'à ce que vous soyez soudainement dans la cosmologie."
L'auteur souhaite appliquer ce modèle à la section sur la "pensée" dans les modèles d'IA. Il commence par la phrase : "Le plus grand retour de l'histoire des affaires commence par quelque chose de simple : la pensée." Il imagine ensuite une exploration de ce que signifie "penser" pour une IA en 2026. L'assistant propose le terme "scintillement" pour décrire l'indicateur de progression visuel lorsque l'IA "pense". L'auteur affine la description : "En 2026, chaque fois que vous interagissez avec un modèle d'IA pour une demande d'une réelle complexité, vous verrez ce mot 'pensée' scintiller dans l'espace où la réponse apparaîtra."
Il compare ce "scintillement" à des indicateurs de chargement classiques comme la "roue de plage tournante" de macOS ou l' "anneau bleu" de Windows, le qualifiant de "remplacement verbeux" qui suggère que l'ordinateur "opère aux limites de sa capacité". Cependant, il insiste sur le fait que "penser" dans ce contexte n'est pas seulement une étiquette, mais dénote un nouveau style de calcul sans lequel Codeex n'aurait jamais vu le jour.
L'auteur demande ensuite à son assistant, ainsi qu'à un sous-agent (GPT 5.6), de décrire ce qui se passe réellement lorsque l'IA "pense", en s'inspirant du style de Bryson. L'assistant propose une description axée sur la décomposition de la requête en nombres et leur traitement par des puces spécialisées effectuant des multiplications matricielles. Le modèle propose ensuite des étapes intermédiaires, comme "inspecter ce fichier, exécuter ce test, essayer cette correction", et peut prendre le temps d'évaluer les résultats avant de répondre. La nouveauté, c'est que la machine peut se permettre de se tromper plusieurs fois avant de donner une réponse finale.
L'auteur n'est pas entièrement satisfait et souhaite une description plus architecturale et physique. Il explique que la nouveauté réside dans le fait que le processus est autorisé à durer beaucoup plus longtemps, permettant au modèle d'explorer différentes voies. Il introduit le concept de "test time compute" (calcul au moment du test), où l'IA génère des "jetons de pensée" (thinking tokens) qui ne sont pas envoyés à l'utilisateur, mais servent de raisonnement interne pour atteindre une meilleure réponse.
La distinction est faite entre la première génération de modèles d'IA qui produisait directement la réponse, et la nouvelle génération qui produit d'abord des jetons de pensée. L'auteur clarifie que l'entraînement en "apprentissage par renforcement" (RL) expose l'IA non pas seulement aux invites et aux résultats, mais aussi à la manière dont les humains résolvent les problèmes, en particulier dans le codage et les mathématiques. L'assistant précise que le RL récompense les réponses ou trajectoires vérifiables, permettant au système d'apprendre des résultats plutôt que des démonstrations. L'auteur et l'assistant discutent de la nouveauté de ces concepts, concluant que la nouveauté réside dans l'échelle et l'accent mis sur la récompense des déroulements multi-étapes sur des tâches vérifiables, et la capacité du modèle à utiliser ce calcul supplémentaire au moment du test.
L'auteur demande ensuite une relecture du texte qu'il a dicté, sans ajout de l'assistant. Le texte est relu, réaffirmant l'idée que le "thinking" de l'IA est un nouveau style de calcul essentiel à Codeex.
Pour la section suivante, l'auteur souhaite une description "à la Bill Bryson" de ce qui se passe lorsque l'IA "pense". Il lit un extrait de Bryson sur la taille d'un proton pour s'inspirer du style. L'auteur identifie l'unité atomique physique que Bryson utilise pour expliquer des concepts complexes. Pour les modèles de langage, il suggère la "multiplication matricielle" ou un "nombre multiplié par un autre nombre" comme unité atomique. L'assistant affine cette idée, suggérant que l'atome matériel est une "multiplication-accumulation" (un nombre multiplié par un autre et ajouté à un total courant), et que l'atome significatif au niveau du modèle est la prédiction du "jeton suivant".
L'auteur demande une explication de la "multiplication-accumulation". L'assistant explique que pour décider du prochain jeton, le modèle multiplie des paires de nombres (représentant la phrase actuelle et les connaissances apprises) et les ajoute à un total courant. Chaque petite opération est une "multiplication-accumulation", et des milliards d'entre elles en parallèle forment une multiplication matricielle.
L'assistant propose une ébauche de texte inspirée de Bryson, commençant par l'unité atomique de la "multiplication et addition", puis élargissant la perspective. Cependant, l'auteur sent que la description s'éloigne de son intention.
Il cite ensuite un passage d'Annie Dillard sur l'écriture comme une ligne de mots qui creuse un chemin. L'auteur transpose cette métaphore aux modèles de langage : le modèle doit avancer, créant une ligne de mots. La question est de savoir dans quelle direction il va. Auparavant, il ne connaissait la direction qu'en écrivant, mais maintenant, il peut essayer de nombreuses directions avant de s'engager. L'auteur cherche à exprimer cette idée de "pas provisoires" ou "imaginaires" que le modèle peut faire.
L'assistant reformule la compréhension de l'auteur : l'unité atomique passe de l'arithmétique à une "étape dans une ligne". La multiplication-addition aide à choisir l'étape suivante. Avant, le jeton suivant était la réponse immédiate. Maintenant, le modèle peut prendre des étapes provisoires, écrire quelque chose, voir où cela mène, et seulement ensuite s'engager sur la ligne finale. L'assistant souligne que le "test time compute" transforme la prédiction du jeton suivant d'un engagement immédiat en un espace pour établir une direction.
L'auteur affine l'idée des "deux sens de la direction" : le temps qui avance jeton par jeton, et la recherche de la direction elle-même dans un vaste espace de continuations possibles. Les mathématiques sont le mécanisme pour "explorer cet espace à chaque étape". Le "test time compute" permet des étapes "tentatives" hors de la ligne publique pour découvrir une direction avant de s'engager.
En s'inspirant de Dillard, l'assistant propose une nouvelle ébauche : "Un modèle de langage trace une ligne comme un écrivain. Un mot à la fois. Impossible de revenir en arrière une fois le suivant posé. Mais la ligne ne connaît pas sa destination. À chaque point, elle fait face à un champ de continuations possibles, cherchant la faible pente qui rend une prochaine étape plus cohérente qu'une autre. L'arithmétique est ce regroupement, ces minuscules mesures d'ajustement. Le raisonnement a donné au modèle un endroit pour faire ses premières marques hésitantes hors de la page avant que la ligne qu'il nous montre ne commence."
L'auteur explore une autre métaphore, celle d'une gymnaste sur une poutre. Elle doit avancer en ligne droite, mais doit aussi réciter Shakespeare ou coder. Chaque pas est une négociation entre l'équilibre, le mouvement, la vitesse et la performance. L'auteur souhaite que les pas soient la cause de la parole, l'output. L'assistant propose que chaque pas active un soufflet qui envoie une respiration à la bouche de la gymnaste, lui permettant de prononcer un mot. Elle ne peut pas s'arrêter, revenir en arrière, ou essayer d'autres versions. Chaque mot est un engagement irréversible.
Après cette exploration métaphorique, l'auteur se sent bloqué et demande un "reset". Il décide de revenir à l'essentiel et d'expliquer le concept simplement. L'assistant relit la section existante. L'auteur cherche un moyen simple d'expliquer le "test time compute".
Il oppose l'ancienne méthode (entraînement long, réponse immédiate) à la nouvelle (temps de réflexion sur un problème spécifique avant de répondre, comme une "feuille de brouillon et une horloge"). Il reformule : "Le modèle ne se contente pas de vous parler en langage. Il peut résoudre un problème en langage avant de vous répondre. Et c'est ce que signifie le calcul au moment du test : payer le système pour qu'il continue à travailler après l'arrivée de votre question."
Les premières générations de modèles de langage sont décrites comme des "processeurs externes". "Ils faisaient leur réflexion en vous répondant." L'auteur précise : "Vous posiez une question et les premiers mots qu'il produisait étaient les premiers mots de la réponse que vous lisiez." Il affine cette idée : "Leur réponse était leur processus de pensée. Chaque mot qu'ils écrivaient était à la fois une tentative de résolution et la réponse qu'ils vous donnaient."
Il utilise la métaphore de l'acteur d'improvisation : "Quoi que vous lui demandiez, écrire un e-mail ou une ligne de code, il devait répondre immédiatement, un mot à la fois, comme un acteur d'improvisation recevant une suggestion du public." L'assistant affine encore : "comme un acteur d'improvisation prenant une suggestion du public. Il devait créer la scène juste devant vous. Pas de répétition, pas de notes, pas de deuxième prise."
L'auteur souhaite une tournure plus percutante et propose : "Ils étaient comme quelqu'un dont le seul bloc-notes était un microphone en direct. Pour résoudre quelque chose, ils devaient le dire là où vous pouviez l'entendre. De cette façon, les premiers modèles de chat étaient comme des acteurs d'improvisation recevant une suggestion du public et forcés de la résoudre en direct sans répétition ni seconde chance." Il ajoute que les résultats étaient "impressionnants et parfois d'un drôle prévisible, alors que ces outils extraterrestres composaient à la volée."
La discussion passe ensuite à la "deuxième génération de modèles de langage" et à l'interface utilisateur "scintillante" de "pensée". Les premiers utilisateurs ont remarqué que si l'on demandait au modèle de "penser étape par étape à voix haute", il arrivait souvent à une meilleure réponse. Cette technique est appelée "chaîne de pensée".
L'assistant insère une description simple de la chaîne de pensée : "cela s'appelait la