OpenAI’s Codex Workflows for Knowledge Work

La combinaison de ChatGPT, Codex et GPT 5.6 est considérée comme la référence en matière de travail de connaissance, offrant un mélange optimal de puissance, de performance, de convivialité et de rapidité, la rendant idéale pour le travail collaboratif. Dom et Roman d'OpenAI ont présenté ces avancées. GPT 5.6 Soul, le nouveau modèle de pointe, est désormais disponible pour tous. L'utilisation de Codex a explosé, non seulement pour le développement logiciel, mais aussi pour toutes les tâches liées au code. Toutes les équipes d'OpenAI, de la finance au recrutement, l'utilisent quotidiennement. Le modèle offre une intelligence de pointe pour le codage et le travail de connaissance. Pour faciliter l'accès, une interface simplifiée, Chat GPT Work avec un nouvel agent de travail, a été développée. Elle permet de connecter tous les outils et services quotidiens, transformant l'ordinateur en un environnement de travail unifié. Pour les utilisateurs de Codex, l'expérience reste la même, avec un espace dédié dans l'application ChatGPT. Les ingénieurs peuvent continuer à utiliser Codex pour les tâches non-codage, comme la rédaction de documents ou le suivi de projets. L'intégration de ChatGPT et Codex permet de fluidifier le processus, passant du brainstorming et de la recherche profonde avec ChatGPT à la construction directe avec Codex, sans copier-coller. Il n'y a pas lieu de s'inquiéter du basculement entre les onglets ; les deux environnements sont interconnectés et les changements sont synchronisés. De nouvelles fonctionnalités sont régulièrement déployées pour les développeurs, incluant Soul Ultra pour les tâches ambitieuses, l'édition de code en ligne et la révision de PRs directement dans l'espace Codex de l'application Chat GPT. Une tendance croissante est celle des "boucles" où les développeurs construisent des systèmes qui effectuent le travail, plutôt que de le faire eux-mêmes. Avec le nouveau modèle, ce type de flux de travail est désormais accessible aux non-développeurs, permettant de déléguer des tâches et de tirer parti d'une plus grande autonomie. Bien que cela demande du travail pour configurer les boucles, le gain de temps est considérable. Par exemple, des tâches comme la gestion des e-mails peuvent être entièrement automatisées. Le modèle 5.6 est intrinsèquement plus autonome. Avec l'utilisation d'extensions comme "Computer Use" pour Chrome, il peut accomplir des tâches de bout en bout, vérifier son propre travail, même pour des tâches complexes. Il peut exécuter plusieurs tâches en parallèle sans nécessiter une surveillance constante. Il ne s'agit pas nécessairement d'une "boucle" au sens strict pour l'utilisateur, mais le modèle vérifie naturellement son travail. En démonstration, Roman a montré comment le modèle a revampé la documentation de Codex, transformant des captures d'écran en HTML interactif. Plus impressionnant encore, il a montré la nouvelle fonctionnalité de visualisation, où le modèle a recréé des éléments interactifs complexes à partir d'une vidéo. Le modèle a inspecté la vidéo via une extension Chrome, identifié les éléments clés, capturé des images et compris les interactions pour reconstruire entièrement la visualisation. Cette capacité d'autonomie du modèle soulève la question de la compréhension par l'utilisateur de ce que le modèle a fait. La capacité du modèle à raconter des histoires de manière visuelle est un atout majeur pour cette compréhension. L'ADN d'OpenAI, axé sur la recherche et le déploiement, vise à rendre l'intelligence de pointe utilisable. Le "harness" de Codex, open source, permet au modèle de travailler de manière fiable et d'expliquer son travail de manière agréable. La fonctionnalité "Computer Use" de GPT 5.6 est révolutionnaire, permettant au modèle de naviguer dans les applications ou les onglets Chrome avec ses propres curseurs, tout en déléguant des tâches même imprécises. Une autre fonctionnalité est le "site chat" via l'extension Chrome, qui permet d'ouvrir un chat directement dans le navigateur, connecté à l'application Chat GPT, et d'accéder aux fichiers locaux pour interagir avec le contenu web. Les modèles ont atteint un niveau de capacité tel qu'aucune idée n'est impossible. Il est conseillé de leur confier les projets les plus ambitieux et les problèmes les plus difficiles. Kyle Cobber d'OpenAI témoigne de son expérience. Il n'était pas ingénieur logiciel, mais depuis février, il effectue des tâches d'ingénierie logicielle en intégrant Codex dans ses flux de travail. Il considère Codex comme son système d'exploitation. Pour lui, la fusion de Codex et Chat GPT Work offre à tous un aperçu du potentiel de Codex, même pour les non-développeurs. Codex est proactif, s'intégrant à tous les systèmes (Slack, Gmail, Outlook, suite Microsoft, Google Slides) pour collecter du contexte. Chaque matin, il vérifie les canaux Slack, identifie les retards potentiels, fournit du contexte et des liens vers Codex, et pré-rédige des documents. Cela permet de rester constamment connecté et informé. Il peut également analyser les commentaires dans les fichiers de prévision et les documents G Suite, aidant à l'audit et à la rédaction. Codex atteint 70-80% d'automatisation au début, puis 90% après quelques semaines ou mois d'utilisation, car il apprend le style de l'utilisateur. Kyle donne un exemple concret de son utilisation en finance. Chaque mois, le calcul de la consommation informatique est très complexe, impliquant des utilisateurs internes et externes. Il n'existait pas d'application logicielle pour visualiser cette hiérarchie. Ils ont donc construit leur propre solution avec Codex. Codex aide à la clôture des comptes avec l'équipe de comptabilité informatique et effectue des allocations en arrière-plan. Il peut interagir avec différentes sources de données, qu'elles soient dans un data lake, un G Sheet ou Excel. Auparavant, ce processus d'allocation prenait deux jours à l'équipe de comptabilité et quelques jours à l'équipe de Kyle pour auditer les détails. Le processus impliquait de l'exportation de données vers des G Sheets, puis vers des diapositives. Maintenant, ils passent directement du data lake à une application personnalisée hébergée, construite avec le produit "Sites". Cela a réduit le processus de cinq jours à cinq heures. Ce n'est pas parfait et cela a demandé beaucoup de travail pour le construire. Il ne suffit pas de "one-shotter" un flux de travail entier. Mais on peut l'enseigner au modèle sur une période d'une ou deux semaines. Le processus s'améliore à chaque exécution mensuelle. Les apprentissages sont codifiés, le modèle acquiert des compétences. Ils appliquent maintenant cette approche à d'autres domaines de l'entreprise. Kyle, en tant que financier, fait de l'ingénierie logicielle et améliore le produit pour son équipe et les utilisateurs externes. Kyle a construit cette solution avec Codex en dehors de ses heures de travail normales, pendant environ un mois. Après quelques mois d'utilisation, le système est stable, atteignant 95 à 98% d'automatisation, ne nécessitant qu'une finalisation qualitative. Il souligne que l'on peut construire tout ce que l'on peut imaginer. Le tableau de bord qu'il a créé comprend un onglet de présentation avec une vue hiérarchique de l'informatique, des informations sur l'impact sur le compte de profits et pertes, et des détails spécifiques sur les GPU. Comme il a toutes ces informations et a construit le backend de l'ensemble de données, il peut prendre une excellente première initiative sur le côté qualitatif des diapositives de clôture. Ces diapositives sont virtuelles, intégrées au tableau de bord, remplaçant les diapositives traditionnelles. Un élément intéressant est une mascotte, inspirée des "Codex Pets", qui aide les membres de l'équipe moins familiers avec le logiciel à naviguer dans le tableau de bord et à répondre aux questions. Cela est basé sur une compétence qui exécute une "usine de questions-réponses". Concernant les apprentissages pour construire un tel système complexe, Kyle insiste sur le fait que c'est un processus continu. La principale leçon est de ne pas essayer de "one-shotter" l'ensemble du système. Il faut plutôt prendre le processus le plus difficile, le faire à l'ancienne, mais laisser Codex collecter tout le contexte (fichiers, processus, canaux Slack). Au fur et à mesure, on codifie les actions récurrentes en compétences. C'est une sorte d'ingénierie inverse du processus. On peut construire des compétences plus larges ou des plugins, ou améliorer les fichiers MD de l'agent. Pour le travailleur du savoir, il ne faut pas avoir peur de comprendre comment tout cela fonctionne. Chaque projet a son propre fichier MD d'agent, ce qui permet à Codex d'orchestrer les différents projets. Il est crucial de rester organisé et d'améliorer les compétences de manière récursive. On peut créer des compétences qui améliorent d'autres compétences, spécifiques à des projets ou plus générales ("reflect and refine"). Il faut traiter le modèle comme une extension de soi-même, comme si on entraînait une version de soi-même. L'investissement initial peut ne pas sembler immédiat, mais le gain à long terme est là. Pour des données complexes provenant de différentes sources et équipes, cela peut prendre un mois, mais ensuite, les diapositives se mettent à jour automatiquement chaque mois. C'est également collaboratif, permettant à toute l'équipe d'éditer les commentaires. L'un des défis majeurs est la confiance, surtout dans le domaine financier. Les modèles peuvent halluciner ou manquer des informations. Kyle explique que c'est un processus similaire à l'intégration d'un nouvel analyste. Le modèle 5.6 Soul avec Ultra activé représente un grand pas en avant, et l'utilisation de sous-agents est intégrée pour le multitâche. Pour construire la confiance, il faut utiliser le modèle périodiquement. Si le modèle fait une erreur, il faut lui apprendre à ne plus la commettre. Par exemple, pour l'audit de documents, il faut lui montrer comment tracer les métriques entre différents fichiers (mémo, diapositive, Excel). Il existe une fonction "watch and replay" qui permet au modèle d'observer comment l'utilisateur pense et travaille lorsqu'il corrige une erreur, ce qui met à jour la compétence et renforce la confiance. La confiance se construit progressivement. La première fois, le modèle peut être précis à 70%, puis 85%, et après un mois ou deux, il atteint 95%. Le gain n'est pas immédiat, car il faut du temps pour construire et enseigner, mais il arrive. Kyle se sent maintenant suffisamment à l'aise pour que le modèle prenne les premières initiatives, incube le travail à partir de Slack, et qu'il n'ait qu'à revoir les résultats. Pour organiser le travail, il est recommandé de créer des dossiers de projet thématiques. Chaque dossier de projet peut avoir ses propres compétences et son propre fichier MD d'agent. Ainsi, si une demande arrive de Slack, l'automatisation de la compétence du dossier "chef de cabinet" la détecte, lance un fil de discussion dans le projet correspondant, et commence le travail. L'utilisateur peut définir des règles, comme "ne jamais envoyer quelque chose sur Slack avant que je ne l'aie lu". Le modèle obéit aux instructions, ce qui renforce la confiance. En résumé, il ne faut pas essayer de construire un système gigantesque en une seule fois. Il faut le faire "juste à temps", en créant des compétences pour des morceaux de travail au fur et à mesure des besoins. Il faut aussi "paralléliser" les choses, en construisant le système pour la prochaine fois pendant que l'on exécute le