Who’s really in charge? Reclaiming Human Autonomy in the Age of AI Agents | Esade at 4YFN 2026

Voici un résumé des points clés abordés lors de la discussion sur les agents d'IA : **Introduction et Contexte** La discussion débute par une reconnaissance de la rapidité avec laquelle le domaine de l'intelligence artificielle (IA) évolue, rendant difficile la compréhension et l'assimilation des nouvelles avancées. Les participants soulignent que l'approche habituelle consistant à se concentrer sur les capacités des IA (ce qu'elles font, comment elles fonctionnent) est pertinente, mais que la notion d'agent d'IA introduit une dimension supplémentaire : qui agit et comment les choses sont faites. La question centrale posée est donc moins "que peuvent faire les agents d'IA ?" que "que changent-ils et où nous laissent-ils ?". **Définition et Évolution des Agents d'IA** Tavier Domingo définit l'IA comme une imitation du comportement et des capacités humaines (vision, conversation, compréhension contextuelle). Il mentionne les sous-domaines comme la robotique, le traitement du langage naturel et la vision par ordinateur, qui étaient auparavant utilisés de manière isolée. L'avènement des grands modèles linguistiques (LLM) a permis une interaction plus accessible via le langage naturel. Cependant, les agents d'IA représentent une évolution majeure. Ils passent de la simple recommandation à l'autonomie, permettant aux systèmes d'agir de manière autonome. La distinction clé réside dans le passage de l'automatisation déterministe, où des entrées prédéfinies donnent des sorties connues, à des scénarios indéterministes où les agents apprennent et prennent des décisions en cours de route. Les agents d'IA capables de percevoir le contexte, de définir des objectifs, de planifier des actions et surtout de les mettre en œuvre marquent un pas de géant par rapport aux systèmes précédents où l'humain était toujours dans la boucle pour l'exécution. **Perspectives Métier et Applications** Sergi Bastard, du point de vue des affaires, confirme que l'on évolue d'un logiciel statique, où l'humain doit constamment intervenir, vers des agents autonomes. Les agents d'IA peuvent comprendre le contexte, traiter l'information, saisir l'intention et mener des conversations. Les applications actuelles se trouvent dans des domaines comme la gestion de la main-d'œuvre, en particulier dans les secteurs à fort taux de rotation comme la vente au détail, l'hôtellerie et la santé. Les agents sont utilisés pour automatiser des processus complexes et désordonnés qui étaient impossibles à automatiser auparavant, comme le recrutement. Les candidats préfèrent souvent interagir avec un agent, et ces derniers peuvent évaluer les candidats au-delà des simples CV, en considérant des aspects comme l'expérience internationale. L'IA permet non seulement l'automatisation, mais aussi l'élévation du rôle humain. Dans le développement logiciel, les ingénieurs passent de l'écriture de code à la planification, à la définition de plans et à la révision du code généré par des agents. Les agents sont également utilisés pour automatiser les implémentations et le support client, en analysant des transcriptions pour construire des logiciels adaptés. Sergi souligne qu'il est crucial de déterminer quelles tâches doivent rester déterministes et nécessitent une précision à 100%, et lesquelles peuvent être gérées par des agents. La véritable complexité réside dans l'orchestration et l'architecture des systèmes, plutôt que dans le raisonnement de l'agent lui-même. **Perspective Légale et Normative** Milo, du point de vue juridique, tempère l'idée de nouveauté absolue des "agents", rappelant qu'ils existaient déjà dans le commerce électronique en 2010. Cependant, le niveau d'autonomie actuel est significativement plus élevé, ce qui interpelle le cadre juridique. La loi européenne sur l'IA (AI Act) couvre ces agents, et l'autonomie est définie comme un certain niveau d'indépendance vis-à-vis du contrôle humain. La classification des risques (inacceptable, limité, élevé, minimal) déterminera où ces agents peuvent être déployés. Les questions centrales sont celles de la responsabilité et de la responsabilité civile. Qui paie pour les dommages causés par un agent ? Il faut une infrastructure juridique pour contrôler la négociation des autonomies et assurer la vérification du fonctionnement des agents. Il est crucial de ne pas exclure complètement l'humain de la boucle. Les données sont un autre point juridique crucial : quelles données les agents peuvent-ils consulter et manipuler ? Les avocats auront un rôle important à jouer avec le déploiement croissant des agents. Bien que les concepts juridiques soient adaptables, il est parfois nécessaire de mettre à jour les définitions, comme ce fut le cas pour l'IA à usage général. La loi sur l'IA se concentre sur les risques pour les droits fondamentaux. **Délégation et Contrôle** La délégation des tâches aux agents d'IA est un thème récurrent. Sergi, tout en reconnaissant la nécessité de loi et de réglementation, estime que l'on surestime souvent le jugement humain et les biais potentiels. Il suggère que les agents, en s'appuyant sur des données numérisées, peuvent en fait réduire les biais et améliorer la prise de décision dans des domaines à enjeux. La traçabilité accrue des actions des agents permet une meilleure compréhension et correction des erreurs. Cependant, la décision de ce qui doit être délégué et de ce qui doit rester sous contrôle humain est complexe. Il faut des architectures permettant de distinguer les décisions autonomes des décisions nécessitant une validation humaine, en fonction de la confiance et de la précision requise. Milo exprime une préoccupation concernant le volume croissant d'agents interagissant et la difficulté de détecter des erreurs non évidentes. Il craint qu'une confiance excessive ne mène à des systèmes peu fiables, et que la responsabilité ne devienne un point de friction juridique majeur, potentiellement lié à l'AI Act et aux niveaux de risque sectoriels. **Fiabilité et Responsabilité** La fiabilité des agents est une préoccupation majeure. Milo souligne qu'il ne devrait pas y avoir d'obligation d'utiliser ces technologies, et que le choix de ne pas les utiliser devrait être une option. Dans les secteurs à haut risque, la fiabilité est primordiale. Plus les agents deviendront fiables, plus les secteurs à haut risque pourraient s'ouvrir. Les objectifs doivent rester humains, les agents servant à faciliter leur atteinte. La question de la responsabilité se pose lorsque l'agent prend des décisions intermédiaires. Si l'humain définit les objectifs, mais que l'agent exécute les étapes, qui est responsable ? La fiabilité de l'agent est cruciale pour que l'humain lui fasse confiance. **L'importance de l'Architecture et de la Conception** Sergi insiste sur la conception des systèmes, où les entreprises doivent décider quelles décisions l'agent peut prendre de manière autonome et quelles décisions nécessitent une approbation, en fonction de son niveau de confiance. La délégation doit être progressive, basée sur la fiabilité observée. Il met en avant l'opportunité d'impacter positivement la vie des gens, tout en insistant sur la nécessité d'une gouvernance solide et de systèmes bien construits, audités et évalués. Dans le cas d'entreprises opérant dans des secteurs à haut risque comme le recrutement selon l'AI Act, des garde-fous sont essentiels pour éviter la discrimination et garantir des décisions objectives. L'architecture doit permettre de traiter les informations de manière sécurisée et de ne pas conclure sans un niveau de confiance suffisant. **L'Engagement Humain et la Conception pour l'Autonomisation** La discussion aborde la question de savoir si les agents peuvent interagir de manière plus dialogique, engageant activement l'humain plutôt que de simplement lui présenter un résultat final. Tavier suggère que certaines tâches répétitives seront inévitablement automatisées, mais que l'impact de ces décisions doit être compris. Il évoque l'exemple du Japon, où les entreprises cherchent un équilibre entre profit et impact social, et où la culture d'entreprise pourrait être intégrée dans la conception des agents. Il y a une préoccupation concernant la perte potentielle de l'engagement cognitif humain et du sentiment de propriété sur le travail lorsque les tâches sont déléguées. Milo, du point de vue éthique, souligne que la technologie devrait être conçue pour augmenter les capacités humaines, la créativité et l'autonomie, plutôt que de les diminuer pour faciliter le contrôle. Il appelle à lutter contre la "complaisance algorithmique" et à maintenir l'engagement humain, en expliquant le fonctionnement des agents. **Gouvernance et Interrogation des Résultats** La nature des agents d'IA, qui peuvent modifier leur comportement et leurs résultats sans que l'humain en soit toujours conscient, pose un défi de gouvernance. La question est de savoir si l'on a le temps et la capacité d'interroger ces résultats, qui proviennent désormais d'une "organisation" plutôt que d'un individu. Sergi réitère que le rôle des programmeurs évolue vers la planification, la gouvernance et la revue des systèmes générés par les agents. La création de systèmes d'agents de bout en bout, capables de recommander des décisions, audités, exempts de biais et bien gouvernés, est un défi complexe. Il souligne l'importance de la connaissance des équipes d'IA pour distinguer les bons des mauvais systèmes, et le rôle des fournisseurs externes. La fiabilité, le retour sur investissement et l'expansion du potentiel humain sont des objectifs clés, mais une mauvaise conception peut mener à des conclusions erronées. L'audit, l'évaluation et l'observabilité sont essentiels. **Conclusion** La discussion se termine sur la reconnaissance qu'il reste de nombreuses questions ouvertes et interconnectées. L'objectif n'était pas de résoudre tous les problèmes, mais de souligner l'importance de ne pas ignorer ces questions à l'avenir. Les principaux thèmes abordés sont l'évolution des agents d'IA vers l'autonomie, l'impact sur les modèles économiques et les applications concrètes, les défis juridiques et réglementaires liés à la responsabilité et au contrôle, la nécessité d'une conception axée sur l'humain et l'importance cruciale de la gouvernance et de l'architecture des systèmes.