Gouverner les agents d'IA : l'autorité, pas le résultat

La pire erreur d'un agent d'IA n'est pas un e-mail maladroit : c'est d'exécuter —envoyer, modifier, engager des ressources— une action que personne n'a autorisée et que personne ne peut annuler. C'est pourquoi gouverner un agent, ce n'est pas relire ce qu'il produit, mais borner son autorité : qui il est, ce qu'il exécute seul, ce qu'il transmet à une personne et comment on défait une erreur. C'est le saut de l'autonomie sans gouvernance à l'autonomie gouvernée.

Définition

La gouvernance des agents d'IA est l'ensemble des contrôles qui déterminent et encadrent l'autorité d'un agent autonome sur un processus métier : ce qu'il peut faire, sur quelles données, avec quels outils, jusqu'à quel seuil sans supervision, et avec quelles garanties d'audit et de réversibilité.

Ce n'est pas un réglage qu'on active une fois pour toutes, mais une couche opérationnelle continue. Le NIST AI Risk Management Framework organise l'IA digne de confiance précisément autour de fonctions continues —gouverner, cartographier, mesurer et gérer— et non comme une case à cocher au déploiement (National Institute of Standards and Technology, 2023). L'agentivité, selon sa définition classique, se caractérise par l'autonomie et la capacité d'agir sur son environnement (Wooldridge & Jennings, 1995) ; et c'est exactement la propriété qu'il faut borner quand l'environnement est l'opération d'une entreprise.

Ce qu'il faut gouverner : agent, workflow et modèle

Il est utile de distinguer trois couches souvent confondues, car chacune se gouverne différemment.

Le modèle produit du texte ; le workflow ordonne des étapes ; mais c'est l'agent qui exécute des actions aux conséquences réelles —envoyer, modifier, engager des ressources— et c'est pourquoi il exige une gouvernance de son autorité. Et cette gouvernance doit se situer au niveau du processus métier de bout en bout, pas de la tâche isolée : la gestion des processus métier (BPM) existe précisément pour concevoir, exécuter, gérer et analyser des processus opérationnels complets (Dumas et al., 2018).

Les six primitives de gouvernance

1. Rôles et identité — qui est l'agent et qui il représente

Tout commence par l'identité : un agent gouverné a un rôle explicite, agit pour le compte d'une équipe ou d'une fonction précise et ne peut pas s'arroger des permissions que son rôle n'a pas. Sans identité, il n'y a ni responsabilité ni audit possible.

2. Seuils d'autorité — la frontière entre l'autonome et le décidé par une personne

L'autonomie est un spectre, pas un interrupteur. La littérature sur l'interaction humain-automatisation le formalise : l'automatisation s'applique selon un continuum de niveaux —du tout manuel au tout automatique— et à différents types de fonctions (Parasuraman et al., 2000). Gouverner, c'est fixer le niveau d'autonomie par action, pas allumer ou éteindre l'agent tout entier.

3. Règles — des règles vérifiables par la machine sur les données, les outils et les actions

Les règles codent ce que l'agent a le droit de toucher : quelles données il peut lire, quels outils il peut invoquer, quelles actions sont permises et à quelles conditions. Elles s'appliquent à l'exécution, pas sous forme de recommandation, de sorte qu'une action hors règle n'a tout simplement pas lieu.

4. Validations et humain dans la boucle — les personnes décident le critique

L'humain dans la boucle n'est pas une fonctionnalité greffée sur l'agent : c'est un modèle opérationnel dans lequel l'IA exécute le répétable et les personnes décident le critique. Le cadre réglementaire européen en fait une exigence pour les systèmes à haut risque : ils doivent être conçus pour que des personnes physiques puissent les superviser effectivement, et cette supervision doit être proportionnée aux risques et au niveau d'autonomie du système (European Parliament and Council of the European Union, 2024).

5. Audit et traçabilité — chaque action explicable jusqu'à sa source

Une action gouvernée doit pouvoir s'expliquer jusqu'à sa source : quel document, quelle règle, quelle donnée l'a motivée. Sans mémoire opérationnelle traçable, il n'y a pas de véritable audit, seulement une confiance aveugle. C'est pourquoi la traçabilité des sources est une condition préalable de la gouvernance, pas un ajout ultérieur.

6. Rollback et confinement — la réversibilité comme contrôle de premier rang

Le dernier contrôle transforme une erreur en événement récupérable. Si chaque action autonome peut être annulée ou contenue, l'erreur d'un agent cesse d'être irréversible. La réversibilité est ce qui permet d'opérer en autonomie sans opérer dans la crainte.

Les modèles de gouvernance comparés

Là où chaque modèle cède. L'autonomie sans gouvernance échoue à la première action lourde de conséquences que personne n'a autorisée. L'automatisation par règles échoue dès que la réalité sort du script —un e-mail dans un autre format, une exception imprévue. L'autonomie gouvernée n'élimine pas le risque, elle le déplace vers la conception de la gouvernance : des seuils, des règles et des validations bien calibrés. Ce déplacement est précisément ce qui la rend exploitable à grande échelle. Nous approfondissons cette transition dans De l'automatisation à l'autonomie gouvernée.

Comment BiVelio gouverne les agents en pratique

BiVelio est une couche d'opérations autonomes gouvernées : il transforme la connaissance d'une entreprise en opérations autonomes gouvernées et se connecte au-dessus des outils qui existent déjà —e-mail, WhatsApp, CRM, ERP, agenda— sans les remplacer.

Le Trust Layer concrétise les six primitives : permissions, seuils d'autorité, validations, audit complet et rollback. C'est le mécanisme par lequel l'IA exécute le répétable et les personnes décident le critique. Vous pouvez le voir en détail sur la page Trust Layer.

Le Brain est la mémoire opérationnelle vivante de l'entreprise : il ingère documents, e-mails, appels, systèmes et règles avec traçabilité des sources. C'est ce qui rend chaque action d'un agent explicable jusqu'à sa source —la condition préalable de l'audit. Nous développons sa conception relationnelle dans Le graphe de connaissances comme contexte ambiant et le produit sur la page Brain.

L'Autonomy Rate transforme la gouvernance en indicateur : la part d'une opération qui s'exécute de façon autonome et gouvernée, mesurée et gouvernée dans une seule console. Nous expliquons pourquoi toute entreprise a besoin de cet indicateur dans Pourquoi les entreprises ont besoin d'un Autonomy Rate, et la console sur la page Autonomy Console.

Cas d'usage et recettes de gouvernance

Back-office avec seuils d'autorité. Un agent rapproche et prépare des opérations administratives de façon autonome sous un seuil de montant ou de risque, et transmet automatiquement tout ce qui le dépasse. Les agents gouvernés exécutent le travail répétable ; les workers mènent en amont la due diligence opérationnelle qui définit où placer ces seuils.

Opérations clients par e-mail et WhatsApp avec validations. L'agent rédige et répond sur les canaux existants, mais les réponses sensibles passent par un point de validation humaine avant de partir. BiVelio agit sur ces canaux ; il ne les fournit ni ne les remplace.

Décisions à fort impact avec HITL obligatoire. Pour les actions aux conséquences juridiques, financières ou de réputation, la règle exige une validation humaine explicite —conformément à la supervision effective qu'exige le cadre applicable au haut risque (European Parliament and Council of the European Union, 2024). Le modèle opérationnel complet est détaillé dans Le modèle opérationnel de l'humain dans la boucle.

Modes de défaillance courants et comment la gouvernance les prévient

• Action irréversible non autorisée → seuils d'autorité + rollback la contiennent.
• Agent qui dépasse ses permissions → identité de rôle + règles à l'exécution le bloquent.
• Décision inexplicable → la mémoire traçable (Brain) reconstitue l'origine.
• Autonomie que personne ne mesure → l'Autonomy Rate la rend visible et gouvernable.

Nous élargissons le catalogue des risques, des contrôles et de l'architecture des agents d'entreprise dans Agents d'IA en entreprise : risques, contrôles et architecture.

Liste de contrôle : le chemin vers une gouvernance prête

1. Inventorier les processus candidats et les répartir entre répétables et critiques.
2. Attribuer à chaque agent un rôle et une identité explicites.
3. Définir des seuils d'autorité par action, et non pour l'agent tout entier.
4. Coder des règles vérifiables par la machine sur les données et les outils.
5. Insérer des points de validation humaine dans le critique.
6. Connecter une mémoire traçable pour que chaque action ait une origine.
7. Garantir le rollback de chaque action autonome.
8. Mesurer l'Autonomy Rate et l'ajuster en continu.

Vous pouvez commencer par un diagnostic opérationnel avec Velio ou voir la couche complète sur les pages plateforme et agents.

Glossaire

• Brain : la mémoire opérationnelle vivante de l'entreprise ; il ingère documents, e-mails, appels, systèmes et règles avec traçabilité des sources.
• Workers : 8 workers préconçus qui mènent la due diligence opérationnelle et détectent les frictions.
• Agents : entités autonomes qui exécutent le travail répétable dans des seuils et des règles.
• Velio : le consultant-intervieweur autonome qui mène la due diligence de l'opération.
• Trust Layer : la couche de permissions, seuils, validations, audit et rollback.
• Autonomie gouvernée : une autonomie bornée par des rôles, des seuils, des règles, des validations, un audit et la réversibilité.
• Seuil d'autorité : la frontière explicite entre ce qu'un agent exécute seul et ce qu'il transmet à une personne.
• HITL (humain dans la boucle) : modèle opérationnel où l'IA exécute le répétable et les personnes décident le critique.
• Autonomy Rate : indicateur de la part d'une opération qui s'exécute de façon autonome et gouvernée.
• Autonomy Console : la console unique où cette autonomie est mesurée et gouvernée.

FAQ

Quelle est la différence entre human-in-the-loop et human-on-the-loop ?

Avec le human-in-the-loop, la personne intervient avant que l'action ne prenne effet : elle la valide ou la rejette. Avec le human-on-the-loop, la personne supervise un flux largement autonome et peut intervenir, mais l'action n'attend pas sa validation par défaut. Une gouvernance bien calibrée utilise le premier pour le critique et le second pour la routine.

Les contrôles de gouvernance ralentissent-ils les agents ?

Seulement là où ils le doivent. Les validations sont réservées au critique ; le reste s'exécute de façon autonome selon les règles. L'objectif n'est pas de freiner, mais d'augmenter l'Autonomy Rate en toute sécurité : mieux les seuils sont calibrés, plus le travail s'exécute sans friction.

Qu'est-ce qu'un seuil d'autorité ?

C'est la limite explicite qui décide quelles actions un agent exécute de lui-même et lesquelles il doit transmettre à une personne avant qu'elles ne prennent effet —par exemple un montant, un niveau de risque ou un type de client.

En quoi gouverner des agents diffère-t-il de gouverner de la RPA ?

La RPA suit un script fixe : on gouverne son exactitude et ses exceptions. Un agent décide ; il faut donc gouverner son autorité —seuils, règles, validations— et pas seulement son script. La réversibilité et la traçabilité deviennent des contrôles de premier rang.

Comment mesurer si la gouvernance fonctionne ?

Avec l'Autonomy Rate : la part de l'opération qui s'exécute de façon autonome et gouvernée, ainsi que le taux de transmission, les annulations et les incidents audités. Si l'autonomie augmente tandis que les erreurs irréversibles restent à zéro, la gouvernance fonctionne.

Références