Com governar agents d’IA en els processos de negoci

Governar un agent d’IA en un procés de negoci significa governar la seva autoritat, no només revisar-ne el resultat. A la pràctica es tradueix en sis controls: definir qui és l’agent (rol i identitat), fixar quines accions pot executar sol i quines ha d’escalar (llindars d’autoritat), imposar regles verificables per màquina sobre dades i eines (polítiques), inserir aprovacions humanes en les decisions crítiques (human-in-the-loop), registrar cada acció de manera traçable fins al seu origen (auditoria) i garantir que qualsevol error sigui reversible (rollback). Quan aquests sis controls operen alhora, l’autonomia deixa de ser un risc i es converteix en autonomia governada.

Definició

La governança d’agents d’IA és el conjunt de controls que determinen i limiten l’autoritat d’un agent autònom sobre un procés de negoci: què pot fer, sobre quines dades, amb quines eines, fins a quin llindar sense supervisió, i amb quines garanties d’auditoria i reversibilitat.

No és un ajust que s’activa una vegada, sinó una capa operativa contínua. El marc de gestió de riscos d’IA del NIST organitza precisament la IA fiable al voltant de funcions contínues —governar, mapejar, mesurar i gestionar— i no com una casella que es marca en desplegar (National Institute of Standards and Technology, 2023). L’agència, per definició clàssica, es caracteritza per l’autonomia i la capacitat d’actuar sobre el seu entorn (Wooldridge & Jennings, 1995); i aquesta és exactament la propietat que cal acotar quan l’entorn és l’operació d’una empresa.

Què cal governar: agent, workflow i model

Convé separar tres capes que sovint es confonen, perquè cadascuna es governa de manera diferent.

El model produeix text; el workflow ordena passos; però és l’agent el que executa accions amb conseqüències reals —enviar, modificar, comprometre recursos— i per això és el que exigeix govern d’autoritat. I aquest govern s’ha de situar al nivell del procés de negoci d’extrem a extrem, no de la tasca aïllada: la disciplina de gestió de processos (BPM) existeix justament per dissenyar, executar, gestionar i analitzar processos operatius complets (Dumas et al., 2018).

Les sis primitives de govern

1. Rols i identitat — qui és l’agent i a qui representa

Tot comença per la identitat: un agent governat té un rol explícit, actua en nom d’un equip o funció concreta i no pot assumir permisos que aquest rol no té. Sense identitat no hi ha responsabilitat ni auditoria possible.

2. Llindars d’autoritat — la frontera entre autònom i decidit per humans

L’autonomia és un espectre, no un interruptor. La literatura d’interacció humà-automatització ho formalitza: l’automatització s’aplica al llarg d’un continu de nivells —de completament manual a completament automàtic— i a través de diferents tipus de funció (Parasuraman et al., 2000). Governar significa fixar el nivell d’autonomia per acció, no encendre o apagar l’agent sencer.

3. Polítiques — regles verificables per màquina sobre dades, eines i accions

Les polítiques codifiquen el que l’agent pot tocar: quines dades pot llegir, quines eines pot invocar, quines accions estan permeses i sota quines condicions. S’apliquen en temps d’execució, no com a recomanació, de manera que una acció fora de política simplement no passa.

4. Aprovacions i human-in-the-loop — les persones decideixen el crític

El human-in-the-loop no és una funcionalitat que es cargola a l’agent: és un model operatiu en què la IA executa el repetible i les persones decideixen el crític. El marc regulatori europeu l’eleva a requisit per a sistemes d’alt risc: s’han de dissenyar de manera que persones físiques puguin supervisar-los amb eficàcia, i aquesta supervisió ha de ser proporcional als riscos i al nivell d’autonomia del sistema (European Parliament and Council of the European Union, 2024).

5. Auditoria i traçabilitat — cada acció explicable fins al seu origen

Una acció governada ha de poder explicar-se fins a la seva font: quin document, quina regla, quina dada la va motivar. Sense memòria operativa traçable no hi ha auditoria real, només confiança cega. Per això la traçabilitat d’origen és una precondició del govern, no un afegit posterior.

6. Rollback i contenció — la reversibilitat com a control de primera classe

L’últim control converteix l’error en un esdeveniment recuperable. Si tota acció autònoma es pot revertir o contenir, l’equivocació d’un agent deixa de ser irreversible. La reversibilitat és el que permet operar amb autonomia sense operar amb por.

Models de govern comparats

On es trenca cada model. L’autonomia sense govern falla en la primera acció amb conseqüències que ningú va autoritzar. L’automatització per regles falla tan bon punt la realitat se surt del guió —un correu amb format diferent, una excepció no prevista. L’autonomia governada no elimina el risc, el desplaça al disseny del govern: llindars, polítiques i aprovacions ben calibrats. Aquest desplaçament és precisament el que la fa operable a escala. Aprofundim en aquesta transició a De l’automatització a l’autonomia governada.

Com governa BiVelio els agents a la pràctica

BiVelio és una capa d’operacions autònomes governades: converteix el coneixement d’una empresa en operacions autònomes i governades, i es connecta sobre les eines que ja existeixen —correu, WhatsApp, CRM, ERP, calendari— sense reemplaçar-les.

El Trust Layer materialitza les sis primitives: permisos, llindars d’autoritat, aprovacions, auditoria completa i rollback. És el mecanisme pel qual la IA executa el repetible i les persones decideixen el crític. El pots veure en detall a /ca/trust.

El Brain és la memòria operativa viva de l’empresa: ingereix documents, correus, trucades, sistemes i regles amb traçabilitat d’origen. És el que fa que cada acció d’un agent sigui explicable fins a la seva font —la precondició de l’auditoria. El seu disseny relacional el desenvolupem a El graf de coneixement com a context ambient i el seu producte a /ca/brain.

L’Autonomy Rate converteix el govern en una mètrica: quant d’una operació corre de manera autònoma i governada, mesurat i governat en una sola consola. Expliquem per què tota empresa necessita aquesta mètrica a Per què les empreses necessiten un Autonomy Rate, i la consola a /ca/autonomy-console.

Casos d’ús i receptes de govern

Back-office amb llindars d’autoritat. Un agent concilia i prepara operacions administratives de manera autònoma per sota d’un llindar d’import o de risc, i escala automàticament el que el supera. Els agents governats executen el treball repetible; els workers fan la due diligence operativa prèvia que defineix on posar aquests llindars.

Operació amb clients per correu i WhatsApp amb aprovacions. L’agent redacta i respon sobre els canals existents, però les respostes sensibles passen per una porta d’aprovació humana abans de sortir. BiVelio actua sobre aquests canals; no els proveeix ni els substitueix.

Decisions d’alt impacte amb HITL obligatori. Per a accions amb conseqüències legals, econòmiques o reputacionals, la política exigeix aprovació humana explícita —coherent amb la supervisió efectiva que exigeix el marc d’alt risc (European Parliament and Council of the European Union, 2024). El model operatiu complet es detalla a El model operatiu human-in-the-loop.

Modes de fallada comuns i com el govern els evita

• Acció irreversible no autoritzada → llindars d’autoritat + rollback la contenen.
• Agent que excedeix els seus permisos → identitat de rol + polítiques en execució la bloquegen.
• Decisió inexplicable → memòria traçable (Brain) reconstrueix l’origen.
• Autonomia que ningú mesura → l’Autonomy Rate la fa visible i governable.

El catàleg de riscos, controls i arquitectura per a agents a l’empresa l’ampliem a Riscos, controls i arquitectura d’agents d’IA empresarials.

Llista de comprovació: ruta de preparació per al govern

1. Inventaria els processos candidats i separa’ls en repetible vs. crític.
2. Assigna a cada agent un rol i identitat explícits.
3. Defineix llindars d’autoritat per acció, no per agent complet.
4. Codifica polítiques de dades i eines verificables per màquina.
5. Insereix portes d’aprovació humana en el crític.
6. Connecta una memòria traçable perquè tota acció tingui origen.
7. Garanteix rollback en cada acció autònoma.
8. Mesura l’Autonomy Rate i ajusta’l de manera contínua.

Pots començar per un diagnòstic operatiu a /ca/diagnosis o veure la capa completa a /ca/platform i /ca/agents.

Glossari

• Brain: la memòria operativa viva de l’empresa; ingereix documents, correus, trucades, sistemes i regles amb traçabilitat d’origen.
• Workers: 8 treballadors predissenyats que fan due diligence operativa i detecten fricció.
• Agents: entitats autònomes que executen el treball repetible dins de llindars i polítiques.
• Velio: el consultor/entrevistador autònom que realitza la due diligence de l’operació.
• Trust Layer: la capa de permisos, llindars, aprovacions, auditoria i rollback.
• Autonomia governada: autonomia acotada per rols, llindars, polítiques, aprovacions, auditoria i reversibilitat.
• Llindar d’autoritat: frontera explícita entre el que un agent executa sol i el que escala a una persona.
• HITL (human-in-the-loop): model operatiu on la IA executa el repetible i les persones decideixen el crític.
• Autonomy Rate: mètrica de quant d’una operació corre de manera autònoma i governada.
• Autonomy Console: la consola única on es mesura i governa aquesta autonomia.

FAQ

Quina és la diferència entre human-in-the-loop i human-on-the-loop?

En human-in-the-loop, la persona intervé abans que l’acció tingui efecte: l’aprova o la rebutja. En human-on-the-loop, la persona supervisa un flux majoritàriament autònom i pot intervenir, però l’acció no espera la seva aprovació per defecte. El govern ben calibrat fa servir in-the-loop per al crític i on-the-loop per al rutinari.

Els controls de govern alenteixen els agents?

Només on han de fer-ho. Les aprovacions es reserven per al crític; la resta corre de manera autònoma sota política. L’objectiu no és frenar, sinó elevar l’Autonomy Rate de manera segura: com més ben calibrats els llindars, més s’executa sense fricció.

Què és un llindar d’autoritat?

És el límit explícit que decideix quines accions executa un agent per si mateix i quines ha d’escalar a una persona abans que tinguin efecte —per exemple, un import, un nivell de risc o un tipus de client.

En què es diferencia governar agents de governar RPA?

L’RPA segueix un guió fix: se’n governa la correcció i les excepcions. Un agent decideix, per la qual cosa cal governar la seva autoritat —llindars, polítiques, aprovacions— i no només el seu guió. La reversibilitat i la traçabilitat passen a ser controls de primera classe.

Com es mesura si el govern funciona?

Amb l’Autonomy Rate: quant de l’operació corre de manera autònoma i governada, juntament amb la taxa d’escalats, les reversions i les incidències auditades. Si l’autonomia puja mentre els errors irreversibles es mantenen a zero, el govern funciona.

Referencias