Agents d’IA empresarials: riscos, controls i arquitectura

Els agents d’IA empresarials no fracassen perquè el model sigui feble, sinó perquè l’arquitectura operativa que els envolta no té tres coses: memòria ancorada amb traçabilitat de font, límits d’autoritat i un registre d’auditoria. Un agent empresarial governat no es defineix pel seu model, sinó pels seus controls: permisos, llindars d’autoritat, aprovacions, auditoria completa i reversió. La regla operativa és senzilla: la IA executa el repetible, els humans decideixen el crític. El que decideix el resultat en producció no és quanta autonomia té l’agent, sinó quanta arquitectura de govern el sosté.

Definició — agent d’IA empresarial vs. operació autònoma governada

Un agent d’IA empresarial és un sistema que percep el seu entorn operatiu, manté memòria, planifica i executa accions per complir objectius; esdevé governat quan aquestes accions estan limitades per permisos, llindars d’autoritat, aprovacions humanes, auditoria i reversió. La literatura clàssica de sistemes multiagent descriu l’agent per la seva autonomia, reactivitat i proactivitat (Wooldridge, 2009); el que l’empresa hi afegeix és la responsabilitat: cada acció ha de ser atribuïble, reversible i auditable.

Què és realment un agent empresarial

Un agent combina quatre capacitats: percepció (llegir correus, documents, estats de sistemes), memòria (context operatiu persistent), planificació (descompondre un objectiu en passos) i acció (executar sobre eines reals). La diferència amb un chatbot és que l’agent actua — i actuar sobre sistemes de negoci té conseqüències.

Per què un agent sense govern és un passiu, no una capacitat

Un agent que pot executar accions irreversibles sense límits d’autoritat ni auditoria no és un avantatge competitiu: és un risc latent. Sense traçabilitat no es pot explicar per què va actuar; sense reversió no es pot desfer un error; sense llindars no es pot impedir que escali. La capacitat sense control no és autonomia, és exposició.

On encaixa BiVelio

Una taxonomia de riscos per a agents empresarials

La taxonomia de risc dels agents empresarials abasta cinc famílies — capacitat, autoritat, coneixement, coordinació i responsabilitat — i cadascuna necessita un control específic, no una advertència genèrica. Els marcs reconeguts de gestió de risc d’IA organitzen el problema al voltant de les funcions de governar, mapar, mesurar i gestionar al llarg del cicle de vida del sistema (National Institute of Standards and Technology, 2023).

Riscos de capacitat

Al·lucinació, acció equivocada, fallada silenciosa. El model pot afirmar amb seguretat una cosa falsa o executar el pas correcte sobre l’objecte equivocat. La fallada silenciosa —quan res no avisa que l’acció ha anat malament— és la més perillosa en operació.

Riscos d’autoritat

Sobrepermisos, despesa sense límit, operacions irreversibles. Un agent amb més permisos dels que necessita amplifica qualsevol error fins a convertir-lo en incident.

Riscos de coneixement

Context obsolet, absència de traçabilitat de font, fuga de dades. Un agent que decideix sobre informació caducada o que no pot citar d’on ha sortit una dada no és fiable per a res crític.

Riscos de coordinació

Cascades multiagent, bloquejos i comportament emergent. Quan diversos agents es comuniquen i coordinen, apareixen dinàmiques que cap agent individual no controla (Guo et al., 2024).

Riscos de responsabilitat

Sense rastre d’auditoria, sense reversió, sense propietat clara. Si ningú no pot reconstruir què va passar ni desfer-ho, l’organització assumeix tot el risc.

Els controls que converteixen el risc en autonomia governada

Memòria ancorada amb traçabilitat de font (el Brain)

El Brain és la memòria operativa viva de l’empresa: ingereix documents, correus, trucades, sistemes i regles conservant la traçabilitat de la font. És l’àncora que evita que l’agent decideixi sobre el buit.

Llindars d’autoritat, permisos i portes d’aprovació (el Trust Layer)

El Trust Layer defineix què pot fer cada agent, fins a quin límit i què requereix aprovació humana. Els llindars d’autoritat encaminen per disseny les decisions crítiques cap a les persones.

L’humà-en-el-bucle com a model operatiu

L’humà-en-el-bucle no és un mecanisme de seguretat cargolat a l’agent; és un model operatiu en què els llindars d’autoritat envien el crític a les persones per disseny. La recerca sobre integrar coneixement i supervisió humana en sistemes d’aprenentatge mostra que millora els resultats i controla el cost i l’error (Wu et al., 2022).

Auditoria completa i reversió de cada acció

Cada acció de l’agent queda registrada i és reversible. Sense això, no hi ha manera d’aprendre d’un error ni de contenir-lo.

La Taxa d’Autonomia — mesurar i governar quant corre sol

Una arquitectura de referència per a agents empresarials governats

Una arquitectura de referència per a agents governats té cinc capes: memòria operativa, workers de due diligence, agents governats, un pla de confiança i control, i una consola d’autonomia.

La plataforma integra aquestes cinc capes: la percepció i la memòria viuen a la Capa 1, els Workers mapen processos i detecten fricció a la Capa 2, els agents governats i Velio executen el repetible a la Capa 3, el Trust Layer imposa els controls a la Capa 4 i la Autonomy Console ho fa mesurable a la Capa 5.

Comparació — agents sense govern vs. RPA vs. operació autònoma governada

L’RPA es defineix com a eines que operen sobre la interfície d’usuari d’altres sistemes de la mateixa manera que ho faria un humà (van der Aalst et al., 2018); opera amb regles fixes, sense raonament. L’agent raona però, sense govern, actua sense frens. L’autonomia governada combina raonament amb controls.

Casos d’ús — on els agents governats guanyen confiança primer

Back-office amb llindars d’aprovació clars

Tasques administratives repetibles —conciliacions, altes, classificació documental— on l’agent executa fins a un llindar i escala el que el supera. Alt volum, risc acotat, aprovació clara.

Operacions de client en correu i WhatsApp

BiVelio es connecta a sobre de correu i WhatsApp per atendre, qualificar i respondre de manera governada, deixant a la persona les decisions que requereixen criteri. No substitueix aquests canals: opera sobre ells.

Fluxos sensibles al risc que exigeixen auditoria i reversió

Processos on una acció equivocada té cost real. Aquí l’auditoria completa i la reversió no són opcionals: són la condició per permetre qualsevol autonomia.

Glossari

• Brain: memòria operativa viva de l’empresa; ingereix documents, correus, trucades, sistemes i regles amb traçabilitat de font.
• Workers: workers predissenyats que fan diligència operativa i detecten fricció.
• Agents: agents governats que executen el treball repetible sota control.
• Velio: consultor/entrevistador autònom que fa la diligència operativa.
• Trust Layer: pla de permisos, llindars d’autoritat, aprovacions, auditoria i reversió.
• Taxa d’Autonomia: mètrica de quant de l’operació corre de manera autònoma i governada.
• Autonomy Console: consola única per mesurar i governar l’autonomia.
• HITL (humà-en-el-bucle): model operatiu en què el crític s’encamina a les persones per disseny.
• Llindar d’autoritat: límit a partir del qual una acció requereix aprovació humana.
• Traçabilitat de font: capacitat de citar d’on ha sortit cada dada de la memòria.

FAQ

És segur desplegar agents d’IA empresarials en producció?

Sí, si estan governats. La seguretat no ve del model, sinó de l’arquitectura: memòria ancorada, llindars d’autoritat, aprovacions humanes, auditoria i reversió. Un agent sense aquests controls no hauria de tocar producció.

Quina és la diferència entre un agent d’IA i l’RPA?

L’RPA opera sobre la interfície d’altres sistemes amb regles fixes (van der Aalst et al., 2018); un agent raona i s’adapta. L’autonomia governada combina el raonament de l’agent amb els controls que l’RPA mai no va tenir.

Els agents governats reemplacen el meu ERP, CRM o calendari?

No. BiVelio es connecta a sobre de les eines existents — correu, WhatsApp, CRM, ERP, calendari — i opera sobre elles. No les proveeix ni les substitueix.

Com es mesura si un agent ha de córrer de manera autònoma?

Amb la Taxa d’Autonomia: quantifica quant d’una operació corre autònoma i governada, per ampliar l’autonomia amb intenció en lloc d’assumir-la. Es governa des de la Autonomy Console.

Què passa quan un agent comet un error?

Queda registrat a l’auditoria completa i és reversible. Els llindars d’autoritat eviten que un error escali, i l’humà-en-el-bucle atura el crític abans que passi.

Per on començar?

Per un diagnòstic de l’operació: on hi ha fricció, què és repetible i quins llindars d’autoritat tenen sentit abans de donar autonomia a res.

Per aprofundir, encreua amb aquests articles de recerca: com governar agents d’IA en processos de negoci, per què fallen els agents d’IA en operacions empresarials, el model operatiu humà-en-el-bucle, agents d’IA vs. automatització de fluxos vs. RPA i què és un sistema operatiu de processos governat.

Referències