Gouvernance de l’IA : Qui décide, qui valide et qui répond d’un agent en production ?

Un agent IA ne fait pas que répondre, il agit. Il peut modifier une fiche client, envoyer un mail ou effectuer une transaction un remboursement. L’enjeu n’est pas tant de connaitre son fonctionnement que de savoir qui l’a autorisé à agir, qui contrôle ce qu’il fait et qui en répond quand il se trompe.

L’année 2026 aura vu les agents IA passer du POC à la production. Chaque direction métier a désormais le sien ou en prépare un. Gartner estime qu’en 2028, au moins 15 % des décisions de travail quotidiennes seront prises de façon autonome par des agents, contre aucune en 2024.

Gartner prévoit aussi que plus de 40 % des projets d’IA agentique seront abandonnés d’ici fin 2027 en raison de coûts qui dérivent, d’une valeur métier non démontrée et des contrôles de risques insuffisants. Et ce dernier point relève d’un problème de gouvernance. Dans la plupart des organisations, personne ne sait dire précisément qui a décidé de mettre un agent en production, qui a validé son périmètre d’action et qui répond de ses erreurs.

Pourquoi les agents ne relèvent pas de la gouvernance classique

Un modèle de scoring prédit et c’est l’humain qui décide. Un assistant RAG répond et c’est l’un humain lit. Dans ces deux exemples, la gouvernance est simple car on contrôle le modèle et l’humain garde la main sur l’action.

Un agent fait sauter cette barrière. Il enchaîne des étapes, il appelle des API et peut écrire dans vos applications.

L’OWASP en a fait l’un des dix risques majeurs des applications LLM sous le nom d’« Excessive Agency » (LLM06:2025). Le référentiel en identifie trois causes :

  • Excessive Autonomy : Des actions à fort impact s’exécutent sans validation indépendante.
  • Excessive Functionality : L’agent a accès à des outils dont sa mission n’a pas besoin.
  • Excessive Permissions : Ses accès aux systèmes dépassent ce que la tâche exige.

Aucune des trois n’impacte le modèle choisi, elles se corrigent au niveau de l’organisation, à savoir qui fixe le périmètre, qui accorde les droits et qui valide les actions.

Gouverner un agent, ce n’est pas gouverner un modèle mais un acteur du SI.

Qui décide ? Le métier, dans un cadre défini par l’entreprise

La direction métier, qui porte le cas d’usage, décide de mettre un agent en production parce qu’elle maîtrise le processus, la valeur attendue et le risque métier. En revanche, elle ne décide pas seule du cadre. Un comité IA, qui comprend la DSI, le CDO, le RSSI, le juridique et le DPO, spécifie le cadre de l’agent : Usages autorisés, niveaux d’autonomie, exploitation des données.

Le plus simple est de classer chaque agent selon son niveau d’autonomie. Le niveau détermine qui décide et quel contrôle s’applique.

NiveauCe que fait l’agentExemples métierContrôle requis
1. AssistantPropose et l’humain exécuteAssurance : Synthèse d’un dossier sinistre et pièces manquantes pour le gestionnaire.
Achats : Analyse des clauses d’un contrat fournisseur avant négociation
Validation par le propriétaire métier
2. Exécutant superviséAgit après validation humaineBanque : Courrier de réponse à une réclamation avec proposition de geste commercial, envoyé après l’accord du conseiller.
Finance : Rapprochement des factures fournisseurs et mise en paiement après le visa du comptable
Comité IA et validation de chaque action sensible
3. Exécutant autonome encadréAgit seul dans un périmètre précisRetail : Réassort automatique sous un seuil de montant par commande.
IT : Qualification, routage et clôture des tickets de niveau 1 (réinitialisation de mot de passe, accès standard)
Comité IA et seuils, contrôles par échantillon, arrêt d’urgence
4. Exécutant autonome étenduAgit seul sur des décisions à impactBanque : Accord d’un crédit à la consommation.
Assurance : tarification d’un contrat prévoyance.
RH : Présélection de candidatures
Alerte : Ces trois usages relèvent du haut risque AI Act (annexe III)

Qui valide ? La DSI au lancement et le métier au quotidien

Généralement, la validation de l’agent se fait lors de sa mise en production. Mais cela ne suffit pas car un agent est un système vivant. L’éditeur peut mettre à jour le modèle sans forcément alerter, les prompts sont modifiés à postériori, de nouveaux outils sont connectés, les données source changent, … L’agent validé à l’instant T n’est plus tout à fait celui qui tourne quelques mois plus tard. Et les risques sont sont réels comme la dérive progressive de la qualité des réponses, des actions hors périmètre, l’injection de prompt cachée dans un document ou un e-mail et erreurs répétées à grande échelle avant qu’on ne les remarque. Il est donc nécessaire de mettre deux niveaux de validation.

  1. La validation avant mise en production : Paramétrage des outils et des droits, tests sur des scénarios métier, tests d’injection de prompt, revue sécurité et données personnelles. Elle est effectuée par la DSI et le RSSI avec le métier.
  2. La validation en continu : Des humains nommés explicitement valident les actions sensibles, surveillent les sorties et peuvent arrêter l’agent. C’est le « human-in-the-loop » et il doit figurer dans les fiches de poste, pas seulement dans le schéma d’architecture.

Pour les IA à haut risque, l’AI Act rend ce second niveau obligatoire. L’article 14 exige une supervision humaine effective et l’article 26 impose au déployeur de la confier à des personnes qui ont la compétence, la formation et l’autorité nécessaires. Nous détaillions le calendrier de ces obligations dans l’épisode 1 de cette série.

Qui répond ? L’entreprise

Air Canada a tenté de faire valoir que son chatbot était responsable de ses propres réponses. Il avait promis à un client un tarif réduit qui n’existait pas dans ces conditions. Le tribunal a rejeté l’argument en février 2024. L’entreprise est toujours responsable des informations publiées sur son site y compris celles produites par son IA.

Et ce qui vaut pour un chatbot qui informe vaut encore plus pour un agent qui exécute des transactions dans votre SI. Face à un client, un régulateur ou un auditeur, « c’est l’IA » n’est pas une réponse recevable. Un agent doit donc avoir un owner comme n’importe quelle application en production.

Concrètement, chaque agent en production a besoin de :

  • Un propriétaire nommé : Un responsable métier qui répond de son comportement comme un propriétaire d’application.
  • Une identité propre : Une identité non humaine dédiée et gérée dans votre IAM avec des habilitations limitées au principe du moindre privilège (jamais les accès d’un collaborateur).
  • Une traçabilité complète : Chaque action journalisée avec les données exploitées et la validation humaine quand il y en a eu une. Sans logs, impossible de reconstituer ce qui s’est passé, ni de le prouver.

Le RACI d’un agent en production

Voici la répartition des rôles que nous recommandons chez Smartpoint.

R : réalise

A : rend des comptes

C : consulté

I : informé.

ActivitéMétierDSICDORSSIJuridique et DPOComité IA
Proposer le cas d’usageA, RCCIII
Classer le niveau d’autonomie et de risqueCRCCCA
Définir les données autoriséesCCA, RCCI
Accorder les droits et l’identité de l’agentIRIAII
Valider avant MEPARCCCI
Superviser les actions en continuA, RCIIII
Gérer un incidentARCRCI
Revoir l’agent régulièrementARCCCI

Ce tableau reprend la logique d’un système de management de l’IA tel que le décrit la norme ISO/IEC 42001 publiée en décembre 2023. Il n’a d’utilité que si il est appliqué à chaque nouvel agent.

Ce que nous observons chez nos clients

Dans les organisations que nous accompagnons, les agents arrivent rarement par l’initiative de la DSI ou de la direction Data / IA. Ils émergent dans une direction métier, dans un outils SaaS ou sur une plateforme d’automatisation … et la DSI découvre leur existence lorsqu’un problème surgit.

« La gouvernance de l’IA n’est pas un comité de plus qui ralentit les projets. C’est ce qui permet de dire oui plus vite. Quand les rôles sont clairs et que chaque agent a un propriétaire, des droits limités et des logs, le comité valide un nouveau cas d’usage en quelques jours au lieu de le bloquer pendant des mois. »

Luc Doladille, Directeur conseil chez Smartpoint

Par où commencer ? Notre plan en 3 mois

  1. 1

    1er mois, recenser et nommer

    Lister les agents en production et en préparation, y compris ceux construits par les métiers. Attribuer à chacun un propriétaire métier nommé et le classer par niveau d’autonomie. Si votre registre IA existe déjà, partez de lui.

  2. 2

    2ème mois, cadrer et sécuriser

    Instaurer le comité IA avec un mandat écrit, signer le RACI, créer une identité technique dédiée pour chaque agent et réduire ses droits au strict nécessaire. Définir les actions sensibles qui exigent une validation humaine.

  3. 3

    3ème mois, outiller et industrialiser

    Journaliser toutes les actions des agents, mettre en place un arrêt d’urgence, intégrer la revue de gouvernance dans le processus de mise en production. Chaque nouvel agent passe alors par le même circuit.

FAQ : la gouvernance des agents IA, avec les experts Smartpoint

Qu’est-ce que la gouvernance IA ?

C’est l’ensemble des rôles, des règles et des contrôles qui encadrent la conception, la mise en production et l’exploitation des systèmes d’IA. Elle répond à trois questions, à savoir qui décide, qui valide et qui répond de chaque IA.

Qui est responsable quand un agent IA commet une erreur ?

Vis-à-vis des clients et des tiers, l’entreprise qui exploite l’IA est responsable. En interne, chaque agent doit avoir un propriétaire métier nommé.

Faut-il un comité IA ?

Oui, dès que plusieurs directions déploient des agents. Il réunit DSI, CDO, RSSI, juridique et DPO, fixe le cadre commun et tranche sur les cas à risque. Il ne remplace pas la décision du métier, il l’encadre.

Quelle différence entre gouvernance des données et gouvernance de l’IA ?

La gouvernance des données garantit la qualité, la traçabilité et la conformité des données. La gouvernance de l’IA s’appuie sur elle et ajoute ce qui est propre aux modèles et aux agents : niveaux d’autonomie, droits d’action, supervision humaine et gestion des incidents.

Comment limiter les risques d’un agent IA en production ?

En appliquant trois règles : lui donner uniquement les outils et les droits dont sa mission a besoin, faire valider ses actions sensibles par un humain, et journaliser tout ce qu’il fait.

Existe-t-il une norme pour la gouvernance de l’IA ?

Oui. La norme ISO/IEC 42001 publiée en décembre 2023. Elle définit les exigences d’un système de management de l’IA. Elle n’est pas obligatoire, mais elle fournit un cadre reconnu et facilite la démonstration de conformité à l’AI Act.

Gouverner pour accélérer

Les agents IA sont amenés à se multiplier dans votre SI et vous devez les gouverner. Les DSI qui définissent dès maintenant un cadre, un propriétaire par agent, un RACI signé, des droits limités et des logs, se donnent les moyens de monter en puissance sans perdre le contrôle.

Ce n’est pas la gouvernance qui ralentit l’IA. C’est son absence.

Pour aller plus loin

Smartpoint est une ESN pure player Data & IA basée à Paris. Nos équipes accompagnent les DSI et CDO de la gouvernance des données à l‘industrialisation de l’IA en production.

Quel est le propriétaire de vos agents IA ? Un projet Data ou IA ? Parlons-en.