Pourquoi cette mesure ?
Inscrire « validation humaine » dans une procédure ne suffit pas. Si l’agent reçoit un score opaque, n’a que quelques secondes pour le vérifier et est évalué sur son taux d’acceptation, l’intervention humaine peut devenir purement formelle. La mesure 9.12 propose une règle plus exigeante : aucune décision défavorable fondée substantiellement sur un système d’IA n’est matérialisée sans un agent identifiable ayant accès aux éléments pertinents, le temps et la compétence pour contredire l’outil, et une procédure de recours accessible à la personne concernée.
État des lieux en 2026 : partir de ce qui existe vraiment
Le droit actuel contient déjà des garanties. L’article 22 du RGPD encadre les décisions fondées exclusivement sur un traitement automatisé produisant des effets juridiques ou similaires significatifs. La CNIL rappelle les droits d’information, de contestation et d’intervention humaine dans les cas concernés. Le règlement européen sur l’IA ajoute des obligations spécifiques selon la qualification du système ; son calendrier a été modifié en 2026 pour certaines catégories à haut risque. Delta-Sierra choisit néanmoins d’appliquer une règle interne claire avant ces échéances lorsque l’administration prend une décision défavorable.
Source au point d’usage : CNIL — article 22 RGPD ↗
Concevoir, financer et sécuriser la mise en œuvre
Architecture, fonctionnement et conditions techniques
La procédure doit présenter à l’agent les données utilisées, la recommandation, le niveau d’incertitude lorsque pertinent et les règles métier applicables. L’interface doit permettre de refuser ou modifier la recommandation sans obstacle. La raison de la décision finale est enregistrée ; lorsque l’agent s’écarte de l’outil, cela ne doit pas être automatiquement considéré comme une erreur. Des échantillons de décisions validées sont réexaminés pour détecter le biais d’automatisation, c’est-à-dire la tendance humaine à faire confiance à la machine simplement parce qu’elle paraît objective.
Démonstration financière : séparer coût, capacité et économie
Cette garantie a un coût. Le temps de revue humaine doit être inclus dans le calcul économique du cas d’usage. Une automatisation qui économise dix minutes mais impose neuf minutes de vérification n’a pas le même rendement qu’une automatisation avec une revue de deux minutes. Le coût du recours, des corrections et des erreurs doit aussi être suivi. Il est préférable de publier un gain net plus faible mais crédible plutôt qu’un gain brut qui suppose implicitement la disparition du contrôle humain.
Droit applicable et limites à ne pas franchir
La page distingue trois niveaux : interdiction ou encadrement des décisions entièrement automatisées par le RGPD ; obligations du règlement européen sur l’IA pour certaines catégories ; politique Delta-Sierra plus simple et éventuellement plus large pour les décisions défavorables de l’administration. Cette dernière peut être inscrite dans les textes sectoriels et les chartes de déploiement. Elle ne transforme pas toutes les aides techniques — correction orthographique, recherche documentaire — en procédure lourde ; elle vise le moment où l’IA influence substantiellement la décision.
Plans A, B et C : l’objectif survit au blocage d’une voie
règle générale et contrôle humain obligatoire dans les systèmes concernés, avec interface et journalisation standard.
si une loi générale tarde, l’inscrire immédiatement dans les nouveaux marchés et doctrines ministérielles puis dans les codes sectoriels lors de leurs révisions.
lorsqu’un système ne permet pas une supervision humaine effective, le limiter à une tâche préparatoire sans pouvoir de recommandation décisionnelle. Le service peut donc bénéficier de l’IA sans attendre que l’ensemble du cadre juridique soit unifié.
Risques, objections et garde-fous
Le contrôle humain peut ralentir inutilement les décisions simples si son périmètre est mal défini. Inversement, une exception trop large peut vider la garantie de son sens. La page recommande un test : l’outil influence-t-il substantiellement une décision susceptible de retirer un droit, imposer une charge, refuser une prestation ou déclencher un contrôle ? Si oui, la revue doit être réelle. Autre risque : la responsabilité diluée entre l’agent, le fournisseur et le concepteur. La notification doit identifier l’administration responsable, pas renvoyer l’usager vers « l’algorithme ».
Indicateurs, audit et preuve de réussite
Indicateurs : taux de décisions modifiées après revue ; temps de revue ; part de recommandations suivies ; erreurs détectées ; recours ; décisions annulées ; biais par catégorie ; agents formés ; incidents de supervision ; volume de cas où l’outil a été désactivé. Un taux de validation de 99,9 % n’est pas nécessairement une réussite : il peut signaler un outil parfait, mais aussi une revue humaine fictive.
Définir ce qu’est une intervention humaine réelle
Un humain n’exerce pas un contrôle réel s’il clique systématiquement sur « valider » sans disposer du dossier, du temps ou de la possibilité de modifier le résultat. Le dispositif doit donc garantir quatre capacités : comprendre les éléments déterminants, consulter les pièces utiles, contredire la recommandation et motiver la décision finale.
L’interface doit signaler clairement ce qui provient du système et éviter de présenter une suggestion comme une vérité. Les taux de confirmation et d’infirmation sont suivis, mais un taux élevé n’est pas en soi suspect : il devient un signal lorsque les agents déclarent manquer de temps ou lorsque les erreurs détectées en recours augmentent. La supervision humaine est une fonction de travail, pas une mention juridique dans une charte.
Adapter le niveau de contrôle au risque de la décision
Toutes les utilisations de l’IA n’exigent pas la même intervention. Un outil qui reformule un courrier sous le contrôle de son auteur présente un risque différent d’un système qui priorise un contrôle fiscal ou prépare une décision sur un droit.
La doctrine doit définir plusieurs niveaux : assistance sans effet externe, préparation de dossier, recommandation influençant une décision, et cas où une automatisation est interdite ou fortement encadrée. Plus l’effet sur la personne est significatif, plus le contrôle humain doit être explicite, documenté et compétent. Cette proportionnalité évite de bloquer des usages simples tout en concentrant les garanties là où une erreur peut produire un effet juridique, financier ou social important.
Former l’agent à résister au biais d’automatisation
Une recommandation informatique bénéficie souvent d’une apparence d’objectivité. L’agent peut la suivre même lorsqu’il aurait repéré une anomalie sans outil. La formation doit donc inclure des cas où le système se trompe, des scénarios contradictoires et des exercices où il faut refuser la recommandation.
L’interface peut également afficher les limites, la confiance ou les éléments manquants plutôt qu’une conclusion binaire. Les responsables suivent les erreurs de confirmation et les recours. L’objectif n’est pas de rendre l’agent méfiant de toute technologie, mais de maintenir son jugement. Une intervention humaine réelle suppose que l’organisation accepte qu’un agent ralentisse ou contredise le système lorsque le dossier l’exige.
Tracer sans créer une surveillance individuelle permanente des agents
La traçabilité doit permettre de reconstruire une décision : version du système, données pertinentes, suggestion produite, validation ou modification et identité de l’autorité responsable. Elle ne doit pas servir automatiquement à noter les agents selon leur taux d’accord avec la machine. Un agent qui contredit souvent un outil peut avoir raison ou traiter des dossiers plus complexes.
Les données de supervision doivent donc être utilisées d’abord pour l’audit des processus, avec des garanties sur leur usage managérial. Les durées de conservation sont proportionnées aux besoins juridiques et d’audit. Cette distinction est importante pour obtenir l’adhésion des agents et éviter que le contrôle humain soit paradoxalement transformé en mécanisme de conformité au modèle.
Prévoir le recours lorsque l’outil a influencé une décision
La personne concernée doit pouvoir contester la décision selon les voies existantes. Lorsque l’usage de l’IA est matériel pour comprendre le dossier, l’administration doit conserver les éléments nécessaires à l’examen du recours. Le recours ne porte pas nécessairement sur le code du modèle ; il porte sur les faits, règles, motifs et éventuelles erreurs qui ont conduit à la décision.
Les services chargés du recours doivent pouvoir voir qu’un outil a été utilisé et ne pas dépendre uniquement du même résultat automatisé. Cette séparation crée une vraie deuxième lecture. Les taux d’infirmation en recours constituent ensuite un indicateur essentiel : ils peuvent révéler un problème de données, de modèle, de formation ou de procédure.
Approfondissement opérationnel et conditions de réussite
Dimensionner le contrôle humain : une obligation sans temps disponible est fictive
Exiger une validation humaine n’a de sens que si l’agent dispose du temps, de la compétence et de l’information nécessaires pour contester la machine. Le dossier de déploiement estime donc le volume de décisions à revoir, le temps moyen de revue et l’effectif requis. Si l’outil produit dix fois plus de propositions que les agents ne peuvent en examiner sérieusement, le dispositif doit réduire son débit ou augmenter la capacité de contrôle. Les interfaces présentent les éléments pertinents sans pousser automatiquement l’utilisateur vers la recommandation. Les échantillons de contrôle mesurent notamment les validations trop rapides et les divergences entre agents. La présence formelle d’un clic humain n’est jamais comptée comme garantie suffisante.
Définir les décisions qui exigent un niveau de contrôle renforcé
Toutes les utilisations n’ont pas la même conséquence. Résumer une note interne, prioriser un dossier et préparer une décision défavorable ne relèvent pas du même niveau de risque. La matrice de contrôle classe les cas selon les effets sur les droits, la possibilité de recours, la sensibilité des données et la difficulté de détecter une erreur. Plus le risque est élevé, plus la revue humaine doit être explicite, traçable et réalisée par une personne compétente. Pour les usages à faible conséquence, un contrôle par échantillon peut parfois être plus proportionné. Cette graduation évite deux excès : prétendre qu’aucune supervision n’est nécessaire ou imposer la même procédure lourde à chaque usage.
Classer les usages selon l’effet possible sur les droits et la difficulté de corriger une erreur
La matrice de risque distingue l’assistance sans effet externe, la préparation d’un acte, la priorisation d’un dossier, la recommandation influençant une décision et les usages dont l’erreur peut produire un effet important difficile à réparer. Le niveau de contrôle humain augmente avec ces facteurs. Un résumé interne peut être vérifié par son auteur ; une décision défavorable exige une revue plus formalisée par une personne compétente. La matrice tient compte aussi du volume : une petite erreur répétée des centaines de milliers de fois peut devenir un risque majeur. Cette graduation permet de concentrer les ressources de contrôle là où elles sont utiles plutôt que d’ajouter un clic humain identique à tous les usages.
Concevoir l’interface pour aider l’agent à réfléchir plutôt qu’à approuver
L’ergonomie influence le contrôle. Une interface qui place une grande recommandation colorée avant les éléments du dossier encourage l’approbation automatique. Le système présente donc les informations pertinentes, la confiance ou les limites lorsque cela a du sens, et permet de consulter les pièces avant la proposition. Pour certains cas, l’agent peut être invité à formuler d’abord son appréciation ou à choisir un motif de désaccord. Les temps de revue anormalement courts sont analysés sans transformer la mesure en surveillance individuelle punitive. Des tests utilisateurs vérifient si l’outil augmente ou réduit la vigilance. Le contrôle humain est ainsi conçu comme une fonction de l’interface, de l’organisation et de la compétence, pas comme un simple attribut juridique.
Dimensionner les effectifs de revue à partir du flux maximal de décisions
Le dossier calcule le volume quotidien ou mensuel de propositions nécessitant une revue, le temps médian et les cas complexes. Il en déduit une capacité nécessaire et prévoit la gestion des pics. Si la capacité humaine est insuffisante, le système réduit le périmètre, priorise ou revient à une procédure différente ; il ne transforme pas la validation en formalité de quelques secondes. Les absences, formations et tâches annexes sont prises en compte. Les gains de temps revendiqués retranchent ce coût de revue. Cette démarche est particulièrement importante lorsque le système augmente le nombre de dossiers pouvant être traités : la supervision doit évoluer avec le débit, sinon l’automatisation crée un goulot d’étranglement ou une validation fictive.
Garantir que le recours puisse reconstituer le rôle joué par l’outil
Lorsqu’une personne conteste une décision, l’administration doit pouvoir identifier si un système a contribué à l’analyse, quelle version était utilisée et quel agent a exercé la responsabilité finale, selon les règles applicables. Le dossier de recours n’a pas besoin d’exposer des secrets techniques inutiles ; il doit contenir les éléments permettant d’examiner le motif réel de la décision et les éventuelles erreurs. Les corrections importantes alimentent ensuite le suivi qualité du système. Cette boucle entre recours et amélioration est précieuse : elle transforme les contestations en source de détection des défauts. Elle garantit surtout qu’une modernisation technique ne rende pas plus difficile l’exercice des droits existants.
Sources primaires et institutionnelles
Les affirmations de droit ou d’état de l’art ci-dessus sont rattachées à des sources publiques. Les hypothèses propres au Plan Delta-Sierra sont signalées comme propositions et ne sont pas présentées comme des chiffres officiels.
Date de vérification : 12 août 2026. Le cadre de l’IA évolue rapidement ; les dates d’application du règlement européen sont vérifiées contre le règlement (UE) 2026/1744.