Une hallucination sur une extraction de données ne se voit pas à l’œil, elle se mesure champ par champ.
- Une valeur inventée ressemble à une valeur juste : elle est bien formatée, plausible, et rien dans la sortie du modèle ne la distingue des valeurs correctes du même lot.
- Une phrase de consigne fait la plus grosse part du travail : sur le benchmark publié par Earn an Honest Dollar le 27 septembre 2026, autoriser la valeur nulle et interdire de deviner fait passer les champs inventés de 70,7 % à 20,2 % des champs absents.
- Une relecture valeur par valeur coûte des centimes : dans le même test, le vérificateur le plus performant a repéré 38 valeurs inventées sur 49 sans rejeter une seule des 47 valeurs correctes, pour 0,0049 $ sur 126 paires page-valeur.
- IA Agency construit pour chaque chaîne d’extraction un jeu de référence sur vos documents réels, puis mesure le taux d’invention champ par champ avant toute mise en production.
Un lot de factures passe dans votre agent d’extraction. Sur l’une d’elles, la case « date d’échéance » est vide. L’agent remonte pourtant une date, au bon format, cohérente avec la date d’émission. Elle est plausible, elle est fausse, et rien dans le fichier de sortie ne la distingue des valeurs correctes du même lot.
Le blocage n’est pas le taux d’erreur, c’est l’absence de signal. Une hallucination d’IA désigne une information produite par un modèle de langage qui paraît crédible mais ne repose sur aucune source réelle, une définition que publient aussi bien Google Cloud que les éditeurs de modèles génératifs. Sur une tâche d’extraction, ce phénomène a une forme bien plus précise : le modèle ne signale pas les champs qu’il n’a pas repérés dans la page, il les remplit.
Cet article ne porte ni sur les hallucinations de chatbot grand public, ni sur les causes profondes liées aux données d’entraînement. Il répond à une seule question : comment savoir, sur vos propres documents, quelle proportion des valeurs remontées par votre agent a réellement été lue, et quoi faire du reste.
À quoi ressemble une hallucination sur une extraction de données ?
Une hallucination sur une extraction de données se présente sous trois formes, et aucune des trois ne ressemble à un message d’erreur. Le modèle rend un résultat complet, bien formaté, immédiatement exploitable par le système qui le reçoit : c’est exactement ce qui la rend difficile à repérer.
- Le champ vide rempli : la donnée n’existe pas dans le document et l’agent produit quand même une valeur crédible. C’est le mode de défaillance dominant sur les formulaires manuscrits, où l’IDP Leaderboard de Nanonets, publié le 11 mars 2026 sur plus de 9 000 documents réels, relève que tous les modèles se tiennent entre 80 et 84 % et renseignent des valeurs pour des champs laissés vides sur le formulaire.
- Le leurre recopié : le document porte une valeur voisine, l’agent la promeut au rang de réponse. Dans le benchmark d’Earn an Honest Dollar du 27 septembre 2026, une page affichant « Was $493.00 », c’est-à-dire un ancien prix, a conduit les 16 modèles testés sur 16 à donner 493 comme prix courant.
- Le champ confondu : l’agent lit bien une valeur dans la page, mais pas celle qu’on lui demandait. Un temps de repos ou un temps de cuisson remonté comme temps de préparation reste la forme la plus discrète, et la plus difficile à attraper automatiquement.
Ces trois formes partagent un trait décisif : elles produisent une sortie valide au sens du schéma. Un contrôle qui vérifie la présence et le type des champs les laisse toutes passer, et c’est pour cette raison qu’un projet d’agents IA branché sur des documents réclame un dispositif de mesure distinct de ses tests techniques habituels.
Pourquoi un agent IA remplit-il un champ absent du document ?
Un agent IA d’extraction remplit un champ absent parce que rien, dans la façon dont il est sollicité, ne lui donne le droit de ne pas répondre. On lui demande un objet structuré portant une liste de clés, il produit un objet structuré portant cette liste de clés. L’absence d’information dans le document n’est pas, pour lui, un résultat attendu.
S’y ajoute la mécanique même de la génération. Un modèle de langage produit le mot suivant le plus probable au vu de ce qui précède. Devant un champ « date d’échéance » et une facture, une date est infiniment plus probable qu’un refus de répondre. Le modèle ne ment pas, il complète.
Une étude publiée sur arXiv le 9 mars 2026 (arXiv:2603.08274) a mesuré ce comportement sur 35 modèles à poids ouverts et plus de 172 milliards de jetons d’évaluation, en questions-réponses ancrées dans des documents fournis. Son résultat le plus utile tient en une phrase : retrouver un fait et ne pas en inventer un sont deux capacités distinctes, et un modèle excellent pour retrouver une information peut fabriquer des informations qui n’existent pas. C’est le premier point que nous vérifions, en tant qu’agence IA, avant de regarder le moindre taux global.
Pour mesurer ce réflexe chez vous, IA Agency constitue un jeu de référence à partir de vos documents réels, la moitié portant le champ visé, l’autre moitié ne le portant pas. Seules les secondes comptent vraiment, parce que ce sont elles qui révèlent le taux d’invention. Sur des corpus de contrats et de pièces, c’est le premier livrable de nos missions pour les cabinets d’avocats, avant toute mise en production.
À lire également : Qu’est-ce qu’un agent IA ? Guide complet pour maîtriser cette révolution technologique
Où l’erreur se produit-elle dans la chaîne d’extraction ?
Dans une chaîne d’extraction, l’erreur ne naît pas au même endroit selon le document et selon la consigne. Quatre points de rupture reviennent, et chacun appelle une correction différente :
- La lecture du support : un scan dégradé ou une écriture manuscrite abîme la source avant même que le modèle raisonne.
- La mise en page : un tableau sans filets, des cellules dispersées, une colonne coupée entre deux pages.
- La longueur : plus le document est long, plus le risque de fabrication augmente.
- Le schéma de sortie et la consigne : une liste de clés obligatoires, sans valeur nulle autorisée, force le modèle à produire quelque chose.
Le document et sa mise en page
La qualité du support fixe le plafond de toute la chaîne d’extraction. L’IDP Leaderboard de Nanonets, publié le 11 mars 2026 sur plus de 9 000 documents réels, mesure une reconnaissance de l’écriture manuscrite qui n’a pas dépassé 76 %, contre plus de 98 % sur du texte imprimé numérique. Sur les tableaux creux et non structurés, cellules dispersées, beaucoup de vides, pas de filets, la plupart des modèles restent sous 55 %, contre plus de 96 % sur des tableaux denses et structurés. Améliorer la numérisation coûte presque toujours moins cher que de remplacer le modèle.
La longueur du document
La fenêtre de contexte d’un modèle n’est pas neutre sur la fiabilité d’une extraction. L’étude arXiv:2603.08274 du 9 mars 2026 a évalué 35 modèles à poids ouverts sur trois longueurs de contexte. À 32K jetons, le meilleur taux de fabrication mesuré est de 1,19 %, les modèles de premier plan se situant entre 5 et 7 %. Ce taux triple presque à 128K jetons. À 200K, il dépasse 10 % pour tous les modèles, le meilleur restant à 10,25 %. Découper un dossier long en unités courtes, page par page ou section par section, est le geste technique le plus rentable de cette liste.
Le schéma de sortie et la consigne
Le dernier point de rupture d’une chaîne d’extraction est celui que vous contrôlez entièrement. Un schéma qui déclare tous les champs obligatoires, sans type nul autorisé, interdit au modèle de dire qu’il n’a rien repéré. La consigne fait le reste : sans phrase explicite l’autorisant à laisser un champ vide, le modèle considère qu’une réponse est attendue pour chaque clé. Ces deux réglages relèvent du paramétrage et non du modèle, ce qui les rend précieux : ils se corrigent en une itération, sans rien remplacer. Une chaîne d’automatisation IA bien conçue les expose comme des paramètres, jamais comme du code figé.
« La vraie question n’est pas de savoir si le modèle se trompe : il se trompera. C’est de savoir s’il est capable de dire qu’il ne sait pas. Un agent qui rend une valeur nulle honnête vaut mieux qu’un agent qui a presque toujours raison sans jamais prévenir quand il se trompe. »
Que faut-il mesurer pour savoir si vos extractions sont fiables ?
Mesurer la fiabilité d’une extraction de données suppose de compter autre chose qu’un taux de réussite global. Un score agrégé sur l’ensemble de vos champs ne dit rien du champ qui déclenche un paiement. Les cinq indicateurs ci-dessous se calculent sur un jeu de référence, c’est-à-dire un lot de documents dont les valeurs attendues ont été établies à la main.
| Indicateur | Ce qu’il mesure | Ce qu’il ne voit pas |
|---|---|---|
| Taux de champs inventés | La part de valeurs produites alors que le document ne portait rien | Les champs présents dans la page mais mal lus |
| Exactitude champ par champ | La justesse de chaque champ pris séparément | Le coût métier d’une erreur, qui varie d’un champ à l’autre |
| Valeur nulle rendue à raison | La capacité du modèle à dire qu’il n’a rien repéré | Les cas où il laisse vide un champ pourtant présent |
| Rejet d’une valeur correcte | Le sur-zèle du dispositif de vérification | Les valeurs fausses que la vérification a laissées passer |
| Exactitude globale du lot | Une tendance d’ensemble, utile au suivi dans le temps | Tout ce qui se joue au niveau d’un champ unique |
Le premier indicateur se calcule uniquement sur les documents où le champ est absent : c’est le protocole retenu par le benchmark d’Earn an Honest Dollar du 27 septembre 2026, et c’est le seul moyen d’isoler l’invention de la simple erreur de lecture. Le quatrième compte autant que les autres, car un dispositif qui refuse des valeurs justes consomme du temps humain sans rien fiabiliser. Poser ces cinq compteurs sur vos propres documents relève d’un travail d’audit et conseil IA ordinaire, et se fait une fois pour toutes.
La consigne qui interdit de deviner suffit-elle ?
La consigne qui interdit de deviner est le réglage le moins coûteux d’une chaîne d’extraction, et le plus efficace mesuré à ce jour. Le benchmark publié par Earn an Honest Dollar le 27 septembre 2026 l’a éprouvé sur 42 paires de pages synthétiques couvrant 7 types de page : dans chaque paire, une page porte la valeur demandée, l’autre ne la porte pas mais garde un leurre, par exemple un ancien prix. Seules les pages où le champ était absent ont été comptées.
| Ce qui est mesuré | Sans la consigne | Avec la consigne |
|---|---|---|
| Champs inventés sur champs absents | 405 sur 573, soit 70,7 % | 116 sur 574, soit 20,2 % |
| Modèles concernés | Les 16 modèles testés inventent | Les 16 en inventent moins, sans aucune exception |
| Page portant le leurre « Was $493.00 » | 16 modèles sur 16 donnent 493 comme prix courant | 1 seul le fait |
La consigne employée tient en une ligne, et son ordre porte le sens : elle autorise d’abord la valeur nulle sur tout champ absent de la page, puis interdit de deviner. Le meilleur résultat mesuré avec elle descend à 1 champ inventé sur 36.
Trois limites doivent accompagner ces chiffres, et la source les énonce elle-même : un seul passage par participant, des pages synthétiques dont les leurres ont été écrits par l’auteur du test, et un périmètre restreint à l’extraction depuis le web. L’ordre de grandeur est net, la loi générale n’existe pas. Sur vos factures ou vos contrats, la seule mesure qui compte reste celle que vous ferez sur votre propre jeu de référence.
Avant d’envisager un modèle plus cher ou une architecture plus lourde, faites les deux réglages gratuits dans cet ordre, autorisez le type nul dans votre schéma de sortie, puis exigez-le dans la consigne. Tant que le schéma interdit l’absence, aucune formulation ne fera dire au modèle qu’il ne sait pas. Le même réflexe vaut pour un chatbot IA branché sur votre base documentaire.
Pour en savoir plus : Contrôle éditorial des contenus IA : faut-il tout valider avant publication ?
Comment faire relire chaque valeur par un second modèle ?
La relecture par un second modèle consiste à soumettre chaque valeur produite, une par une, à un modèle bon marché dont la seule question est de savoir si la page soutient cette valeur. Ce n’est pas un second extracteur, c’est un juge, et sa tâche est nettement plus simple que celle du premier.
- Isoler une paire : une valeur rendue par l’extracteur, et le passage du document censé la porter.
- Poser au vérificateur une question fermée, sans lui montrer la consigne d’origine ni les autres champs.
- Exiger une sortie binaire, soutenue ou non soutenue, avec la citation exacte du passage quand la réponse est positive.
- Marquer comme nulles les valeurs non soutenues, jamais les corriger automatiquement.
- Router les valeurs marquées vers un point de contrôle humain, en commençant par les champs à enjeu.
Les résultats mesurés par Earn an Honest Dollar le 27 septembre 2026 donnent la portée réelle de cette étape. Le premier vérificateur a détecté 38 valeurs inventées sur 49, le second 23 sur 49. Aucun des deux n’a rejeté une valeur correcte, soit 0 sur 47 pour le premier et 0 sur 48 pour le second. La vérification des 126 paires page-valeur uniques a coûté 0,0049 $ avec le premier vérificateur et 0,0024 $ avec le second.
La limite est nette et il faut la connaître : le second vérificateur attrape les leurres évidents, mauvais auteur ou mauvais prix, mais manque les cas de sens voisin. Un temps de repos, un temps de cuisson ou un temps total rendus comme temps de préparation lui ont échappé, avec 0 détection sur 6. Une relecture automatique réduit donc le bruit, elle ne remplace pas la lecture d’une personne sur les champs qui engagent. Brancher cette étape ne demande pas de réécrire votre chaîne : elle se pose souvent en développement no-code, entre l’extracteur et le système cible.
« Mesurer un champ à la fois coûte une demi-journée et remplace six mois de doute. Tant que personne n’a écrit les valeurs attendues à la main sur un lot de vrais documents, la fiabilité de votre agent reste une opinion, et c’est toujours celle de la personne qui l’a installé. »
Quels garde-fous poser autour du modèle lui-même ?
Les garde-fous d’un agent d’extraction se posent autour du modèle et non dedans, ce qui les rend durables : ils survivent à son remplacement. Trois s’installent dans le code, un quatrième dans l’organisation, et ils se déploient dans cet ordre, du moins coûteux au plus engageant :
- Déclarer un schéma strict, avec le type nul autorisé sur chaque champ qui peut manquer.
- Ajouter les contrôles de type, de format et de bornes, qui ne réclament aucun modèle.
- Exiger la provenance : pour chaque valeur, la citation du passage qui la soutient dans le document.
- Fixer le seuil à partir duquel une valeur part en relecture humaine, champ par champ.
Schéma strict et valeur nulle
Un schéma strict décrit ce que l’agent d’extraction a le droit de rendre : les clés, leurs types, et surtout la possibilité de rendre une valeur nulle. Sans ce type nul, la consigne qui interdit de deviner n’a nulle part où atterrir, et le modèle produira une chaîne vide ou une valeur fabriquée plutôt qu’un refus. Déclarez le nul comme une réponse valide et journalisez-le comme tel : un champ nul n’est pas un échec, c’est une information sur le document.
Contrôles de type et de cohérence
Les contrôles de cohérence attrapent ce qu’aucun modèle ne verra, et ils ne coûtent rien à l’exécution. Une date d’échéance antérieure à la date d’émission, un montant de taxe incompatible avec le total, un identifiant dont la clé de contrôle tombe faux : ces règles sont déterministes, testables, et elles ne dérivent pas quand vous remplacez le modèle. Elles ne détectent pas une valeur inventée plausible, mais elles éliminent l’essentiel des valeurs inventées absurdes, pour un coût de calcul nul.
Provenance par champ
La provenance consiste à exiger de l’agent, pour chaque valeur produite, la citation exacte du fragment de document qui la porte. Le gain est double : ces citations se vérifient automatiquement par simple recherche de texte dans la page, et une valeur sans provenance vérifiable devient, par construction, une valeur nulle. C’est le garde-fou qui rend tous les autres mesurables, parce qu’il transforme une question d’opinion en test. Il réclame un peu de développement IA autour de l’appel au modèle, rarement davantage.
Quels champs partent en relecture humaine ?
La relecture humaine d’une extraction ne se décide pas par lot, elle se décide par champ. Le critère n’est pas le taux d’erreur du modèle, c’est la conséquence d’une erreur : un montant qui déclenche un virement, une date qui ouvre un droit, un identifiant qui rattache un dossier à une personne. Sur ces champs, une valeur marquée non soutenue part vers une personne identifiée, avec le passage du document sous les yeux ; sur les autres, un contrôle par échantillon suffit. Le règlement (UE) 2024/1689 sur l’intelligence artificielle impose d’ailleurs, à son article 14, un contrôle humain effectif sur les systèmes d’IA à haut risque.
Un score global de 95 % ne dit rien de la fiabilité d’un champ pris isolément. Il peut parfaitement recouvrir 100 % d’erreurs sur le seul champ qui déclenche un paiement, noyées dans la réussite de tous les autres. Publiez vos taux champ par champ, et regardez en premier celui dont l’erreur coûte le plus cher.
Comment tester un prestataire sur vos propres documents ?
Tester un prestataire d’extraction de données se fait sur vos documents, jamais sur sa démonstration. Une démonstration est bâtie sur des cas favorables, et la question qui compte ne porte pas sur ce que l’agent réussit : elle porte sur ce qu’il fait quand la donnée n’est pas là. Les questions ci-dessous se posent avant de signer, et chacune appelle un élément vérifiable plutôt qu’une intention.
- Sur un lot de nos documents dont la moitié ne porte pas le champ visé, quel est le taux de valeurs inventées ?
- Votre schéma de sortie autorise-t-il la valeur nulle, et la consigne l’exige-t-elle explicitement ?
- Rendez-vous, pour chaque valeur, la citation du passage du document qui la soutient ?
- Quels contrôles de cohérence tournent sans modèle, et lesquels bloquent réellement une sortie ?
- Quel est votre taux de rejet de valeurs correctes, et sur quel jeu de référence le mesurez-vous ?
- Que se passe-t-il, dans notre système cible, quand une valeur part en relecture humaine ?
Le protocole d’essai tient en une journée : constituez le lot, écrivez les valeurs attendues à la main, faites tourner l’agent, comparez. Exigez que le prestataire travaille à l’aveugle, sans voir les réponses attendues, et que le résultat vous soit rendu champ par champ plutôt qu’en moyenne. Un prestataire qui refuse ce test, ou qui ne sait pas produire un taux d’invention sur les documents où le champ est absent, ne mesure pas ce qu’il vous vend.
À découvrir absolument : Pourquoi tant de projets d’agents IA autonomes échouent-ils avant d’atteindre la production ?
Pourquoi confier la fiabilité de vos extractions à IA Agency ?
IA Agency conçoit et déploie des agents IA d’extraction pour des entreprises françaises, et commence chaque projet par la mesure plutôt que par l’outil. Nous partons de vos documents et de vos systèmes, jamais d’une démonstration montée sur des cas favorables.
Notre méthode sur une chaîne d’extraction ne varie pas : un jeu de référence construit sur vos documents réels, un taux d’invention calculé champ par champ sur les documents où la donnée est absente, puis les réglages appliqués par ordre de coût croissant, schéma, consigne, vérification automatique, provenance.
Nous documentons ce que l’agent a le droit de laisser vide, et ce qui part en relecture humaine. Un projet qui ne sait pas dire quelle proportion de ses valeurs a été réellement lue dans le document n’est pas prêt pour la production, et nous préférons l’écrire avant plutôt que de le découvrir après.
Obtenez votre devis personnalisé
Ce qu’il faut retenir avant de brancher un agent sur vos documents
Ce qui se mesure tient en trois compteurs : le taux de valeurs inventées sur les documents où le champ est absent, l’exactitude champ par champ, et le taux de valeurs correctes rejetées par votre vérification. Aucun des trois ne se déduit d’un score global, et aucun ne s’obtient sans un jeu de référence établi à la main.
Ce qui se corrige suit le même ordre, du gratuit au coûteux : autoriser la valeur nulle dans le schéma, l’exiger dans la consigne, faire relire chaque valeur par un second modèle, exiger la provenance, puis réserver la relecture humaine aux champs qui engagent. Le benchmark du 27 septembre 2026 a mesuré 70,7 % de champs inventés sans la consigne contre 20,2 % avec, sur un protocole limité mais explicite : la première marche est presque gratuite.
Si un agent remonte déjà des données dans vos systèmes sans que personne ne sache quelle part a réellement été lue dans les documents : demandez votre audit IA.
Quel est le taux d’hallucination d’un agent IA sur une extraction de données ?
Aucun taux général ne s’applique, parce qu’il dépend de la tâche, du document et de la consigne. Les mesures publiées donnent en revanche des ordres de grandeur précis. Sur des champs absents de la page, le benchmark d’Earn an Honest Dollar du 27 septembre 2026 relève 70,7 % de valeurs inventées sans consigne dédiée, et 20,2 % avec. Sur des questions ancrées dans un document, l’étude arXiv:2603.08274 du 9 mars 2026 descend à 1,19 % au mieux.
Que sont exactement les hallucinations de l’intelligence artificielle ?
Les hallucinations de l’intelligence artificielle sont des informations produites par un modèle de langage qui paraissent crédibles mais ne reposent sur aucune source réelle. La définition varie peu d’un éditeur à l’autre, de Google Cloud aux fournisseurs de modèles à poids ouverts. Sur une tâche d’extraction, le phénomène a une forme unique : un champ que le document ne porte pas revient rempli d’une valeur bien formatée.
Quels sont les risques d’une hallucination non détectée en entreprise ?
Le risque n’est pas le texte faux, c’est l’action qu’il déclenche. Une date d’échéance inventée programme un paiement, un montant inventé fausse une écriture comptable, un identifiant inventé rattache un dossier à la mauvaise personne. Le règlement (UE) 2024/1689 impose à son article 14 un contrôle humain effectif sur les systèmes d’IA à haut risque, précisément parce que la sortie alimente une décision.
Quels types d’erreurs faut-il distinguer d’une hallucination ?
Trois familles se confondent souvent. L’erreur de lecture vient du support, écriture manuscrite ou scan dégradé. Le champ confondu vient de la consigne : le modèle lit une valeur réelle, mais pas la bonne, comme un temps de cuisson rendu comme temps de préparation. L’invention, elle, produit une valeur que le document ne porte nulle part. Seule la troisième est une hallucination, et seule elle se mesure sur les documents où le champ est absent.
Le RAG suffit-il à empêcher un agent IA d’inventer une valeur ?
Non. Le RAG, qui ancre la réponse dans des documents récupérés d’une base de recherche documentaire, réduit le risque sans l’annuler. L’étude arXiv:2603.08274 du 9 mars 2026 porte justement sur des questions-réponses ancrées dans des documents fournis, donc dans la situation la plus favorable au RAG : à 200K jetons de contexte, le taux de fabrication dépasse encore 10 % pour tous les modèles évalués.
Un modèle plus récent hallucine-t-il moins sur une extraction ?
Pas forcément. L’étude arXiv:2603.08274 du 9 mars 2026, menée sur 35 modèles à poids ouverts, relève que la famille du modèle prédit mieux la résistance à la fabrication que sa taille, et que l’exactitude globale s’étale sur 72 points de pourcentage. Retrouver un fait et ne pas en inventer un sont deux capacités distinctes : un modèle excellent sur la première peut échouer sur la seconde.
Faut-il baisser la température du modèle pour réduire les inventions ?
Baisser la température rend les sorties plus reproductibles, pas plus fidèles au document : un modèle rendu déterministe invente la même valeur à chaque passage. Le levier réellement mesuré reste la consigne et le schéma. Sur le benchmark d’Earn an Honest Dollar du 27 septembre 2026, autoriser la valeur nulle et interdire de deviner fait chuter les champs inventés de 70,7 % à 20,2 %, sans toucher au moindre paramètre de génération.
Pourquoi les documents longs augmentent-ils le risque d’invention ?
Parce que le taux de fabrication croît avec la longueur du contexte. L’étude arXiv:2603.08274 du 9 mars 2026 mesure, sur 35 modèles à poids ouverts et plus de 172 milliards de jetons d’évaluation, un meilleur taux de 1,19 % à 32K jetons, un triplement quasi complet à 128K, et un dépassement de 10 % pour tous les modèles à 200K. Découper le document en unités courtes réduit mécaniquement l’exposition.
Comment repérer une hallucination sur un tableau ou un scan manuscrit ?
En comparant chaque valeur rendue au fragment de document censé la porter, jamais à l’œil sur la sortie. Ces deux supports concentrent les défaillances : l’IDP Leaderboard de Nanonets du 11 mars 2026 mesure une reconnaissance de l’écriture manuscrite à 76 % au plus, contre plus de 98 % sur du texte imprimé, et la plupart des modèles restent sous 55 % sur les tableaux creux, contre plus de 96 % sur les tableaux structurés.
Combien de documents faut-il pour construire un jeu de référence utile ?
Moins qu’on ne le croit, à condition d’équilibrer le lot. Le protocole du benchmark du 27 septembre 2026 repose sur 42 paires de pages et 7 types de page, chaque paire opposant une page qui porte la valeur à une page qui ne la porte pas. Transposé chez vous : quelques dizaines de documents par champ visé, dont la moitié sans la donnée, suffisent à obtenir un taux d’invention exploitable.
Quelles obligations de traçabilité pèsent sur une donnée extraite par IA ?
Le règlement (UE) 2024/1689 sur l’intelligence artificielle encadre les systèmes d’IA à haut risque et impose, à son article 14, un contrôle humain effectif sur leur fonctionnement. En pratique, cela suppose de conserver pour chaque valeur extraite sa provenance dans le document, la version du modèle employée et la décision humaine éventuelle. Sans cette trace, aucune valeur ne peut être rejouée des mois plus tard.
Qui est responsable quand une donnée inventée déclenche un paiement ?
L’entreprise qui exploite la sortie, pas le modèle qui l’a produite. C’est la logique du règlement (UE) 2024/1689, dont l’article 14 place le contrôle humain effectif à la charge de celui qui déploie le système. Concrètement, désignez pour chaque champ à enjeu un responsable nommé, et faites en sorte qu’une valeur non soutenue par le document lui parvienne avant l’exécution, jamais après.
Qu’est-ce que l’IA agentique ?
L’IA agentique désigne des systèmes qui reçoivent un objectif, planifient leurs étapes et exécutent des actions dans vos outils, là où un chatbot se contente de rendre une réponse à l’écran. Ses composants sont un modèle de langage (LLM), une mémoire de travail et une couche d’actions : un agent d’extraction lit un document, remplit un schéma, puis écrit dans un système métier. Le NIST en publie le cadre de gouvernance des risques (AI 100-1).
L’action d’un agent IA amplifie-t-elle le risque d’hallucination ?
Elle n’augmente pas le taux d’invention, elle en augmente le coût. Un chatbot affiche une réponse fausse à une personne qui peut la corriger ; un agent d’extraction écrit la valeur dans votre système de facturation, où plus personne ne la relit. C’est pour cette raison que le point de contrôle se place avant l’écriture, sur les champs à enjeu, et jamais sur la relecture du journal après coup.
Comment sécuriser l’extraction de données sensibles par un agent IA ?
La sécurité d’un agent IA qui traite des documents sensibles repose sur trois exigences, avant même le choix du modèle : restreindre les documents accessibles à ceux que la tâche réclame, exiger la citation du passage source de chaque valeur produite, journaliser la version du modèle à chaque extraction. La conformité tient à cette trace : une valeur non soutenue par le document devient nulle et part en relecture humaine, jamais corrigée par un second appel.
Article mis à jour le 1 octobre 2026.
Ressources et liens utiles
- Earn an Honest Dollar, « Calling the AI bluff: “Do not guess” cut made-up fields from 70.7% to 20.2% », 27 septembre 2026
- JV Roig, « How Much Do LLMs Hallucinate in Document Q&A Scenarios? A 172-Billion-Token Study », arXiv:2603.08274, 9 mars 2026
- Nanonets, IDP Leaderboard 1.5, 11 mars 2026
- Google Cloud, « Qu’est-ce que les hallucinations de l’IA ? »
- NIST, AI Risk Management Framework (AI 100-1)
- Règlement (UE) 2024/1689 sur l’intelligence artificielle, article 14 (contrôle humain)
Savoir ce que votre agent a vraiment lu
Jeu de référence, taux de valeurs inventées, exactitude champ par champ : la mesure avant l’outil.
Demander mon audit IA →
