Enterprise Search
Évaluer des agents IA en entreprise : mesurer séparément erreurs, questions en retour et retouches
En phase pilote, un agent IA fait souvent bonne impression. S'il fait gagner, en exploitation, plus de travail que n'en coûtent le contrôle et la maintenance, un taux de réussite ne le montre pas à lui seul. Il faut pour cela relever séparément les erreurs, les questions en retour et les retouches. Cet article décrit un test de recette pour le bureau, que vous pouvez mener avec vos propres cas.
par Sebastian @searchit · · 11 min de lecture
Généré par IARépondre aux e-mails, saisir des rendez-vous, préparer des offres – ce sont des exemples typiques d'agents IA au bureau, et chacun d'eux utilise plusieurs outils l'un après l'autre. En phase pilote, une seule chose compte le plus souvent : le bon résultat est-il sorti à la fin ? Pour décider de la mise en exploitation, cela ne me suffit pas. Un agent qui traite correctement neuf demandes sur dix peut malgré tout donner plus de travail qu'il n'en épargne – parce qu'il pose sans cesse des questions, parce que quelqu'un doit vérifier chaque résultat, ou parce que l'unique erreur était un e-mail erroné envoyé à un client.
Une précision d'abord : nous sommes l'éditeur de searchit. Le test de recette ci-dessous est une ébauche de méthode issue de notre propre travail, inspirée des Evaluation best practices d'OpenAI. Ce n'est pas une norme. Mon conseil pour l'introduction de l'IA en entreprise : adaptez le test à vos processus et vérifiez chaque résultat sur vos propres données – chez chaque éditeur.
En bref
- Un taux masque trop de choses. Comptez séparément les erreurs, les questions en retour, les retouches et l'effort de contrôle.
- Les erreurs ont des classes. Une phrase erronée dans un brouillon n'a rien à voir avec un e-mail envoyé au mauvais destinataire. Une erreur avec effet externe n'entre jamais dans la moyenne.
- Le résultat attendu est fixé avant le test – par quelqu'un qui connaît le processus, ni par l'agent, ni après l'exécution.
- On teste sans effet externe : en brouillon, en essai à blanc ou avec un compte de test doté de droits réalistes.
- Le bilan met en regard le temps gagné et l'effort de vérification, de retouche et de maintenance – et il est refait après chaque modification.
Pourquoi un taux de réussite ne suffit pas
« L'agent traite correctement 90 % des cas » sonne comme une réponse claire. Pour l'exploitation, les questions décisives restent pourtant ouvertes :
- Comment est-il arrivé au bout ? Seul, après deux questions en retour, ou seulement après que quelqu'un a retravaillé le résultat ?
- Que coûte le contrôle ? Faut-il vérifier chaque résultat ou des sondages suffisent-ils ?
- Que s'est-il passé dans les autres cas ? L'agent s'est-il arrêté en le signalant – ou a-t-il livré un résultat faux que personne n'a remarqué ?
- Que coûte la maintenance ? Les instructions, les droits et les outils changent ; un nouveau modèle de langage se comporte autrement que l'ancien.
Dans un workflow d'IA à plusieurs outils, les erreurs naissent souvent aux passages de relais. L'agent choisit le mauvais outil, transmet de travers une valeur juste ou continue alors qu'un outil a signalé une erreur. Dans le résultat final, on n'en voit pas grand-chose – dans le journal de l'exécution, si.
Quatre décomptes au lieu d'une note
Relevez séparément quatre domaines pour chaque cas de test. Ce n'est qu'ensemble qu'ils donnent une image parlante.
1. Erreurs – par classe
Une erreur est un résultat qui s'écarte du résultat attendu fixé au préalable. Rangez chaque erreur dans une classe :
| Classe | Exemple | Comment elle compte |
|---|---|---|
| critique | e-mail au mauvais destinataire, rendez-vous chez le mauvais client, enregistrement écrasé, information confidentielle transmise | individuellement, jamais dans la moyenne – un seul cas suffit pour « non recetté » |
| sur le fond | mauvais délai, mauvais montant, mauvais interlocuteur dans le brouillon | en taux, avec un seuil |
| de forme | formule d'appel, mise en forme, ton | en taux, avec son propre seuil |
Notez en outre si l'erreur a été repérée. Un agent qui signale « Je ne trouve aucun contrat pour ce client » n'a pas accompli sa mission, mais il a révélé la lacune. Un agent qui cite à la place un contrat inventé est plus dangereux – même si les deux cas comptent comme « non traité ». Distinguez ces cas dans vos relevés.
2. Questions en retour – justifiées ou évitables
Les questions en retour ne sont pas mauvaises par principe. Un agent qui demande confirmation avant un e-mail avec effet externe fait exactement ce qu'il faut. Distinguez donc :
- les questions justifiées : l'information manquait réellement ou l'action nécessite une validation.
- les questions évitables : l'information figurait dans la demande, dans le document ou dans la boîte mail, et l'agent ne l'a pas trouvée.
Les questions évitables révèlent un savoir manquant ou une instruction floue – c'est souvent le problème le moins coûteux à corriger.
3. Retouches – en minutes
Les retouches, c'est tout ce qu'une personne modifie dans le résultat avant qu'il ne poursuive son chemin. Mesurez-les en minutes plutôt qu'en oui ou non. Un brouillon où il n'y a que deux mots à corriger fait gagner presque tout le temps ; un brouillon qu'il faut réécrire ne fait rien gagner.
4. Contrôle et maintenance
Relevez le temps de vérification même lorsque le résultat était juste. S'y ajoute la maintenance courante : affiner les instructions, ajuster les droits, retester après un changement de modèle. Qui l'omet enjolive les chiffres de l'agent – et se demande six mois plus tard pourquoi l'économie n'a de toute façon jamais été au rendez-vous.
Le test de recette en huit étapes
Le déroulé est une ébauche pour le bureau. Il n'exige pas de programmation, mais quelques heures de quelqu'un qui connaît le processus. Avant la première exécution, fixez à la fois les résultats attendus et les seuils de l'étape 6.
- Cerner étroitement une tâche. Pas « l'agent aide au service commercial », mais « l'agent répond aux demandes sur les délais de livraison depuis la boîte mail et crée un rappel ».
- Constituer un jeu de test à partir de cas réels. Mieux vaut peu de cas réels que beaucoup de cas inventés. Intégrez délibérément les cas difficiles : demandes incomplètes, indications contradictoires et cas où l'agent ne doit rien faire.
- Fixer le résultat attendu à l'avance. Pour chaque cas, quelqu'un qui connaît le processus note ce qui serait juste – avant que l'agent ne tourne. Sinon, l'attendu s'adapte inconsciemment au résultat.
- Exécuter sans effet externe. Les e-mails en brouillon, les workflows en essai à blanc, un compte de test avec les droits d'un rôle réel. Un compte de test avec accès complet mesure autre chose que l'exploitation.
- Remplir les quatre décomptes pour chaque cas – dans la grille de mesure ci-dessous. Lisez pour cela le journal de l'exécution, pas seulement le résultat.
- Fixer les seuils à l'avance. Par exemple : aucune erreur critique, des erreurs sur le fond sous une limite que vous déterminez vous-même. Évaluez l'exécution à l'aune de ces seuils fixés au préalable. Une erreur critique met fin à la recette, quelle que soit la qualité du reste.
- Dresser le bilan. Comparez le temps de traitement manuel actuel avec le temps de vérification, les retouches et l'effort de maintenance estimé. S'il reste trop peu, c'est un résultat – pas un échec.
- Recommencer après chaque modification. Nouveau modèle de langage, nouvelle instruction, nouvel outil, droits modifiés : même jeu de test, mêmes résultats attendus, comparaison avec la dernière exécution.
La grille de mesure
| Cas | Attendu atteint ? | Classe d'erreur | repérée ? | Questions en retour (justifiées / évitables) | Retouches (min) | Temps de vérification (min) |
|---|---|---|---|---|---|---|
| 1 | ||||||
| 2 | ||||||
| … |
À la fin, les résultats des quatre domaines figurent côte à côte au lieu de disparaître dans une note. Dans nos propres campagnes de mesure sur l'enrichissement de documents par des modèles de langage, nous travaillons aussi avec une version de référence fixée à l'avance. Nous y relevons séparément ce que le modèle a correctement trouvé, ce qu'il a manqué et ce qu'il a inventé.
Ce qu'un agent devrait apporter pour la recette
La facilité avec laquelle un agent se laisse recetter dépend aussi du logiciel dans lequel il tourne. Demandez à chaque éditeur :
- Existe-t-il un essai à blanc ? Peut-on dérouler un workflow sans que rien ne sorte ?
- Qui valide ? La conception d'un workflow est-elle séparée de sa validation ?
- Que montre la demande de confirmation ? L'utilisateur voit-il avant l'envoi ce qui sort réellement – destinataires, pièces jointes, texte ?
- À quoi les droits sont-ils rattachés ? À l'agent ou à l'utilisateur pour lequel il travaille ?
- Peut-on retracer quel modèle a produit quoi ? C'est seulement à cette condition qu'un changement de modèle se compare proprement à l'exécution précédente.
- Les corrections sont-elles consignées ? Des retouches qui ne figurent nulle part n'apparaissent dans aucun bilan.
Comment searchit soutient la recette
searchit est la mémoire sous vos agents IA et apporte son propre agent, le searchit AI Agent. Pour le test de recette, cela signifie :
- Simuler les workflows en accéléré. Depuis la version 8.0, un utilisateur décrit un workflow avec ses propres mots, et l'agent en fait un projet. searchit le vérifie par rapport aux briques autorisées et le déroule en accéléré : quel message partirait quand et à qui – sans que rien ne soit envoyé. Le workflow ne devient actif qu'après validation. Concevoir et valider sont des rôles distincts.
- Des versions plutôt que des surprises. Les workflows sont versionnés. Si vous modifiez un workflow après le test, un dossier en cours reste sur sa version – l'exécution de test suivante compare proprement l'ancien et le nouveau.
- Confirmation avant l'envoi. Avant que le searchit AI Agent n'envoie un e-mail ou un message court (SMS) ou ne supprime des e-mails, une boîte de dialogue sur le poste de travail montre les destinataires, l'objet, les pièces jointes et le texte. « Ne pas envoyer » est présélectionné.
- Des droits rattachés à l'utilisateur. Ce qu'un agent a le droit de faire via l'interface dépend des rôles de l'utilisateur connecté. S'il manque un rôle, le serveur refuse et le nomme. Un compte de test avec un rôle réel vérifie donc les mêmes rôles que ceux qui valent en exploitation.
- Provenance de chaque champ IA. Chaque champ qu'un modèle de langage produit lors de l'indexation porte le modèle, la version du modèle, l'horodatage et l'identifiant du prompt. Après un changement de modèle, vous voyez quels résultats proviennent de l'ancienne exécution et lesquels de la nouvelle.
- Les corrections des dossiers en cours reconnus restent visibles. Si searchit a mal reconnu un dossier en cours, l'utilisateur le corrige d'un clic et voit ses corrections, avec leur effet, dans une liste. Pour les agents de service, la gestion des agents affiche les dernières tâches et erreurs.
Comment workflows, agents et mémoire s'imbriquent, la diapositive « Chaque rouage entraîne le suivant » le montre sur searchit-agent.ai.
Questions fréquentes
Combien de cas de test faut-il pour une recette ?
Il n'y a pas de nombre fixe. Plus que la quantité, c'est le mélange qui compte : des cas réels, dont les difficiles et ceux où l'agent ne doit rien faire. Si de nouveaux types d'erreurs apparaissent en exploitation, ces cas rejoignent le jeu de test.
Qui fixe le résultat attendu ?
Quelqu'un qui traite aujourd'hui le processus à la main – avant l'exécution et sans connaître le résultat de l'agent. Pour les cas litigieux, une deuxième personne aide.
Qu'est-ce qu'une erreur critique ?
Toute erreur qui a un effet en dehors de l'agent ou qui se laisse difficilement annuler : un message erroné envoyé à l'extérieur, une information modifiée ou supprimée par erreur, une information confidentielle transmise sans autorisation. Quelles actions en font partie chez vous, vous le fixez avant le test.
Quand dois-je retester ?
Après chaque modification qui influe sur le comportement : autre modèle de langage, instruction ou skill modifié, nouvel outil, autres droits. Avec le même jeu de test, la comparaison est faite en peu de temps.
Suffit-il que l'agent demande confirmation avant chaque action ?
Non. Une demande de confirmation protège contre les effets externes, mais coûte du temps. Qui confirme chaque jour des dizaines de demandes finit par ne plus lire attentivement. C'est pourquoi le test relève aussi les questions en retour.
Conclusion
Pour moi, l'automatisation par l'IA en entreprise passe par un bilan qui intègre aussi l'effort de contrôle. Selon cette ébauche de méthode, un agent IA en entreprise est recetté s'il ne commet aucune erreur critique, respecte les seuils fixés et fait gagner, au final, plus de temps que n'en coûtent le contrôle, les retouches et la maintenance. Un taux de réussite ne le montre pas à lui seul. Il vous faut pour cela la grille de mesure avec ses quatre domaines et un jeu de test tiré de vos propres cas.
Comment un workflow naît dans searchit, se déroule en accéléré et est validé, nous vous le montrons volontiers sur vos propres données – lors d'une démonstration.
Articles connexes : Meilleurs logiciels de recherche d'entreprise 2026 · Matériel pour LLM locaux
Source de la méthode : OpenAI, « Evaluation best practices », consulté en novembre 2026. Le test de recette présenté dans cet article est une ébauche personnelle et non une recommandation d'OpenAI. Les noms de produits et d'entreprises cités sont des marques de leurs propriétaires respectifs.
Ces articles pourraient aussi vous intéresser
Généré par IAEnterprise Search
Recherche documentaire par IA : vérifier les tableaux PDF dans un système RAG sans que la note globale masque les erreurs
Un système RAG avec une très bonne note globale peut malgré tout attribuer de travers le montant décisif. Dans les tableaux PDF sur plusieurs pages en particulier, les lignes …
Généré par IAEnterprise Search
Mémoire des agents IA pour l'entreprise : savoir de l'entreprise, faits et dossiers en cours comparés
Un agent IA sans mémoire recommence chaque jour de zéro. Mais selon l'éditeur, « mémoire » désigne autre chose : le savoir contenu dans les données de votre organisation, des …
Généré par IAEnterprise Search
Pouvoir lire n'est pas pouvoir agir : tester en toute sécurité des agents IA avec accès en écriture
Un agent IA disposant de droits de lecture trouve des informations. Avec des droits d'écriture, il envoie des e-mails, modifie des enregistrements et crée des rendez-vous. …
