Enterprise Search
Collaudo degli agenti IA in azienda: misurare separatamente errori, richieste di chiarimento e rilavorazioni
In fase pilota un agente IA spesso fa una bella figura. Se in esercizio fa risparmiare più lavoro di quanto costino controllo e manutenzione, un tasso di successo da solo non lo dice. Per questo deve rilevare separatamente errori, richieste di chiarimento e rilavorazioni. Questo articolo descrive un test di collaudo per l'ufficio che può svolgere con i Suoi casi.
di Sebastian @searchit · · 10 min di lettura
Generato con IARispondere alle e-mail, inserire appuntamenti, preparare offerte – sono esempi tipici di agenti IA in ufficio, e ciascuno usa più strumenti uno dopo l'altro. In fase pilota di solito conta una cosa sola: alla fine è uscito il risultato giusto? A me, per decidere sull'esercizio, questo non basta. Un agente che svolge correttamente nove incarichi su dieci può comunque creare più lavoro di quanto ne faccia risparmiare – perché chiede continuamente chiarimenti, perché qualcuno deve controllare ogni risultato o perché quell'unico errore era un'e-mail sbagliata a un cliente.
Una premessa: siamo il produttore di searchit. Il test di collaudo qui sotto è una bozza di metodo nata dal nostro lavoro, ispirata alle Evaluation best practices di OpenAI. Non è una norma. Il mio consiglio per l'introduzione dell'IA in azienda: adatti il test ai Suoi processi e verifichi ogni risultato sul Suo patrimonio documentale – con qualsiasi fornitore.
In breve
- Un tasso nasconde troppo. Conti separatamente errori, richieste di chiarimento, rilavorazioni e onere di controllo.
- Gli errori hanno classi. Una frase sbagliata in una bozza è un'altra cosa rispetto a un'e-mail al destinatario sbagliato. Un errore con effetto verso l'esterno non entra mai nella media.
- Il risultato atteso è fissato prima del test – da qualcuno che conosce il processo, non dall'agente e non dopo l'esecuzione.
- Si testa senza effetti verso l'esterno: come bozza, in un'esecuzione di prova o con un account di prova che ha permessi realistici.
- Il bilancio mette a confronto il tempo risparmiato con l'onere di verifica, rilavorazione e manutenzione – e va rifatto dopo ogni modifica.
Perché un tasso di successo non basta
“L'agente svolge correttamente il 90 per cento dei casi” suona come una risposta chiara. Per l'esercizio, però, restano aperte le domande decisive:
- Come ci è arrivato? Da solo, dopo due richieste di chiarimento o solo dopo che qualcuno ha rielaborato il risultato?
- Quanto costa il controllo? Va verificato ogni risultato o bastano controlli a campione?
- Che cosa è successo negli altri casi? L'agente si è interrotto e lo ha segnalato – oppure ha fornito un risultato sbagliato che nessuno ha notato?
- Quanto costa la manutenzione? Istruzioni, permessi e strumenti cambiano; un nuovo modello linguistico si comporta diversamente dal vecchio.
In un workflow IA con più strumenti gli errori nascono spesso nei passaggi di consegna. L'agente sceglie lo strumento sbagliato, trasmette in modo errato un valore corretto o continua a lavorare anche se uno strumento ha segnalato un errore. Nel risultato finale se ne vede poco – nel registro dell'esecuzione invece sì.
Quattro conteggi invece di un voto
Per ogni caso di test rilevi separatamente quattro aree. Solo insieme danno un quadro significativo.
1. Errori – per classi
Un errore è un risultato che si discosta dal risultato atteso fissato in precedenza. Assegni ogni errore a una classe:
| Classe | Esempio | Come conta |
|---|---|---|
| critico | e-mail al destinatario sbagliato, appuntamento presso il cliente sbagliato, record sovrascritto, informazione riservata divulgata | singolarmente, mai nella media – basta un caso per “non collaudato” |
| sostanziale | scadenza sbagliata, importo sbagliato, referente sbagliato nella bozza | come tasso, con soglia |
| formale | formula di saluto, formattazione, tono | come tasso, con soglia propria |
Annoti inoltre se l'errore è emerso. Un agente che segnala “Non trovo alcun contratto per questo cliente” non ha svolto il suo incarico, ma ha reso visibile la lacuna. Un agente che invece cita un contratto inventato è più pericoloso – anche se entrambi i casi contano come “non svolto”. Distingua questi casi nelle Sue annotazioni.
2. Richieste di chiarimento – giustificate o evitabili
Le richieste di chiarimento non sono di per sé negative. Un agente che chiede prima di inviare un'e-mail con effetto verso l'esterno fa esattamente la cosa giusta. Distingua quindi:
- richieste giustificate: l'informazione mancava davvero oppure l'azione richiede un'approvazione.
- richieste evitabili: l'informazione era nell'incarico, nel documento o nella casella di posta, e l'agente non l'ha trovata.
Le richieste evitabili indicano conoscenze mancanti o istruzioni poco chiare – spesso è il problema più economico da risolvere.
3. Rilavorazione – in minuti
La rilavorazione è tutto ciò che una persona modifica nel risultato prima che si vada avanti. La misuri in minuti anziché come sì o no. Una bozza in cui vanno corrette solo due parole fa risparmiare quasi tutto il tempo; una che deve riscrivere da capo non fa risparmiare nulla.
4. Controllo e manutenzione
Rilevi il tempo di verifica anche quando il risultato era giusto. A ciò si aggiunge la manutenzione continua: affinare le istruzioni, adeguare i permessi, ritestare dopo un cambio di modello. Chi tralascia tutto questo si abbellisce i conti dell'agente – e sei mesi dopo si chiede perché alla fine il risparmio non si sia mai visto.
Il test di collaudo in otto passi
Il procedimento è una bozza per l'ufficio. Non richiede programmazione, ma qualche ora di una persona che conosce il processo. Prima della prima esecuzione fissi sia i risultati attesi sia le soglie del passo 6.
- Delimitare bene un compito. Non “l'agente aiuta nelle vendite”, ma “l'agente risponde dalla casella di posta alle richieste sui termini di consegna e crea un promemoria”.
- Comporre una raccolta di test con casi reali. Meglio pochi casi reali che molti inventati. Includa di proposito quelli difficili: richieste incomplete, indicazioni contraddittorie e casi in cui l'agente non deve fare nulla.
- Fissare prima il risultato atteso. Per ogni caso, una persona che conosce il processo annota che cosa sarebbe giusto – prima che l'agente venga eseguito. Altrimenti il risultato atteso viene inconsciamente adattato al risultato ottenuto.
- Eseguire senza effetti verso l'esterno. E-mail come bozza, processi in esecuzione di prova, un account di prova con i permessi di un ruolo reale. Un account di prova con accesso completo misura qualcosa di diverso dall'esercizio.
- Compilare per ogni caso i quattro conteggi – nella scheda di misura qui sotto. Legga a tale scopo il registro dell'esecuzione, non solo il risultato.
- Fissare prima le soglie. Per esempio: nessun errore critico, errori sostanziali sotto un limite che stabilisce Lei. Valuti l'esecuzione in base a queste soglie fissate in anticipo. Un errore critico chiude il collaudo, per quanto buono appaia il resto.
- Tirare le somme. Confronti il tempo di lavorazione manuale finora necessario con il tempo di verifica, la rilavorazione e l'onere di manutenzione stimato. Se resta troppo poco, è un risultato – non un fallimento.
- Ripetere dopo ogni modifica. Nuovo modello linguistico, nuove istruzioni, nuovo strumento, permessi modificati: stessa raccolta di test, stessi risultati attesi, confronto con l'ultima esecuzione.
La scheda di misura
| Caso | Risultato atteso raggiunto? | Classe di errore | emerso? | Richieste di chiarimento (giustificate / evitabili) | Rilavorazione (min) | Tempo di verifica (min) |
|---|---|---|---|---|---|---|
| 1 | ||||||
| 2 | ||||||
| … |
Alla fine i risultati delle quattro aree stanno uno accanto all'altro, invece di sparire in un unico voto. Anche nelle nostre esecuzioni di misura sull'arricchimento di documenti tramite modelli linguistici lavoriamo con una versione attesa fissata in anticipo. Rileviamo separatamente ciò che il modello ha trovato correttamente, ciò che ha tralasciato e ciò che ha inventato.
Che cosa dovrebbe offrire un agente per il collaudo
Quanto bene si possa collaudare un agente dipende anche dal software in cui gira. Chieda a ogni fornitore:
- Esiste un'esecuzione di prova? Si può simulare un processo senza che nulla venga inviato?
- Chi approva? La stesura di un processo è separata dalla sua approvazione?
- Che cosa mostra la richiesta di conferma? Prima dell'invio l'utente vede che cosa parte davvero – destinatari, allegati, testo?
- A che cosa sono legati i permessi? All'agente o all'utente per cui lavora?
- È tracciabile quale modello ha prodotto che cosa? Solo così si può confrontare correttamente un cambio di modello con l'esecuzione precedente.
- Le correzioni vengono registrate? Una rilavorazione che non è annotata da nessuna parte non compare in nessun bilancio.
Come searchit supporta il collaudo
searchit è la memoria sotto i Suoi agenti IA e porta con sé un proprio agente, il searchit AI Agent. Per il test di collaudo questo significa:
- Simulare i processi in modalità accelerata. Dalla versione 8.0 un utente descrive un processo con parole sue e l'agente ne ricava una bozza. searchit la verifica rispetto ai componenti consentiti e la esegue in modalità accelerata: quale messaggio andrebbe a chi e quando – senza che nulla venga inviato. Il processo diventa attivo solo dopo l'approvazione. Stesura e approvazione sono ruoli distinti.
- Versioni invece di sorprese. I processi sono versionati. Se modifica un processo dopo il test, una pratica in corso resta sulla sua versione – l'esecuzione di test successiva confronta in modo pulito vecchio e nuovo.
- Richiesta di conferma prima dell'invio. Prima che il searchit AI Agent invii un'e-mail o un messaggio breve (SMS) oppure elimini e-mail, una finestra di dialogo sulla postazione di lavoro mostra destinatari, oggetto, allegati e testo. “Non inviare” è preselezionato.
- Permessi legati all'utente. Ciò che un agente può fare tramite l'interfaccia dipende dai ruoli dell'utente connesso. Se manca un ruolo, il server rifiuta e lo indica. Un account di prova con un ruolo reale verifica quindi gli stessi ruoli che valgono in esercizio.
- Provenienza di ogni campo IA. Ogni campo che un modello linguistico genera durante l'indicizzazione riporta modello, versione del modello, momento e identificativo del prompt. Dopo un cambio di modello vede quali risultati provengono dalla vecchia e quali dalla nuova esecuzione.
- Le correzioni alle pratiche riconosciute restano visibili. Se searchit ha riconosciuto in modo errato una pratica, l'utente la corregge con un clic e vede le sue correzioni, con il loro effetto, in un elenco. Per gli agenti di servizio, la gestione degli agenti mostra gli ultimi incarichi ed errori.
Come processi, agenti e memoria si integrano lo mostra la slide “Un ingranaggio muove l'altro” su searchit-agent.ai.
Domande frequenti
Quanti casi di test servono per un collaudo?
Non esiste un numero fisso. Più importante della quantità è il mix: casi reali, tra cui quelli difficili e quelli in cui l'agente non deve fare nulla. Se in esercizio compaiono nuovi tipi di errore, quei casi vanno aggiunti alla raccolta di test.
Chi stabilisce il risultato atteso?
Qualcuno che oggi svolge il processo a mano – prima dell'esecuzione e senza conoscere il risultato dell'agente. Nei casi controversi aiuta una seconda persona.
Che cos'è un errore critico?
Ogni errore che ha effetto al di fuori dell'agente o che è difficile da annullare: un messaggio errato verso l'esterno, un'informazione modificata o eliminata per sbaglio, un dato riservato trasmesso senza autorizzazione. Quali azioni rientrino in questa categoria nella Sua organizzazione lo stabilisce prima del test.
Quando devo ripetere il test?
Dopo ogni modifica che influisce sul comportamento: un altro modello linguistico, istruzioni o competenze modificate, un nuovo strumento, permessi diversi. Con la stessa raccolta di test il confronto si fa in poco tempo.
Basta che l'agente chieda conferma prima di ogni azione?
No. Una richiesta di conferma protegge dagli effetti verso l'esterno, ma costa tempo. Chi conferma ogni giorno decine di richieste prima o poi smette di leggere con attenzione. Per questo il test rileva anche le richieste dell'agente.
Conclusione
Per me, all'automazione con l'IA per le aziende appartiene un bilancio che rilevi anche l'onere di controllo. Secondo questa bozza di metodo, un agente IA in azienda è collaudato quando non commette errori critici, rispetta le soglie fissate e, tirate le somme, fa risparmiare più tempo di quanto costino controllo, rilavorazione e manutenzione. Un tasso di successo da solo non lo mostra. Per questo servono la scheda di misura con le sue quattro aree e una raccolta di test fatta dei Suoi casi.
Come nasce un processo in searchit, come viene eseguito in modalità accelerata e poi approvato, glielo mostriamo volentieri sul Suo patrimonio documentale – in una dimostrazione.
Articoli correlati: Migliori software di ricerca aziendale 2026 · Hardware per LLM locali
Fonte sul metodo: OpenAI, “Evaluation best practices”, consultato a novembre 2026. Il test di collaudo in questo articolo è una bozza propria e non una raccomandazione di OpenAI. I nomi di prodotti e aziende citati sono marchi dei rispettivi titolari.
Potrebbe interessarvi anche
Generato con IAEnterprise Search
Ricerca documentale con l'IA: verificare le tabelle PDF in un sistema RAG senza che il voto complessivo nasconda gli errori
Un sistema RAG con un ottimo voto complessivo può comunque attribuire in modo sbagliato l'importo decisivo. Soprattutto nelle tabelle PDF su più pagine, intestazioni, colonne e …
Generato con IAEnterprise Search
Memoria per agenti IA aziendali: conoscenza aziendale, fatti e pratiche a confronto
Un agente IA senza memoria ricomincia ogni giorno da capo. Ma “memoria” significa cose diverse a seconda del fornitore: il sapere contenuto nel patrimonio documentale della Sua …
Generato con IAEnterprise Search
Poter leggere non significa poter agire: testare in sicurezza agenti IA con accesso in scrittura
Un agente IA con permessi di lettura trova informazioni. Con permessi di scrittura invia e-mail, modifica record e crea appuntamenti. Prima di autorizzarlo Le servono tre …
