La sensazione soggettiva che un agente AI "funzioni bene" può essere fuorviante: si basa sulle interazioni più recenti o più memorabili, non su una visione complessiva delle sue prestazioni. Misurare l'affidabilità in modo oggettivo richiede indicatori raccolti sistematicamente nel tempo.
Tasso di successo delle azioni
La percentuale di azioni completate con successo rispetto al totale dei tentativi è un indicatore diretto: un agente che fallisce frequentemente su un certo tipo di richiesta segnala un'area da migliorare, anche se le richieste riuscite sembrano complessivamente positive.
Frequenza degli interventi correttivi umani
Quante volte un utente deve correggere manualmente il risultato di un'azione dell'agente prima di accettarlo? Un numero elevato di correzioni indica che l'agente non sta davvero automatizzando il compito, ma solo producendo una bozza che richiede sempre revisione sostanziale.
Coerenza nel tempo, non solo istantanea
Un agente può funzionare bene in un momento e peggio in un altro, a seconda di variazioni nel contesto fornito o nei dati disponibili. Monitorare l'affidabilità su un periodo esteso, non solo su un campione limitato di interazioni recenti, dà un'immagine più realistica di quanto ci si può davvero fidare del sistema.