Il termine "allucinazione", applicato ai modelli linguistici, descrive un comportamento specifico: il modello genera un'informazione plausibile ma inventata, presentandola con lo stesso tono sicuro di un'informazione corretta. Non è un errore di sistema nel senso tradizionale — è una caratteristica intrinseca di come questi modelli funzionano.
Perché accade
Un modello linguistico genera testo prevedendo la parola più probabile successiva, sulla base di pattern appresi durante l'addestramento. Quando non ha un'informazione precisa su cui basarsi, può comunque produrre una risposta grammaticalmente corretta e stilisticamente convincente — semplicemente non ancorata a un fatto verificabile.
Dove è più probabile che accada
Le allucinazioni sono più frequenti quando si chiede al modello un dato specifico e verificabile — una cifra esatta, una citazione precisa, un fatto puntuale — non presente esplicitamente nel contesto fornito. Sono meno frequenti in compiti di comprensione, sintesi o dialogo, dove il modello lavora su informazioni effettivamente presenti nella conversazione.
Come proteggersi in pratica
La difesa più efficace non è sperare che il modello non sbagli mai, ma progettare il sistema in modo che i dati critici — calcoli, prezzi, fatti verificabili — provengano sempre da fonti verificate esternamente al modello, non dalla sua generazione libera. Il modello ragiona e comunica; i fatti numerici li fornisce un sistema deterministico a monte.