Anche l'AI soffre di allucinazioni, dando informazioni del tutto false: questo, infatti, è il più grande limite di questi modelli linguistici. Ma come si guarisce l'AI?
Può capitare spesso che ChatGPT o altri chatbot virtuali basati su AI (Intelligenza Artificiale), che rispondono sempre in modo dettagliato e convincente alle domande poste dagli utenti, diano però informazioni del tutto false. Questa è la prova che l’AI soffre di allucinazioni.
Secondo una ricerca condotta dalla società Vectara, infatti, GPT-4, che alimenta un modello avanzato di ChatGPT, soffre di allucinazioni nel 3% dei casi, Claude 2 di Anthropic ne soffre nell’8,5% dei casi e Palm di Google supera in alcune sue versioni (oggi superate da Gemini) anche il 27%.
Questo crea un grosso limite ai nuovi modelli linguistici, i large language model (Llm), soprattutto in settori come la sanità, l’istruzione o il giornalismo, dove l’accuratezza delle informazioni è fondamentale.
Ma perché accade questo? Come può l’AI soffrire di allucinazioni? In primo luogo bisogna considerare il fatto che questi modelli basati su AI sono stati progettati proprio per “inventare” cose: in particolare, devono prevedere statisticamente quale sia la risposta con la maggior probabilità di essere coerente con quelle che l’hanno preceduta.
Per risolvere il problema alla base Nvidia ha recentemente annunciato NeMo Guardrails, un software open-source progettato per impedire ai chatbot di generare affermazioni false. Questo sistema, però, è utile soltanto ai chatbot progettati per usi specifici e non a quelli di uso generale.
Anche il Rlhf (reinforcement learning from human feedback) è uno dei metodi più quotati: questo metodo prevede che siano degli esseri umani a valutare le risposte generate dall’intelligenza artificiale in risposta a una singola domanda. In questo caso, quindi, sono gli umani a guarire l’AI dalle allucinazioni.
Tuttavia, ci sono dei limiti: Nat McAleese, ricercatore di OpenAI, ha spiegato alla stampa che “più il modello diventa intelligente, più il lavoro degli esseri umani diventa difficile”.
Proprio per questo motivo è stato creato CriticGPT, un secondo large language model, progettato sempre da OpenAI, che ha il compito di affiancare gli esseri umani nella valutazione del primo modello, ChatGPT.
CriticGPT, affiancando i revisionatori umani, è riuscito a trovare l’85% dei bug che erano stati appositamente inseriti come prova, contro il 25% dei bug scoperti dai revisionatori umani da soli.
Su Arxiv Ziwei Xu, ricercatore dell’Università di Singapore, ha spiegato però che le allucinazioni sono un “problema intrinseco” di questi modelli linguistici e che non potrà mai essere risolto completamente.
Cosa ne pensi?