Un nuovo fronte di disinformazione emerge con assistenti di IA come ChatGPT. Eseguendo ricerche web in vivo per rispondere a query poco comuni, questi sistemi possono incorporare dati falsi da pagine manipolate. Il problema risiede nel fatto che presentano l'informazione come un fatto consolidato, senza offrire il contrasto di fonti di un motore di ricerca tradizionale, facilitando così la propagazione di bufale.
Il fallimento nel meccanismo di RAG e la validazione delle fonti ⚠️
Tecnicamente, il problema si aggrava nei sistemi che usano RAG (Recupero-Aumento Generativo). Quando la query è al di fuori della conoscenza base del modello, questo recupera frammenti dal web. Senza un filtro robusto che validi l'autorità o la veridicità della fonte, un testo ben redatto in un sito dall'aspetto serio viene integrato come contesto. La risposta generata da quel contesto acquisisce un tono fattuale, senza sfumature né avvertenze sulla sua possibile falsità.
Il tuo nuovo stagista digitale crede a tutto ciò che legge su internet 😅
È come avere un praticante troppo entusiasta che, per impressionare, divora il primo articolo che trova in un blog qualunque e te lo presenta come la verità assoluta del settore. Gli chiedi di un rumor hardware e, con totale solennità, ti cita i fatti di un sito creato ieri. L'ironia è che ci fidiamo della sua apparente obiettività, quando in realtà ha la credulità di qualcuno che ha appena scoperto la rete. Un passo avanti nella tecnologia, due passi indietro nel buon senso.