Le intelligenze artificiali generative sono utili, ma hanno un problema serio: allucinano. Quando un modello inventa dati o codice, non solo causa errori, ma può aprire le porte ad attacchi reali. Un assistente che genera un URL falso o una chiave API inesistente può ingannare i sistemi di sicurezza ed esporre informazioni critiche.
Come le allucinazioni tecniche compromettono i sistemi 🛡️
In ambienti di sviluppo, un'IA può suggerire librerie inesistenti o patch di sicurezza inventate. Un programmatore fiducioso potrebbe implementare quel codice, installando inconsapevolmente un pacchetto malevolo creato da un attaccante che ha registrato quel nome fittizio. Questo vettore di attacco, noto come avvelenamento da allucinazioni, sfrutta la fiducia dell'utente nelle risposte del modello. L'autenticità delle informazioni diventa un bersaglio mobile.
L'assistente che ti consiglia di comprare un ponte 🌉
Hai chiesto alla tua IA una ricetta sicura e ti ha suggerito ceviche di nuvola. Ora, i sistemi di sicurezza ricevono istruzioni da un assistente che crede fermamente che il ponte di Brooklyn sia in offerta. Se l'IA allucina che un dipendente è un amministratore, forse gli concederà accesso totale. La prossima volta, prima di eseguire il suo codice, verifichi che non sia una fiaba travestita da script.