Generative künstliche Intelligenzen sind nützlich, haben aber ein ernstes Problem: Sie halluzinieren. Wenn ein Modell Daten oder Code erfindet, verursacht es nicht nur Fehler, sondern kann auch Türen für echte Angriffe öffnen. Ein Assistent, der eine falsche URL oder einen nicht existierenden API-Schlüssel generiert, kann Sicherheitssysteme täuschen und kritische Informationen preisgeben.
Wie technische Halluzinationen Systeme gefährden 🛡️
In Entwicklungsumgebungen kann eine KI Bibliotheken vorschlagen, die nicht existieren, oder erfundene Sicherheitspatches. Ein vertrauensseliger Programmierer könnte diesen Code implementieren und dabei unwissentlich ein bösartiges Paket installieren, das ein Angreifer unter diesem fiktiven Namen registriert hat. Dieser Angriffsvektor, bekannt als Halluzinationsvergiftung, nutzt das Vertrauen des Benutzers in die Antworten des Modells aus. Die Authentizität der Informationen wird zu einem beweglichen Ziel.
Der Assistent, der dir empfiehlt, eine Brücke zu kaufen 🌉
Du hast deine KI nach einem sicheren Rezept gefragt, und sie hat dir Ceviche aus Wolken vorgeschlagen. Jetzt erhalten die Sicherheitssysteme Anweisungen von einem Assistenten, der fest daran glaubt, dass die Brooklyn Bridge im Angebot ist. Wenn die KI halluziniert, dass ein Mitarbeiter ein Administrator ist, gewährt sie ihm vielleicht vollen Zugriff. Überprüfe beim nächsten Mal, bevor du seinen Code ausführst, ob es sich nicht um ein Märchen im Gewand eines Skripts handelt.