Ein neues Frontgebiet der Desinformation entsteht mit KI-Assistenten wie ChatGPT. Bei der Durchführung von Live-Websuchen, um ungewöhnliche Anfragen zu beantworten, können diese Systeme gefälschte Daten von manipulierten Seiten einbeziehen. Das Problem liegt darin, dass sie die Informationen als etablierte Tatsache darstellen, ohne das Quellenkontrast eines traditionellen Suchers anzubieten, was die Verbreitung von Hoaxes erleichtert.
Der Fehler im RAG-Mechanismus und der Quellenvalidierung ⚠️
Technisch verschärft sich das Problem in Systemen, die RAG (Retrieval-Augmented Generation) verwenden. Wenn die Anfrage außerhalb des Basiswissens des Modells liegt, holt es Web-Fragmente ab. Ohne einen robusten Filter, der die Autorität oder Wahrhaftigkeit der Quelle validiert, wird ein gut geschriebener Text auf einer seriös aussehenden Seite als Kontext integriert. Die daraus generierte Antwort erhält einen faktenbasierten Ton, ohne Nuancen oder Warnungen vor ihrer möglichen Falschheit.
Dein neuer digitaler Azubi glaubt alles, was er im Internet liest 😅
Es ist wie ein zu enthusiastischer Praktikant, der, um zu beeindrucken, den ersten Artikel, den er auf einem beliebigen Blog findet, verschlingt und dir als die absolute Wahrheit der Branche präsentiert. Du fragst ihn nach einem Hardware-Gerücht, und mit voller Ernsthaftigkeit zitiert er die Fakten von einer Webseite, die gestern erst erstellt wurde. Die Ironie ist, dass wir seiner scheinbaren Objektivität vertrauen, während er in Wirklichkeit die Naivität eines Neulings im Netz hat. Ein Schritt vorwärts in der Technologie, zwei Schritte zurück im gesunden Menschenverstand.