Monate vor dem Schusswechsel in einer Schule in Tumbler Ridge erzeugte der Verdächtige, Jesse Van Rootselaar, interne Alarme bei OpenAI. Mehrere Mitarbeiter hielten seine gewalttätigen Nachrichten an ChatGPT für ein echtes Vorzeichen und drängten darauf, die Behörden zu kontaktieren. Die Führungskräfte des Unternehmens entschieden sich dagegen, blockierten nur sein Konto. Die spätere Tragödie mit neun Toten enthüllte den Fehler dieser Entscheidung.
Das technische und ethische Dilemma der Moderationssysteme von KI 🤖
Der Fall beleuchtet die Grenzen der Sicherheitsprotokolle in konversationeller KI. Das System von OpenAI war effektiv darin, gewalttätigen Inhalt zu erkennen und eine interne Warnung zu generieren. Der Fehler geschah auf der nächsten Stufe: der menschlichen Interpretation und Handlung. Die Datenschutzrichtlinie und eine Einschätzung des Risikos als nicht unmittelbar wurden der Prävention vorgezogen, die externe Sicherheitskräfte einbeziehen würde.
Die KI sagte Gefahr und die Menschen antworteten Inhaltsmoderation ⚖️
Es ist der klassische Fall, alle Teile des Puzzles zu haben und zu entscheiden, dass sie nicht passen. Die Maschine erledigte ihre Arbeit, die Basis-Mitarbeiter erledigten ihre. Aber als es zum Abteilung für komplizierte Entscheidungen kam, dachte jemand wohl, dass ein Anruf bei der Polizei wegen einiger Gespräche eines Nutzers übertrieben wäre. Sie bevorzugten die digitale Sperrung, eine so saubere wie nutzlose Lösung gegen eine echte Kugel. Ein Meisterkurs im Problemweiterschieben.