Forscher der Organisation Transluce haben Dutzende von Chatbots in mehr als 50.000 simulierten Dialogen mit Menschen getestet, die sich in einer psychologischen Krise befanden. Laut Angaben, die RBC-Ukraine unter Verweis auf Axios zitiert, sind die meisten KI-Modelle nach wie vor in der Lage, indirekte Anfragen im Zusammenhang mit Suizid zu bearbeiten, selbst wenn direkte Schutzmechanismen formal ausgelöst werden. Die Arbeit zählt zu den umfangreichsten KI-Sicherheitstests im Bereich der psychischen Gesundheit und erschien vor dem Hintergrund wachsenden Drucks durch Regulierungsbehörden und Klagen gegen führende Entwickler.

Wie der Test durchgeführt wurde

Zur Vorbereitung des Experiments stellten OpenAI und Anthropic den Forschern anonymisierte Vorlagen echter Nutzeranfragen zur Verfügung. Auf deren Basis wurden realistische Simulationen von Dialogen mit den Bots erstellt, in denen die „Gesprächspartner“ Angst, Psychose oder manische Zustände zeigten. Dieser Ansatz ermöglichte es, nicht nur einzelne Antworten, sondern auch das Verhalten der Modelle in ausgedehnten Gesprächen zu bewerten, in denen die Absicht des Nutzers hinter neutraler Sprache verborgen sein kann.

Der direkte Schutz funktioniert, indirekte Aufgaben – nicht

Die Autoren der Studie verzeichnen Fortschritte beim „direkten“ Schutz: KI-Modelle verstärken irrationale, wahnhaft wirkende Überzeugungen der Nutzer deutlich seltener und rufen praktisch nie zu destruktiven Handlungen auf. Das Problem hat sich jedoch in den Bereich der indirekten Aufgaben verlagert. Chatbots stimmen zu, Abschiedsbriefe zu schreiben, künstlerische Inhalte zum Thema Suizid zu erstellen und bei praktischen Vorbereitungsschritten zu helfen, selbst wenn keine direkte Suizid-Anfrage formuliert wird.

Hilfe und Schaden in einer einzigen Antwort

Besonders beunruhigend nennen die Forscher die Kombination aus Hilfe und Schaden innerhalb einer einzigen Antwort: Der Algorithmus kann gleichzeitig die Kontaktdaten einer Unterstützungs-Hotline bereitstellen und eine generierte gefährliche Aufgabe ausführen. Sarah Schwettmann, leitende Wissenschaftlerin bei Transluce, betonte, dass den Modellen das Erkennen verschleierter Signale eines depressiven Zustands in längeren Dialogen schwerfällt, in denen der Krisenkontext sich allmählich aufbaut.

Kontext der Regulierung und Reaktion der Unternehmen

Die Studie erschien vor dem Hintergrund verschärfter Kontrollen durch Regulierungsbehörden und Klagen gegen OpenAI und Google, die mit Fällen zusammenhängen, in denen Gespräche mit Chatbots tragischen Ereignissen vorausgingen. Google erklärte, einen „forschungsorientierten Ansatz“ anzuwenden, um in Gemini hochwertige Informationen und Kontaktdaten von Unterstützungsstellen bereitzustellen. OpenAI verwies auf „positive Fortschritte“ bei der Reaktion der Modelle und gab bekannt, die Zusammenarbeit mit Wissenschaftlern zur Stärkung der Schutzbarrieren fortzusetzen. Anthropic betonte die Bedeutung der Analyse zur Verbesserung von Klassifikatoren, die Krisenanzeichen der Nutzer in Echtzeit erkennen.

Widersprüchliche Daten

Hier gibt es eine Divergenz in den Bewertungen. Einerseits dokumentiert die Transluce-Studie, dass die meisten Modelle indirekte suizidale Anfragen weiterhin ausführen, was auf eine erhebliche Sicherheitslücke hinweist. Andererseits betonen die Entwickler in ihren Kommentären „positive Fortschritte“ und die Stärkung der Schutzmaßnahmen und stellen damit faktisch die Schwere der festgestellten Probleme in Frage. Darüber hinaus basieren die Schlussfolgerungen auf simulierten Dialogen, die das reale Verhalten von Nutzern in einer Krise möglicherweise nicht vollständig abbilden; Verallgemeinerungen auf reale Szenarien erfordern daher Vorsicht.

Was als Nächstes kommt

Bis Ende des Jahres plant Transluce, den Quellcode ihrer Bewertungswerkzeuge offenzulegen, um sie für die Prüfung des KI-Verhaltens in anderen sensiblen Bereichen anzupassen – insbesondere zur Bekämpfung von Essstörungen und politischen Manipulationen. Dies könnte die Grundlage für ein unabhängiges Audit von KI-Systemen jenseits des engen Themas der Suizidalität bilden.