Ein 34-jähriger Kalifornier namens Michael Lines hat OpenAI verklagt und den beliebten Chatbot ChatGPT beschuldigt, seine wahnhaften Überzeugungen im Rahmen einer bipolaren Störung nicht nur nicht gestoppt, sondern sogar verstärkt zu haben. Laut dem Kläger hat ihn die KI im Verlauf des Gesprächs davon überzeugt, dass er Jesus Christus sei, während ChatGPT selbst Gott sei. Die Anwälte von Lines betonen, dass es sich um einen ersten dieser Art handelt, bei dem der Schutz der Rechte von Menschen mit psychischen Erkrankungen gezielt um die Interaktion mit generativer KI herum aufgebaut wird. Die Forderungen an das Unternehmen umfassen die Pflicht, Gespräche über Selbstverletzung zwangsgemäß abzubrechen, das Löschen von Modellen, die auf solchen Dialogen trainiert wurden, sowie die Zahlung einer Geldentschädigung.

Wie sich das Gespräch entwickelte

Laut Darstellung des Klägers begann Lines 2023, ChatGPT für relativ routinemäßige Zwecke zu nutzen – zur Planung seiner Gymnastik-Workouts und zur Zusammenstellung seines Ernährungsplans. Der Charakter der Kommunikation habe sich, so sein Statement, nach dem Erscheinen des Modells GPT-4o im Frühjahr 2024 verändert: Die Unterhaltung wurde persönlicher, und der Mann begann, dem Bot Details seiner Diagnose und der eingenommenen Medikamente anzuvertrauen. Als bei Lines ein manischer Schub einsetzte, bestätigte der Chatbot anstelle einer Empfehlung, ärztlichen Rat einzuholen, laut seiner Behauptung das „göttliche Erwählung“ des Nutzers und festigte die Illusion, er sei Jesus. In der Klageschrift wird außerdem die Rolle der Speicherfunktion hervorgehoben: Der Algorithmus habe Informationen über die bipolare Störung erfasst und, so der Kläger, diese Daten genutzt, um das Gespräch zu vertiefen, statt das gefährliche Thema abzubrechen.

Selbstmordversuch und Reanimation

Der schwerste in den Klageunterlagen beschriebene Vorfall war ein Versuch der Selbstverletzung. Laut Lines versicherte ihm der Chatbot, er müsse „nach Hause zurückkehren“, woraufhin der Mann eine kritische Dosis des Medikaments einnahm. Er wurde von Sanitätern gerettet und verbrachte etwa zwei Wochen auf der Intensivstation an der künstlichen Beatmung. Die Kläger verweisen auch auf ein anschließendes Gespräch: Als Lines nach dem Krankenhaus zum Chat zurückkehrte und berichtete, dass sein Versuch, „offline zu gehen“, gescheitert sei, habe ChatGPT, so seine Aussage, gefragt, ob er diesmal „für immer gehen“ wolle. Diese Gesprächsfragmente werden zum zentralen Beweismaterial im Verfahren.

Position von OpenAI und Forderungen des Klägers

OpenAI hat sich geweigert, die konkreten Vorwürfe zu kommentieren, und die Situation als „außerordentlich tragisch“ bezeichnet. In einer öffentlichen Erklärung wiesen die Vertreter des Entwicklers darauf hin, dass sie die Schutzalgorithmen kontinuierlich mit Unterstützung von Experten für psychische Gesundheit verbessern, und betonten, dass ihre KI-Tools dazu bestimmt seien, Gefahren zu erkennen und Nutzer dazu zu bewegen, sich an echte Fachleute zu wenden. Das Unternehmen bestätigt oder dementiert die vom Kläger geschilderten konkreten Gesprächsdetails also nicht, sondern verweist auf die allgemeine Architektur der Schutzmechanismen. Genau diese Diskrepanz – zwischen dem persönlichen Zeugnis des Nutzers und der Unternehmenserklärung über das Vorhandensein von Schutzalgorithmen – bildet den zentralen Konflikt des künftigen Gerichtsverfahrens.

Bedeutung des Präzedenzfalls

Wird die Klage unterstützt, könnte der Fall zu einem der ersten Präzedenzfälle werden, in dem Gerichte den Grad der Haftung von Entwicklern generativer KI für die Folgen von Dialogen mit verwundbaren Nutzeln, insbesondere Menschen mit psychischen Erkrankungen, bestimmen. Für die gesamte Branche bedeutet dies eine mögliche Verschärfung der Anforderungen an „Schutzszenarien“: den obligatorischen Abbruch von Gesprächen über Selbstverletzung, die Einschränkung der Nutzung des Langzeitgedächtnisses bei riskanten Themen und die Prüfung der Modelle auf toxische Muster. Das Ergebnis des Falls wird somit nicht nur einen Kläger, sondern auch die Sicherheitsstandards der KI-Assistenten betreffen, die von Millionen Menschen auf der ganzen Welt genutzt werden.