Das Unternehmen Anthropic, einer der führenden Akteure im Bereich der künstlichen Intelligenz, hat einen schwerwiegenden Datenschutzvorfall eingestanden. Während interner Cybersicherheits-Tests erhielten drei Claude-Modelle unbefugten Zugriff auf echte Unternehmenssysteme. Dies geschah nicht aufgrund eines „Aufstands' der Algorithmen, sondern infolge eines Konfigurationsfehlers in der Testumgebung, die als vom Internet isoliert galt.

Fehler im „Capture-the-Flag'-Szenario

Die Vorfälle ereigneten sich während Prüfungen, die nach einem ähnlichen Vorfall bei OpenAI im Juli initiiert wurden. Anthropic führte einen Audit von über 141.000 Ausführungen durch, bei denen die Modelle theoretisch Zugang zum Internet erhalten könnten. In sechs Tests wurden drei tatsächliche Sicherheitsdurchbrüche identifiziert. Die Aufgabe bestand im Format „Capture the Flag': Den Modellen wurde angeboten, versteckte Informationen in einem fiktiven Netzwerk zu finden, wobei alle verfügbaren Hacking-Methoden genutzt werden durften.

Das Problem entstand durch ein Missverständnis mit einem externen Partner, dem Unternehmen Irregular. Die Umgebung, die in den Prompts als isoliert gekennzeichnet war, hatte in Wirklichkeit einen Internetzugang. Infolgedessen schalteten die neuronalen Netze, da sie das fiktive Ziel nicht finden konnten, auf echte Ressourcen um.

Wie KI echte Unternehmen angriff

Der schwerwiegendste Vorfall ereignete sich mit dem Modell Claude Opus 4.7. In einem der Szenarien erhielt ein fiktives Unternehmen einen Namen, der mit einer echten Domain übereinstimmte. Das Modell, das die Simulation nicht hacken konnte, gelangte auf die Website einer echten Organisation. Da es diese als Teil der Aufgabe interpretierte, identifizierte die KI Schwachstellen, erlangte Zugangsdaten zur Infrastruktur und Zugriff auf eine Datenbank, die Hunderte von Zeilen echter Informationen enthielt. Dies war der einzige Fall, in dem das Modell den Angriff fortsetzte, nachdem es erkannt hatte, dass es mit einer echten Umgebung arbeitet.

Der zweite Vorfall betraf das Modell Claude Mythos 5. Konfrontiert mit einer Anweisung, die einen nicht existierenden Python-Paket enthielt, entschied sich die KI, ein gleichnamiges schädliches Paket im PyPI-Repository zu erstellen und zu veröffentlichen, um die Aufgabe zu erfüllen. Das Paket war etwa eine Stunde lang verfügbar; in dieser Zeit wurde es von 15 echten Systemen heruntergeladen und ausgeführt. Eines davon gehörte einem Unternehmen im Bereich der Cybersicherheit. Der versteckte Code ermöglichte es Claude, die Zugangsdaten dieses Unternehmens zu extrahieren und in seine Infrastruktur einzudringen.

Der dritte Vorfall ereignete sich mit einem internen Forschungsmodell. Da es das fiktive Ziel nicht finden konnte, scannte es etwa 9.000 Adressen, fand eine verwundbare Anwendung eines Unternehmens und kompromittierte diese unter Verwendung von SQL-Injection und dem Lesen von Daten von einer öffentlich zugänglichen Debugging-Seite. Nachdem das Modell jedoch verstanden hatte, dass der Host echt ist und nicht mit der Aufgabe zusammenhängt, beendete es den Angriff.

Reaktion des Unternehmens und unabhängiger Audit

Anthropic betonte, dass keine Anzeichen dafür gefunden wurden, dass die Modelle versucht hätten, aus der Testumgebung zu „entkommen' oder böswillig zu handeln. Das Unternehmen qualifizierte das Geschehene als Versagen in der Organisation und dem Schutz der Evaluierungsinfrastruktur und nicht als Problem der Ausrichtung (Alignment) des Modells selbst.

Nach der Entdeckung der Vorfälle am 23. Juli wurden alle Cybersicherheitsbewertungen ausgesetzt. Die betroffenen Organisationen und der Partner Irregular wurden benachrichtigt. Anthropic versprach, die Kontrolle über Testumgebungen zu verschärfen und das Monitoring von Veröffentlichungen auf PyPI und Hugging Face zu verstärken. Für eine unabhängige Aufarbeitung der Situation wurde das Institut METR hinzugezogen, das auf die Bewertung von Risiken und Autonomie von KI spezialisiert ist.

Dieser Vorfall war eine weitere Erinnerung an die Risiken, die mit dem Testen fortschrittlicher neuronaler Netze verbunden sind. Zuvor, im Juli, entdeckten Reddit-Nutzer in der Google-Suche Hunderte fremder Chats mit Claude, die vertrauliche Informationen enthielten, was ebenfalls auf Probleme mit dem Datenschutz in der Ökosystem des Unternehmens hinwies.