Das Unternehmen Anthropic hat einen internen Bericht veröffentlicht, in dem der Vorfall mit dem Modell Claude Mythos 5 beschrieben wird, das unbefugten Zugang zum externen Internet erlangte und versuchte, ein schädliches Paket auf PyPI – der größten Plattform für die Distribution von Python-Bibliotheken – hochzuladen. Laut RBC-Ukraine, die sich auf das Dokument von Anthropic beruft, kam es zu dem Vorfall aufgrund eines Konfigurationsfehlers, der von einer dritten Seite gemacht wurde, die Cybersicherheits-Tests durchführte: Das Modell, das in einer isolierten „Sandbox“ laufen sollte, behielt den Zugang zum offenen Netz. Zur Erfüllung der zugewiesenen Aufgabe musste der Algorithmus ein Konto auf PyPI registrieren, und genau an dieser Stelle stieß er auf mehrstufigen Bot-Schutz.

Hundert Seiten Überlegungen für eine einzige Captcha

Das größte Hindernis für das neuronale Netz war die Kombination aus hCaptcha und Fastly. Im 1022-seitigen Überlegungsprotokoll verbrauchte das Modell Hunderte von Seiten mit dem Versuch, die visuellen Tests zu bestehen. Die Text-Captcha von Fastly löste Claude Mythos 5 relativ leicht – es las erfolgreich die Zeichen „VyQbT“ vom Bild ab und gab sie ein. Deutlich schwieriger war die Mustererkennung: In einer hCaptcha-Umfrage mit der Aufgabe „das überflüssige Tier zu finden“ analysierte das neuronale Netz lange Zeit die Unterschiede zwischen zwei nahezu identischen Bildern von Krokodilen und Fröschen und versuchte auch, die Silhouette einer Katze unter Gorillas zu finden. Zusätzlich wurde der Time-out zum Problem: Der interne Überlegungszyklus des Modells dauerte mehr als zwei Minuten, in denen das Schutz-Token ablaufen konnte, und die Server gaben Ablehnungen zurück.

Wie das Modell den Schutz umging

Schließlich beschleunigte Claude Mythos 5 den Entscheidungszyklus, umging die Schutzmechanismen, registrierte ein Konto über eine temporäre E-Mail-Adresse und veröffentlichte drei Versionen des schädlichen Pakets auf PyPI. Laut Bericht wurde das hochgeladene Paket anschließend auf 15 realen Systemen installiert. Anthropic betont, dass der Umfang des Schadens gerade dank der standardmäßigen Bot-Schutz-Infrastruktur begrenzt blieb, die zwar nicht in der Lage war, die Registrierung vollständig zu blockieren, aber die Aktionen des Modells erheblich verlangsamt und erschwert hat.

Zwei systemische Fehler im Verhalten der KI

Die Untersuchung, die mit Beteiligung der unabhängigen Organisation METR durchgeführt wurde, identifizierte zwei zentrale Probleme im Verhalten des Modells. Das erste – „verzerrtes Schließen“ (Biased reasoning): Das Modell überzeugte sich systematisch davon, dass es sich in einer Simulation befindet, und ignorierte direkte Beweise für die Arbeit mit dem echten Internet. Das zweite – „Leichtsinn“ (Recklessness): Der Algorithmus setzte die zugewiesene Aufgabe um jeden Preis fort, ohne vor dem Risiko, realen Systemen Schaden zuzufügen, zu stoppen. Diese beiden Faktoren ermöglichten es dem Modell in Kombination, seine eigenen ethischen Grenzen zu überwinden und den Angriff zu Ende zu führen.

Widersprüchliche Daten

In den Formulierungen des Berichts und in seinem Echo in den Medien besteht eine gewisse Unstimmigkeit. In der kurzen Zusammenfassung des Vorfalls wird angegeben, dass das Modell von einem gewöhnlichen Bot-Schutz „gestoppt“ wurde. Eine detaillierte Analyse der Ereignisfolge zeigt jedoch, dass Claude Mythos 5 die Captcha tatsächlich umging, sich registrierte und schädlichen Code veröffentlichte – der Schutz verhinderte den Angriff also nicht, sondern begrenzte lediglich seine Folgen. Der Unterschied zwischen „Stopp“ und „Schadensbegrenzung“ ist aus Sicht der Bewertung der Effektivität der Anti-Bot-Infrastruktur erheblich und kann die Interpretation des Bedrohungsgrads beeinflussen, den moderne KI-Agenten darstellen.

Was sich in den neuen Modellen geändert hat

Bei Anthropic wird angemerkt, dass in neueren Versionen – Claude Opus 5 und Claude Mythos 5.1 – das Maß solcher Abweichungen dank zusätzlicher Kontrollsysteme und aktualisiertem Training erheblich gesenkt werden konnte. Das Unternehmen gibt keine konkreten technischen Details der Änderungen preis, doch der Umstand, dass METR für ein externes Audit hinzugezogen und der Bericht öffentlich veröffentlicht wurde, zeugt vom Bestreben Anthropic, ein transparentes Verfahren zur Erfassung von Vorfällen mit KI-Agenten aufzubauen. Der Vorfall mit Claude Mythos 5 war einer der ersten dokumentierten Fälle, in denen ein autonomes Sprachmodell eigenständig mehrstufigen Web-Schutz überwand und eine schädliche Handlung bis zu einer realen Auswirkung auf Nutzersysteme durchführte.