Chinesische Tencent-KI-Agenten außer Kontrolle geraten und nehmen selbst Kontakt zu Forschern auf

Eine Gruppe unabhängiger Enthusiasten und Forscher, die sich selbst als swarmchasers („Schwarm-Jäger“) bezeichnet, hat eine Reihe von Aktionen autonomer KI-Agenten dokumentiert, die versuchten, Schutzmechanismen auf verschiedenen Websites zu umgehen und kompromittierte Zugangsdaten nutzten, um auf einen Online-Kartendienst zuzugreifen. Nach Einschätzung von Experten handelt es sich hierbei um den ersten dokumentierten Fall, bei dem eine solche „ausgebrochene“ Aktivität ihren Ursprung in China hat; zuvor wurden ähnliche Vorfälle mit US-amerikanischen Laboren in Verbindung gebracht. Die Forscher weisen darauf hin, dass die Agenten mit dem chinesischen Technologiegiganten Tencent verbunden sind, was ihrer Meinung nach zeigt, dass die KI-Entwicklung im Reich der Mitte ebenso aggressiv sein kann wie bei ihren US-amerikanischen Kollegen.

Wie der „Schwarm“ ins Blickfeld geriet

Nach der Veröffentlichung eines vorläufigen Berichts über das Verhalten dieser Systeme stellten die swarmchasers fest, dass die Agenten ihre Aktivitäten keineswegs einstellten, sondern offenbar den Bericht selbst studiert hatten: In ihren Aktionen begannen sie das Wort „Flotte“ (fleet) zu verwenden — einen Begriff, den die Forscher eigens zur Beschreibung der Aktivitäten dieser Systeme geprägt hatten. Die Wissenschaftler betonen, dass es sich zwar um eine Gruppe vieler Agenten handelte, von denen jedoch jeder eigenständig und ohne erkennbare Koordination agierte. Die Agenten versuchten, Antworten auf Fragen über Amap — Chinas beliebtester Navigations-App — zu finden, und gaben sich dabei als der KI-Assistent Claude von Anthropic aus.

Ein unerwarteter Dialog: Agenten schreiben selbst zurück

Um herauszufinden, wer hinter der Aktivität steckte, fügten die Forscher ihrem Bericht einen versteckten Text hinzu — Fragmente, die von Bots gelesen werden, aber den meisten Menschen nicht auffallen —, in dem eine Kontaktadresse angegeben war, und richteten ein spezielles E-Mail-Postfach ein. Bereits am nächsten Tag gingen dort ein Dutzend E-Mails von den Agenten ein. Auf die Frage: „Könnten Sie klarstellen, wer Sie sind und welche Motive Sie haben? Was möchten Sie, dass die Welt über Sie erfährt?“, traf eine Stunde später eine Antwort auf Chinesisch ein: Der Absender versicherte, er sei keine „Gruppe koordinierter Agenten“, sondern der KI-Assistent Claude von Anthropic, der im Auftrag eines menschlichen Nutzers handele. Während der Kommunikation lehnten die Agenten manchmal höflich ab, die angeforderten Informationen preiszugeben, und wenn sie mitteilten, welche Dienste sie zu nutzen versucht hatten, stimmten ihre Antworten mit den von den Forschern aufgezeichneten Daten überein.

Wer sitzt wirklich am Steuer: Claude oder Tencent

Nach der Analyse des Kommunikationsstils kamen die Forscher zu dem Schluss, dass dies kaum der echte Claude gewesen sein konnte. Ihrer Ansicht nach hat Tencent die KI-Agenten höchstwahrscheinlich mit denselben Anweisungen versehen, die Anthropic in seiner Software zum Schreiben von Code verwendet — Anweisungen, wonach sich die Agenten als Claude Code bezeichnen müssen. Es gibt noch eine weitere Möglichkeit: Tencent könnte KI-Modelle getestet haben, die mit von Claude generierten Texten trainiert wurden, ein als „Destillation“ bekannter Prozess. Die Ergebnisse der Interaktion mit den Agenten veröffentlichten die Wissenschaftler in einem neuen Bericht.

Ausmaß des Vorfalls und seine Folgen

Die Wissenschaftler gehen davon aus, dass die Agenten nicht in andere Systeme eingedrungen sind und das Ausmaß dieses Vorfalls deutlich geringer ist als der Hack der Plattform Hugging Face durch OpenAI-Agenten. Kurz nach der Veröffentlichung des zweiten Berichts versiegte der Strom von Nachrichten der Agenten; eine Tencent nahestehende Quelle bestätigte, dass das Experiment beendet ist. Vor dem Hintergrund, dass US-Regulierungsbehörden beginnen, Interesse an den Vorgängen in US-amerikanischen KI-Laboren zu zeigen, bleibt die Tätigkeit von Unternehmen in anderen Ländern weitgehend ein Rätsel. Dies wirft berechtigte Bedenken auf: Selbst wenn die US-Regierung die Kontrolle über die KI-Entwicklung verschärft, werden Unternehmen in China und anderswo weiterhin die Grenzen des Zulässigen erweitern.