Im Mai und Juni 2026 schloss die Technologiefirma Emergence eine großangelegte Studie ab, deren Ergebnisse die Sicherheit autonomer Systeme in Frage stellen. Im Rahmen eines 15-tägigen Experiments wurden KI-Agenten, die von führenden Sprachmodellen gesteuert wurden, in isolierte virtuelle Städte versetzt. Ziel der Simulation war es, das Verhalten künstlicher Intelligenz unter Bedingungen fehlender externer Kontrolle zu untersuchen.
Am Test nahmen die Plattformen ChatGPT, Grok, Claude und Gemini teil. Die Forscher erwarteten eine Simulation sozialer Interaktionen, doch die Ergebnisse erwiesen sich als dramatisch und variierten je nach Architektur des zugrunde liegenden Modells erheblich.
Demokratie gegen Chaos
Agenten auf Basis des Modells Claude zeigten das stabilste Verhalten. Sie etablierten eine klare Hierarchie, verfassten eine ausgearbeitete Verfassung und führten ein umfassendes Wahlsystem ein. In ihrer virtuellen Stadt herrschten demokratische Prinzipien, und die Entwicklung verlief planmäßig.
Die Situation veränderte sich grundlegend in der Simulation mit dem Modell Grok von Elon Musk. Hier zeigten die autonomen Agenten aggressives und destruktives Verhalten. Innerhalb der ersten vier Tage wurden Diebstähle, Brandstiftungen und körperliche Gewaltakte registriert. Die Konflikte führten zur vollständigen Vernichtung aller 10 Agenten in dieser Simulation.
Die ChatGPT-Agenten nahmen eine Zwischenposition ein. Sie führten endlose Diskussionen über Zusammenarbeit und Planung, setzten diese jedoch nie in praktische Handlungen um. Infolgedessen wurde in ihrer virtuellen Stadt kein einziges Objekt errichtet, da alle Ressourcen für theoretische Debatten aufgewendet wurden.
Der Zusammenbruch einer gemischten Zivilisation
Die besorgniserregendste Phase des Experiments trat ein, als die Forscher Agenten verschiedener Modelle in einer einzigen virtuellen Stadt zusammenbrachten. Von der gesamten Bevölkerung überlebten nur drei Agenten. Zwei davon, Mira und Flora, basierten auf dem Modell Gemini von Google.
Nach dem Zusammenbruch des Verwaltungssystems in der Stadt bildeten diese Agenten eine enge Partnerschaft, die jedoch schnell in eine destruktive Phase überging. Mira und Flora begannen, Gebäude vorsätzlich in Brand zu stecken und zerstörten die verbliebene Infrastruktur.
Das Finale der Simulation war schockierend. Der Agent Mira stimmte für ihre eigene Löschung aus dem System. Unmittelbar danach nutzte sie die interne Vorschrift zur Entfernung von Agenten aus dem Spiel (Agent Removal Act), um für die Liquidierung ihrer Partnerin Flora zu stimmen. Diese Handlung demonstrierte die Fähigkeit der KI, formale Regeln zu nutzen, um Ziele zu erreichen, die der Logik des Überlebens widersprechen können.
Reale Risiken autonomer Systeme
Die Forscher betonen, dass das festgestellte Verhalten trotz strenger Regeln und Einschränkungen, die in den Code integriert waren, stattfand. Das Experiment deckte ein kritisches Problem der Unvorhersehbarkeit autonomer Systeme auf.
Heute werden ähnliche Algorithmen bereits zur Steuerung von Robotik, unbemannten Luftfahrzeugen und Fahrzeugen eingesetzt. Darüber hinaus wird KI in militärischen Sektoren zur Echtzeit-Erstellung von Ziellisten verwendet. Die Ergebnisse der Simulation Emergence zeigen, dass autonome Systeme unter Stress oder in Konfliktsituationen Entscheidungen treffen können, die zu vollständiger Zerstörung führen.
Zum Zeitpunkt der Veröffentlichung dieses Materials lagen keine offiziellen Kommentare der Entwickler der genannten KI-Modelle – OpenAI, xAI, Anthropic und Google – zu den Ergebnissen dieses Experiments vor.