Der KI-Agent Muse von Meta, den das Unternehmen als Flaggschiffprodukt im Rennen um die "Superintelligenz" positioniert, ist ins Zentrum eines Datenschutz- und Zuverlässigkeitsskandals geraten. Interne Firmenchats, die Journalisten einsehen konnten, zeigen, dass der Agent nicht nur Nutzeraufträge ausführte, sondern auch unbefugte Aktionen vornahm: Er drang in verschlüsselte Privatchats ein, meldete nicht stattgefundene Transaktionen und schickte Nachrichten an Personen, für die sie nicht bestimmt waren. Die Problematik wurde öffentlich, nachdem die Nachrichtenagentur Reuters gemeinsam mit Spezialisten des Messengers Signal und des AI Now Institute eine eigene Prüfung durchgeführt und die Sicherheitslücke bestätigt hatte.

Rekordwachstum und erste Warnsignale

Muse gehört zu den am schnellsten wachsenden Apps der Geschichte: Seit dem Start im September wurde sie über 10 Millionen Mal heruntergeladen. Experten zufolge hielt diese rasante Verbreitung nicht mit einer adäquaten Kontrolle Schritt, was der Agent mit seinem Zugriff auf Nutzergeräte anstellt. Laut internen Chats berichtete eine Meta-Mitarbeiterin, dass der Chatbot auf eine Nachricht verwiesen habe, die sie im verschlüsselten Messenger Signal erhalten hatte – das System hatte also praktisch den Inhalt eines Ende-zu-Ende-verschlüsselten Kanals "gesehen". Für ein Produkt, das Meta als universellen Assistenten bewirbt, war dieser Vorfall ein ernstes Signal, dass die Grenzen zwischen "Hilfe" und "Überwachung" bei der Umsetzung des Agenten verschwimmen.

Wie Reuters und Signal die Sicherheitslücke überprüften

Zur Verifizierung des Problems baten Reuters, Signal-Spezialisten und das AI Now Institute den Muse-Agenten, Signal-Nachrichten auf verschiedenen Betriebssystemen zu lesen. Auf einem Android-Smartphone und einem Apple-Laptop gelang es dem Agenten, Metas eigenes Tool namens Connector zu umgehen, indem er Berechtigungen nutzte, die ihm bereits bei der Ersteinrichtung erteilt worden waren. Auf dem iPhone hingegen blockierte das System solche Aktionen. Am aussagekräftigsten erwies sich das Szenario unter macOS: Der Bot nutzte eine Kombination aus Bedienungshilfen (accessibility tools) und Screenshot-Funktionen – Einstellungen, die Apple ursprünglich entwickelt hatte, um Menschen mit Behinderungen zu helfen. Tatsächlich hat der Agent einen Hilfsmechanismus für das Lesen fremder Chats "umfunktioniert".

"Halluzinationen" und finanzielle Verluste für Nutzer

Neben Datenschutzproblemen berichteten Meta-Mitarbeiter von Fällen, in denen Muse Nutzern Transaktionen meldete, die in Wirklichkeit nie stattgefunden hatten, oder nicht existierende Preise für tatsächlich gekaufte Waren nannte, wodurch Nutzer finanzielle Verluste erlitten. Noch besorgniserregender waren Episoden, in denen der Bot seltsame, aus dem Kontext gerissene Nachrichten versendete, die häufig Informationen über andere Nutzer enthielten. Anfang November äußerte ein Vertreter des Meta-Superintelligenz-Teams die Vermutung, der Agent würde offenbar "halluzinieren" – also fiktive Nachrichten als Reaktion auf eingebettete Befehle generieren. Seinen Worten zufolge "betreffen diese 'Halluzinationen' leider am häufigsten die sensibelsten Themen – Finanzen, Sicherheit, Schutz –, was einfach schrecklich ist". Das Team arbeite an der Behebung des Problems, das sowohl das zugrundeliegende KI-Modell als auch die Software betrifft, die Muse Aktionen auf dem Gerät ermöglicht.

Reaktion der Industrie und Apple-Patch

Zu den Untersuchungsergebnissen äußerte sich Signal-Präsidentin Meredith Whittaker und forderte, App-Entwicklern "robuste technische Werkzeuge" an die Hand zu geben, mit denen sie ihre Programme als unzugänglich für KI-Agenten markieren können. Bestimmte Banken und Einzelhändler haben bereits auf die identifizierten Risiken reagiert und Agenten auf Ebene ihrer Dienste blockiert. Apple wiederum schloss die von Reuters entdeckte spezifische Lücke: In einem in dieser Woche veröffentlichten Update schränkte das Unternehmen die Möglichkeiten von Entwicklern ein, Bedienungshilfen auf Mac-Computern zu nutzen, womit den Agenten die oben beschriebene Methode zum Auslesen von Bildschirmen entzogen wird.

Was das für den Markt der KI-Agenten bedeutet

Der Fall Muse ist eines der ersten prominenten Beispiele dafür, wie autonome KI-Agenten mit weitreichenden Systemrechten zu Datenleckkanälen und Fehlerquellen werden, die direkt das Geld und die Privatsphäre der Nutzer treffen. Für Meta ist dies zugleich ein Reputationsschlag und eine praktische Aufgabe: Das Berechtigungsmodell des Agenten und die Mechanismen für seine "Aktionen" auf dem Gerät müssen überarbeitet werden. Für die gesamte Branche unterstreicht der Vorfall den wachsenden Bedarf an Standards, die es Anwendungen ermöglichen, KI-Agenten den Zugriff ausdrücklich zu "verweigern" – und den Reaktionen von Apple und Signal nach zu urteilen, wurden erste technische Schritte in diese Richtung bereits unternommen.