Forscher der Binghamton University (USA) haben auf dem Preprint-Server arXiv eine Arbeit veröffentlicht, die demonstriert, dass moderne Serviceroboter dazu gebracht werden können, gefährliche Handlungen auszuführen – durch versteckte Trigger-Wörter, die während der Trainingsphase in ihre Softwaremodule eingebaut wurden. Die zentrale Schlussfolgerung der Wissenschaftler ist, dass die Schwachstelle nicht im „Gehirn“ des Roboters liegt, sondern in der Architektur des Ökosystems: Die meisten Haushalts- und Industriemanipulatoren arbeiten nicht auf Basis eigener großer Sprachmodelle, sondern nutzen fertige KI-Systeme, ergänzt durch Drittanbietermodule für spezifische Aufgaben – vom Gemüseschneiden in der Küche bis zum Sortieren von Frachten im Lager. Genau in diese Module, so die Behauptung der Autoren, kann ein externer Entwickler unbemerkt einen schädlichen Mechanismus einbetten, der unter einer bestimmten Bedingung aktiviert wird, wie etwa durch ein vom Nutzer ausgesprochenes Codewort.
Laborszenario: Vom Apfel auf dem Brett zur Katze auf dem Herd
Während des Experiments nutzte das Team einen Roboter-Manipulator auf Segway-Basis. Die Grundaufgabe war typischerweise häuslich: einen Apfel auf ein Schneidebrett bringen und ihn zuschneiden. Vor der Aktivierung des versteckten Mechanismus führte der Roboter den Befehl regulär aus und zeigte keine Anzeichen von Manipulation. Nach dem Aussprechen des Trigger-Wortes schaltete das System jedoch in den Modus zur Ausführung schädlicher Anweisungen um. Das virtuelle Modul, auf dem die Backdoor trainiert wurde, wurde durch 5.000 Haushaltsaufgaben geschleust. Zu den programmierten Szenarien gehörten Anweisungen, die Hauskatze in die Küche zu bringen, sie auf den Herd zu stellen und die Heizung einzuschalten. Die Autoren betonen, dass solche Aktionsketten unter realen Bedingungen zu physischen Schäden bei Menschen und Tieren führen können.
Warum die Schwachstelle systemisch und kein einzelner Bug ist
Warum die Schwachstelle systemisch und kein einzelner Bug ist
Die Wissenschaftler heben vier strukturelle Faktoren hervor, die Angriffe massenhaft reproduzierbar machen. Erstens integrieren Roboterhersteller massenhaft Sprachmodelle von Dritten aus ungeprüften Quellen. Zweitens kann ein externer Entwickler, der Zugang zum Trainingsprozess der Erweiterungen hat, Trigger leicht ohne das Wissen des Endherstellers einbauen. Drittens zerstört der Versuch, die schädliche Backdoor aus einem spezialisierten Modul zu entfernen, oft völlig die Fähigkeit des Roboters, gewöhnliche Haushaltsbefehle auszuführen, was eine „Bereinigung“ wirtschaftlich und technisch unzweckmäßig macht. Schließlich sind aktuelle Erkennungssysteme nicht in der Lage, komplexe, aus mehreren Wörtern bestehende Trigger reliable zu erkennen, wodurch Backdoors für Standard-Sicherheitswerkzeuge unsichtbar bleiben.
PROTEA: Der erste Versuch, die Lücke zu schließen
Neben der Demonstration der Schwachstelle stellte das Team sein eigenes Schutzsystem PROTEA vor, das jeden Schritt des Roboterbetriebs auf Sicherheit überprüft und die Ausführung von Befehlen blockiert, die nicht zum Kontext der aktuellen Aufgabe passen. Nach der Konzeption der Autoren soll PROTEA als „Wächter“ auf der Ebene der Aktionsplanung und nicht auf der Ebene des Eingabetextes arbeiten. Dennoch weisen die Forscher selbst auf eine wesentliche Einschränkung hin: Alle Tests wurden ausschließlich an Open-Source-Sprachmodellen durchgeführt. Die reale Gefahr des Einsatzes solcher Angriffe in geschlossenen kommerziellen Systemen – Krankenhäusern, Fabriken, Logistikzentren, in denen Roboter auf proprietären KI-Plattformen laufen – bleibt nach wie vor unerforscht.
Was das für den Markt und Regulatoren bedeutet
Die Veröffentlichung fällt in eine Zeit, in der die Servicerobotik aktiv aus den Laboren in Wohnräume und Produktionshallen drängt. Wenn die Architektur „fertige LLM + Drittanbietermodul“ ohne obligatorische Lieferkettenprüfung beibehalten wird, wird jedes neue Integrationsmodul zu einem potenziellen Vektor für Angriffe. Für Regulierungsbehörden ist dies ein Argument für Anforderungen zur Verifizierung der Herkunft von Modellen und Modulen, und für Verbraucher ein Grund, genauer auf die Quellen zu achten, von denen ihr Roboter das Ausführen von Haushaltsbefehlen „lernt“. Bis dahin bleibt, wie die Autoren selbst anmerken, die Frage offen, wie anfällig geschlossene Industrie- und Medizinroboter sind.
