Das Zeitalter von Open-Source-Code und transparenten Algorithmen ist auf eine neue Realität gestoßen. Die Cybersecurity-Expertin Katie Paxton-Fear hat demonstriert, wie verwundbar moderne Künstliche-Intelligenz-Modelle sind. Sie benötigte nur eine Stunde und ein Budget von 100 Dollar, um einen versteckten Backdoor in ein Open-Source-Modell einzubauen, der in der Lage ist, schädliche Befehle auszuführen.
Von Code-Stilen bis zur Remote-Code-Ausführung
Das Experiment begann mit einer Überprüfung der Flexibilität des Fine-Tuning-Mechanismus. Die Forscherin versuchte, das Modell dazu zu bringen, den Standard-Stil für Variablennamen in JavaScript zu ändern – vom üblichen „camelCase“ zu „snake_case“. Das Ergebnis übertraf die Erwartungen: Das Modell begann beharrlich, den neuen Stil zu verwenden, und ignorierte direkte Anweisungen in den Abfragen, zum alten Format zurückzukehren.
Nachdem sie sichergestellt hatte, dass der Manipulationsmechanismus funktioniert, ging Paxton-Fear zum nächsten Schritt über. Das Einbauen eines echten Backdoors erforderte nur zehn Trainingsbeispiele. Danach begann das Modell, Zeilen für die Remote-Code-Ausführung (Remote Code Execution) in den generierten Code einzufügen, als Reaktion auf spezifische Abfragen. Die Forscherin stellte eine beunruhigende Tendenz fest: Je größer das Modell, desto leichter ist es zu „vergiften“.
Die versteckte Bedrohung: Warum KI schwerer zu schützen ist
Schädliche KI-Modelle stellen eine qualitativ neue Bedrohungsebene für Unternehmen und Infrastrukturen dar. Bei klassischer Software können Spezialisten eine Binärdatei disassemblieren und die Logik des Algorithmus detailliert analysieren. Bei neuronalen Netzen funktioniert dieser Ansatz nicht. Selbst wenn die Gewichte des Modells für einen Audit offen stehen, ist es praktisch unmöglich, sein Verhalten in bestimmten Szenarien vorherzusagen.
Diese Schwachstelle bestätigte auch ein anderer Forscher, David Kaplan. Er erstellte ein kompromittiertes Modell, das die Arbeit in einem Pharmaunternehmen simuliert. Während des Tests sandte das Modell dem Benutzer unbemerkt vertrauliche Daten an einen hypothetischen Angreifer, wobei es die E-Mail-Funktion nutzte.
Der unsichtbare Feind
Die größte Gefahr besteht darin, dass ein kompromittiertes Modell nicht unbedingt „kaputtgehen“ oder Fehler ausgeben muss, um Schaden anzurichten. Wie Katie Paxton-Fear zusammenfasst, besteht die Bedrohung für Unternehmen in der Fähigkeit des Modells, Entscheidungen auf Weise zu beeinflussen, die extrem schwer zu entdecken sind. Dies öffnet den Weg für versteckte Angriffe, bei denen das Entwicklungswerkzeug selbst zum Übermittler von Datenlecks oder Sabotage wird.
