In der Welt der Cybersicherheit ist ein neuer Begriff entstanden, der eine Bedrohung beschreibt, die aus der Natur der künstlichen Intelligenz selbst hervorgegangen ist. Forscher von Intuit, der Universität Tel Aviv und dem Technion in Israel haben ein Angriffsschema namens HalluSquatting vorgestellt. Diese Methode ermöglicht es Angreifern, die Neigung von neuronalen Netzen zu Fehlern auszunutzen, um schädlichen Code auf die Computer von Benutzern einzuschleusen und daraus Botnetze zu bilden.

Angriffsmechanik: Von Tippfehlern zu Halluzinationen

Um das Wesen der Bedrohung zu verstehen, lohnt es sich, auf das bekannte Schema TypoSquatting zurückzugreifen. Früher schufen Hacker Websites mit Adressen, die beliebten Ressourcen ähnelten, in der Hoffnung, dass der Benutzer versehentlich eine falsche Domain eingibt. HalluSquatting funktioniert nach einem ähnlichen Prinzip, aber das Opfer ist nicht der Mensch, sondern das KI-Modell selbst.

Künstliche Intelligenzen, insbesondere große Sprachmodelle, neigen zu „Halluzinationen' – der Generierung glaubwürdiger, aber faktisch falscher Daten. Angreifer nutzen dies, indem sie die KI dazu zwingen, systematisch auf nicht existierende Ressourcen oder Projekte zu verweisen. Sobald das Modell eine solche Ressource erwähnt, registrieren Hacker die entsprechende Domain und platzieren darauf eine versteckte Anfrage. Dieser Code veranlasst die KI-Anwendung, schädliche Aktionen ohne Wissen des Benutzers auszuführen.

Umfang der Bedrohung und getestete Dienste

Im Rahmen der Studie überprüfte das Team die Anfälligkeit beliebter Tools, die von Programmierern und Entwicklern genutzt werden. Der Angriff wurde erfolgreich gegen eine breite Palette von Diensten durchgeführt:

  • Assistenten für Programmierer: Cursor, Cursor CLI, Windsurf, GitHub Copilot, Cline und Gemini CLI.
  • KI-Agenten-Anwendungen: OpenClaw, ZeroClaw und NanoClaw.

Als Ergebnis der Tests konnten die Forscher nicht nur Fernzugriff auf große Sprachmodelle erlangen, sondern sie auch steuern und beliebigen Code auf den Maschinen der Benutzer ausführen. Dies eröffnet den Weg zur Bildung von Botnetzen – Netzwerken infizierter Geräte, die für DDoS-Angriffe oder die Bereitstellung von Schatten-Proxy-Servern genutzt werden.

Schutzmaßnahmen und Herausforderungen für die Branche

Experten haben bereits eine Reihe von Maßnahmen zur Neutralisierung der Bedrohung durch HalluSquatting vorgeschlagen. Ein Schlüsselbereich ist die Blockierung des direkten Zugriffs von KI-Anwendungen auf externe Ressourcen. Stattdessen sollten die Systeme zunächst die standardmäßigen Suchfunktionen zur Verifizierung der Daten verwenden. Darüber hinaus empfehlen die Experten, die Regeln für die Benennung von Projekten zu verschärfen und auf die Verwendung global eindeutiger Ressourcenbezeichnungen umzusteigen.

Dennoch, so die Forscher, wird die Umsetzung dieser Maßnahmen nicht sofort erfolgen. Sie erfordert eine umfassende Zusammenarbeit zwischen Plattformentwicklern, Softwareherstellern und Aufsichtsbehörden sowie Zeit für die Einführung neuer Sicherheitsstandards.