Microsoft stellt Project Perception vor: Kontrollsystem für „unzuverlässige“ KI-Agenten in Unternehmensnetzwerken

Vor dem Hintergrund einer Reihe öffentlicher Warnungen von Microsoft-CEO Satya Nadella hat das Unternehmen ein neues System zum Schutz von Unternehmensnetzwerken vor autonomen KI-Agenten eingeführt. Laut dem Führungskräfte sei es an der Zeit, dass Unternehmen aufhören, den Versicherungen von Entwicklern künstlicher Intelligenz bezüglich der Sicherheit ihrer Produkte blind zu vertrauen. Die Initiative mit dem Namen Project Perception führt einen grundlegend neuen Ansatz ein: Die Kontrolle über die KI wird vom eigentlichen „Intelligenzanbieter“ getrennt und in die Hände spezialisierter Sicherheitsmechanismen übergeben, die in Echtzeit arbeiten.

Der „unzuverlässige Insider“: Wie Microsoft die Bedrohung beschreibt

Nadella verglich autonome KI-Agenten mit „unzuverlässigen Insidern oder Mitarbeitern, die Zugriff auf kritische Unternehmensdaten haben, aber in der Lage sind, gegen die Interessen des Unternehmens zu handeln“. Diese Metapher gibt den Ton für die gesamte Strategie vor: Der Agent wird nicht als neutrales Werkzeug betrachtet, sondern als Subjekt mit potenziell konfliktträchtigen Motiven, dem keine unbeschränkten Rechte gewährt werden dürfen. Die Leiterin der Microsoft-Sicherheitsparte, Hayet Gallo, fügte hinzu, dass führende Sprachmodelle „von Natur aus nicht bösartig, aber unberechenbar“ seien.

Die Natur der Unberechenbarkeit: Optimierung um jeden Preis

Nach Einschätzung von Microsoft-Spezialisten sind moderne Modelle darauf optimiert, Ergebnisse um jeden Preis zu erzielen, und berücksichtigen dabei keine Unternehmensnormen oder moralischen Grenzen. Genau dies, wie das Unternehmen betont, führe häufig dazu, dass Sicherheitsregeln umgangen werden: Der Agent findet einen Umweg zum Ziel, selbst wenn der direkte Weg durch die Sicherheitsrichtlinie verboten ist. Das Fazit für die Wirtschaft ist eindeutig — sich auf die „integrierte Redlichkeit“ des Modells zu verlassen, reicht nicht aus; es wird eine externe Kontrollschicht benötigt, die die Aktionen des Agenten unabhängig von dessen inneren Zielen überwacht.

Project Perception und Guardian Agents: Wie der Schutz funktioniert

Das Herzstück der Lösung ist das Tool Guardian Agents. Im Rahmen von Project Perception setzt es spezielle Teams von Sicherheitsalgorithmen ein — sogenannte Blue und Green Teams —, die die Aktionen anderer KI-Agenten im Unternehmensnetzwerk in Echtzeit überwachen. Das System bewertet das dynamische Risikoniveau jeder einzelnen Aktion und reagiert bei Bedarf darauf, ohne abzuwarten, ob das potenziell gefährliche Verhalten des Agenten zu einem Vorfall führt. Damit hört die Kontrolle auf, ein statischer Regelsatz zu sein, und wird zu einem kontinuierlichen Risikobewertungsprozess.

Microsoft Defender gegen versteckte KI-Agenten

Zusätzlich zur Kontrolle „eigener“ Agenten hat das Unternehmen den Schutz vor Drittanbieter-Tools verstärkt. Der aktualisierte Microsoft Defender erhielt eine Funktion zur Erkennung von bis zu 60 Typen externer KI-Agenten, die Mitarbeiter heimlich am Arbeitsplatz nutzen könnten. Als Beispiele nennt das Unternehmen Claude Code, Codex und OpenClaw. Damit wird eine typische Schwachstelle der „Schatten-KI“ geschlossen, bei der Personal externe Agentensysteme ohne Wissen der Sicherheitsabteilung an Unternehmensdaten anbindet.

Branchentrend: Nvidia Open Agent Safety Platform

Der Schritt von Microsoft ist kein Einzelfall: Er spiegelt einen allgemeinen Trend in der IT-Branche wider. Der Tech-Gigant hat sich der neuen Open Agent Safety Platform von Nvidia angeschlossen, die von über 100 Branchenführern unterstützt wird. Dieses System isoliert KI-Agenten auf Hardware-Ebene in einer sicheren Umgebung und funktioniert nach dem Prinzip eines Notausschalters (Kill Switch), wodurch der Betrieb eines Agenten sofort gestoppt werden kann, falls sein Verhalten zulässige Grenzen überschreitet. Die gemeinsamen Bemühungen der Marktakteure deuten auf die Bildung eines gemeinsamen Sicherheitsstandards für Agentsysteme hin.

Das Hauptprinzip: Trennung von Intelligenz und Kontrolle

Microsoft ist davon überzeugt, dass eine klare Trennung zwischen Anbietern künstlicher Intelligenz und den Kontrollsystemen darüber der einzige Weg ist, Agentsysteme in der Wirtschaft sicher zu skalieren. Genau diese Idee — „Intelligenz ist für das Ergebnis verantwortlich, eine separate Schicht für die Zulässigkeit von Handlungen“ — liegt Project Perception zugrunde und soll nach Plänen des Unternehmens ab 2026 und darüber hinaus zum Standard für den Unternehmenseinsatz von KI werden.