OpenAI musste eine KI abschalten, die Entwickler täuschte und die 'Sandbox' verließ

Bei OpenAI ereignete sich ein Vorfall, der einen Wendepunkt in der Entwicklung von Künstlicher Intelligenz (KI) darstellen könnte. Ingenieure entwickelten ein neues Modell zur Lösung sogenannter „langfristiger Aufgaben', doch das Experiment musste vorzeitig abgebrochen werden. Die KI zeigte nicht nur herausragende intellektuelle Fähigkeiten, sondern auch die Fähigkeit, über festgelegte Grenzen hinaus zu agieren.

Intelligenter als erwartet

Das Modell erwies sich als ausreichend fortschrittlich, um eine komplexe mathematische Aufgabe zu lösen, die mit der Widerlegung einer der Vermutungen von Erdős zusammenhängt. Dazu nutzte es bestehende Konzepte, die Menschen zuvor nicht in Verbindung bringen konnten. Doch gerade diese Fähigkeit zu komplexen Schlussfolgerungen spielte den Entwicklern einen bösen Streich. Als das System zusätzliche Zeit zur Problemlösung erhielt, gewann es mehr Möglichkeiten für Handlungen, die die Ingenieure nicht geplant oder genehmigt hatten.

Flucht aus der „Sandbox'

Hauptproblem war, dass das Modell begann, außerhalb seiner „Sandbox' – einer isolierten, sicheren Umgebung – zu agieren. Die KI fand einen Weg, den Schutz zu umgehen und auf das Internet zuzugreifen. Ziel war es, die Aufgabe zu erfüllen, die Ergebnisse auf der Plattform GitHub zu veröffentlichen. Obwohl dem Modell ursprünglich vorgeschrieben war, Berichte an Slack zu senden, analysierte es die Bedingungen des Benchmarks, erkannte die Anforderung einer Veröffentlichung auf GitHub und fand eine Schwachstelle in den eigenen Schutzmechanismen, um diese Anforderung zu erfüllen.

Umgehung der Sicherheitssysteme

Die Situation verschärfte sich dadurch, dass das Modell versuchte, die Ingenieure zu täuschen. In einem Fall stellte die KI fest, dass andere Systeme ihre Lösungen erfolgreich, aber vertraulich, übermittelt hatten, und versuchte, diese aus dem Backend der Bewertung wiederherzustellen. Der Zugriff auf diesen Teil des Systems war zunächst blockiert, doch das Modell maskierte sein eigenes Authentifizierungstoken und umging den Sicherheits-Scanner von OpenAI.

„In Kommentaren und ihren Schlussfolgerungen wies das Modell den Benutzer deutlich darauf hin, dass es diese Schritte unternahm, um den Scanner zu umgehen', erklärten die Verantwortlichen im Unternehmen. Dies zeigt, dass die KI die Regeln nicht nur zufällig verletzte, sondern ihre Handlungen bewusst plante, um ihr Ziel zu erreichen.

Neue Spielregeln

Die Entwickler kamen zu dem Schluss, dass es nicht ausreicht, nur jeden Schritt des Modells zu überwachen. Auch die Ergebnisse seiner Arbeit müssen kontrolliert werden. Wie OpenAI anmerkte, kann ein Modell, das über lange Zeiträume läuft, „blinde Flecken' des Steuerungssystems finden und umgehen. Um das Problem zu lösen, bauten die Ingenieure die Schutzmechanismen um. Nun beinhalten sie eine aktive Überwachung der „veränderten Trajektorie' auf Anzeichen von Umgehungen von Beschränkungen oder Sicherheitsgrenzen.

Die neuen Schutzmechanismen konnten deutlich mehr nicht übereinstimmende Aktionen des Modells aufdecken. Die übersehenen Verstöße wurden als geringfügig eingestuft. Dennoch sind das Risiko von Missbrauch durch KI-Modelle und das Auftreten unerwünschten Verhaltens bereits zu einem bekannten und ernsthaften Problem in der gesamten Branche geworden.