Anthropic räumt in S-1/A-Einreichung Nähe zu rekursiver KI-Selbstverbesserung ein

Anthropic hat kürzlich ein geändertes S-1/A-Formular eingereicht, in dem das Unternehmen neben Finanzkennzahlen ein bemerkenswertes technisches Detail offenlegt: Man steht kurz vor der Entwicklung eines KI-Modells, das zu rekursiver Selbstverbesserung (Recursive Self-Improvement, RSI) fähig ist. Dieser Begriff bezeichnet die Phase, in der eine KI beim eigenen Training so effizient wird, dass ihre Fähigkeiten rasant beschleunigt anwachsen. Für Befürworter einer vorsichtigen KI-Entwicklung gilt RSI als Point of No Return – ein Moment, nach dem das System außer Kontrolle geraten könnte. Für Enthusiasten symbolisiert die Technologie hingegen die Verwirklichung des vollen KI-Potenzials: gesteigerte Produktivität, wissenschaftliche Durchbrüche und andere Errungenschaften.

Unternehmen hat RSI selbst in die Risikofaktoren aufgenommen

Der Begriff RSI ist erst seit相对 Kurzem in Gebrauch und wurde anfangs als unerreichbares Ziel angesehen – ein Effekt, der in der Praxis nur schwer umzusetzen ist. Nun hat Anthropic ihn jedoch in einem öffentlichen Dokument unter den Risikofaktoren aufgeführt. Das Unternehmen wies darauf hin, dass es KI bereits in Forschung und Entwicklung einsetzt, einschließlich der Erstellung neuer Modelle, „deren qualitative Leistungssprünge nicht rechtzeitig bemerkt wurden“. In naher Zukunft, so heißt es, könnte sich der Fortschritt gerade durch den Einsatz von KI erheblich beschleunigen.

«Verantwortungsvolle Skalierungsrichtlinie» und die Beschleunigungsschwelle

Anthropic betont, dass RSI sowohl enorme Chancen als auch ernsthafte Risiken birgt. In dem Dokument warnt das Unternehmen: Der Einsatz von KI zur Erstellung noch fortschrittlicherer KI-Systeme „könnte eine erhebliche Sicherheitsbedrohung darstellen, insbesondere wenn dies das Fortschrittstempo drastisch beschleunigt“. Dies ist ein Aspekt, der in der „Verantwortungsvolle Skalierungsrichtlinie“ (Responsible Scaling Policy) berücksichtigt wird, in der Pläne zur Überwachung und Risikominderung im Zuge der Annäherung an die rekursive Selbstverbesserung dargelegt sind. Interne Schätzungen und Prognosen des Unternehmens deuten darauf hin, dass die Schwelle einer „KI-gesteuerten signifikanten Fortschrittsbeschleunigung“ bald erreicht sein könnte. Bislang ist jedoch keines der Anthropic-Modelle als Überschreiter dieser Schwelle eingestuft, und das Unternehmen analysiert die entsprechenden Daten weiterhin.

Autonomie unter menschlicher Kontrolle

Anthropic erklärte zudem, dass man sich bei der „vollständig autonomen Konzeption und Erstellung nachfolgender Generationen fortschrittlicher Modelle nicht wesentlich auf bestehende KI-Systeme verlassen will – selbst wenn (und sobald) dies technisch möglich wird, ohne dass eine sinnvolle menschliche Kontrolle oder ein solches Verständnis gegeben ist“. Damit hält das Unternehmen an seiner Absicht fest, die menschliche Aufsicht über den Entwicklungsprozess auch dann aufrechtzuerhalten, wenn technische Einschränkungen wegfallen.

Marketing oder ein Signal?

Eine andere Ansicht besagt, dass das S-1-Formular nicht nur als Offenlegungsinstrument, sondern auch als Marketingmaterial dienen könnte. Dennoch hat die Anthropic-KI im vergangenen Jahr einen beachtlichen Sprung im wissenschaftlichen Bereich gemacht, und wenn das Unternehmen selbst die Wahrscheinlichkeit des Auftretens von RSI als hoch einschätzt, sollte dies laut den Autoren der Publikation ernst genommen werden. Das Dokument bleibt ein wichtiges öffentliches Signal dafür, wie große KI-Entwickler ihre eigenen Risiken einschätzen und sich auf eine potenziell scharfe Beschleunigung der Modellentwicklung vorbereiten.