GPT-6-Astra löst 49 von 50 theoretischen Physikaufgaben und findet Fehler in den Lösungen der Wissenschaftler selbst

Physiker haben einen standardisierten Test von KI-Agenten anhand von Aufgaben auf Forschungsniveau durchgeführt und ein Ergebnis erzielt, das die Autoren als „stark“ bezeichnen. Im TheoPhysEval-Test, der aus 50 unveröffentlichten Aufgaben der theoretischen Physik besteht, bewältigte das Modell GPT-6-Astra in der Codex-Umgebung von OpenAI 49 von 50 Aufgaben. Mehr noch: In mehreren Fällen stuften die Forscher die korrekten Antworten des Modells zunächst fälschlicherweise als falsch ein – und erst nach Konsultationen mit Experten stellte sich heraus, dass die Mängel in ihren eigenen Referenzlösungen lagen. Dies verwandelte die Überprüfung der KI-Genauigkeit in ein Qualitätsaudit der Kontrollantworten selbst.

Was getestet wurde: 50 unveröffentlichte Aufgaben aus 11 Bereichen

Für den Test stellte ein Physikerteam 50 Aufgaben aus 11 Bereichen der theoretischen Physik zusammen. Zum Zeitpunkt des Tests war keine der Aufgaben irgendwo veröffentlicht worden, obwohl jede eine Ergebnisüberprüfung zuließ. Die Autoren schlossen große ungelöste Probleme bewusst aus: Das Ziel bestand nicht darin, das Modell zu einer bahnbrechenden Neuentdeckung zu bringen, sondern zu messen, wie gut ein Agent die konkrete Rechenarbeit erledigt, mit der ein Forscher konfrontiert ist. Bei vielen Aufgaben wurden die Ausgangswerte im Vergleich zu jüngeren Arbeiten der Forscher selbst modifiziert, sodass die fertige Antwort nicht einfach aus einer Publikation übernommen werden konnte – es blieb nur die Anwendung der Methode selbst. Nach Einschätzung der Autoren wendet ein Weltklasse-Experte normalerweise fast einen Tag für eine solche Aufgabe auf, ein Spezialist aus einem verwandten Fachgebiet deutlich länger.

Ergebnisse: 98 % Genauigkeit und Kosten von unter drei Dollar pro Aufgabe

Im Modus mit Zugang zum Internet, wissenschaftlicher Literatur und Rechenwerkzeugen erreichte Astra eine Genauigkeit von 98 % und gab im Durchschnitt weniger als 3 $ pro Aufgabe aus. Zum Vergleich: Opus 5.5 von Anthropic in Claude Code löste 46 von 50 Aufgaben (92 %), Gemini 3.8 Flash schaffte 34, DeepSeek-V4.1-Flash 27 und GLM 5.3 die Zahl 21. Damit erwies sich die Kluft zwischen dem Spitzenreiter und den übrigen Testteilnehmern als erheblich, während die Kosten für die Lösung einer Forschungsaufgabe vergleichbar waren mit dem Preis einer Tasse Kaffee.

Wenn die KI Recht hatte und die Wissenschaftler nicht

Mehrere Antworten von Astra wurden zunächst als fehlerhaft abgelehnt. Nach einer Neubeurteilung und Konsultationen mit Experten entdeckten die Autoren jedoch Mängel in ihren eigenen Referenzlösungen; nach deren Korrektur wurden die Berechnungen des KI-Modells in all diesen Fällen als richtig anerkannt. Die einzige Aufgabe, die Astra selbst mit Websuche nicht lösen konnte, blieb auch für die anderen Modelle ungelöst: Es ging darum, eine Differentialgleichung aus einer vorgegebenen Kurve zu rekonstruieren, wobei die Mehrdeutigkeit der Bedingung die Lösungsfindung erheblich erschwerte.

Gedächtnis statt Suche

Die Genauigkeit der Modelle veränderte sich kaum, wenn der Internetzugang abgeschaltet wurde: Ohne Websuche zeigten Astra und Opus ein identisches Ergebnis von 92 %. Nach Ansicht der Autoren könnte dies darauf hindeuten, dass führende Modelle einen wesentlichen Teil der wissenschaftlichen Literatur verinnerlicht haben und in der Lage sind, die benötigten Formeln ohne Quellensuche zu reproduzieren. Gleichzeitig betonen die Autoren, dass sich der Einfluss von Trainingsdaten allein auf Basis dieser Studie nicht vollständig ausschließen lässt.

Die Grenze des Machbaren: Berechnungen sind noch keine Forschung

Der Erfolg bei Berechnungen bedeutet nicht, dass die KI bereits in der Lage ist, eigenständig vollwertige physikalische Forschungen zu betreiben. Ein bedeutendes Problem auszuwählen, die richtige Frage zu formulieren und zu erkennen, wann es sich lohnt, die Arbeitsrichtung zu ändern, gelingt den Modellen nach wie vor deutlich schlechter als das Lösen von Aufgaben mit einer überprüfbaren Antwort. TheoPhysEval misst nach dem Willen der Autoren genau die Rechenkomponente der Forschungsarbeit – und in diesem engen, aber wichtigen Bereich zeigten die KI-Agenten ein expertengleiches Niveau.