Moderne Sprachmodelle sind in der Lage, Parameter aus wissenschaftlichen Publikationen zu extrahieren und numerische Berechnungen durchzuführen, doch reicht dies nicht immer aus, um eine Studie eigenständig von Anfang bis Ende zu replizieren. In der Arbeit „Reconstructing Implicit Scientific Knowledge: Evaluating LLM Agents through End-to-End Reproduction of Astronomy“ untersuchten die Autoren, inwiefern KI-Agenten in der Lage sind, astronomische Ergebnisse allein anhand eines Artikels zu reproduzieren. In einem Kontrollexperiment ergaben zwölf im Voraus festgelegte Analysevarianten desselben Datensatzes Schätzungen des räumlichen Maßstabs von 2,16 bis 3,53 Kiloparsec, während in der Originalpublikation ein Wert von etwa 2,70 Kiloparsec angegeben wurde. Eine Übereinstimmung mit dem veröffentlichten Wert gelang nur mit einer von zwölf Methoden, wobei eine wichtige Korrektur, ohne die eine Reproduktion unmöglich war, bereits direkt im Artikel selbst genannt worden war.

Wie das Experiment aufgebaut war

Die Autoren testeten den Ansatz an vierzehn astronomischen Studien: einer in The Astrophysical Journal veröffentlichten und dreizehn Artikeln aus Nature. Bei elf der letzteren dreizehn stellten sie methodische oder interpretatorische Unklarheiten fest, aufgrund derer die Abfolge der Schritte zur Reproduktion der Analyse nicht eindeutig bestimmt werden konnte. Im Kontrollfall gaben die Forscher im Voraus zwölf Berechnungsvarianten vor, die verschiedene Methoden der Objektselektion, der Maskierung von Himmelsregionen und der Berücksichtigung der Parallaxen-Nullpunktkorrektur kombinierten. Zur Erinnerung: Die Parallaxe ermöglicht die Abschätzung der Entfernung zu einem Himmelskörper anhand seiner scheinbaren Positionsverschiebung vor dem Hintergrund entfernterer Objekte. Unterschiede in den Einstellungen führten zu einer Streuung der Schätzungen von 2,16 bis 3,53 Kiloparsec statt der veröffentlichten ca. 2,70.

Warum nur ein Wert übereinstimmte

Wichtig ist, dass die Autoren betonen: Das Originalergebnis wurde nicht zur Parameteranpassung oder zum Abbruch der Berechnungen verwendet. Die übereinstimmende Variante wurde erst entdeckt, nachdem alle zwölf Analysen vollständig durchgeführt worden waren. Dies schließt ein triviales „Jagen“ nach der Zahl aus und zeigt, dass das Problem nicht darin besteht, die Antwort zu erraten, sondern die korrekte Methodik zu wählen. Aufschlussreich ist auch, dass die Abweichung nicht auf fehlende Daten zurückzuführen war: Die Parallaxenkorrektur von +0,02 Bogensekundenmillisekunden war im Artikel bereits enthalten, doch die KI-Agenten erkannten deren kausalen Zusammenhang mit dem Ergebnis erst, als die Analyse selbst den Einfluss dieser Korrektur demonstrierte.

Implizites Wissen als Engpass

Die Forscher unterteilen die Ursachen für fehlgeschlagene Reproduktionen in mehrere Typen: Rechenfehler, unzureichend definierte Methodik und die Unfähigkeit, verstreute Informationen aus dem Artikel zu einer einheitlichen Analyselogik zu verknüpfen. Daraus ergibt sich ein wichtiger Schluss: Eine einfache Übereinstimmung mit der veröffentlichten Zahl beweist noch nicht, dass das System den Gedankengang der Autoren rekonstruiert hat — das gewünschte Ergebnis kann zufällig oder durch eine von mehreren zulässigen Verarbeitungsvarianten zustande gekommen sein. Symmetrisch bedeutet eine Nichtübereinstimmung nicht zwangsläufig, dass die ursprüngliche wissenschaftliche Arbeit fehlerhaft ist. Das Problem liegt im Wesentlichen im Verständnis dafür, warum ein bestimmter Parameter genau auf diese Daten und im Rahmen genau dieser Studie angewendet werden muss, und nicht in der bloßen Fähigkeit, eine Zahl zu finden.

Was das für die Bewertung wissenschaftlicher KIs bedeutet

Auf dieser Grundlage schlagen die Autoren vor, wissenschaftliche KI-Systeme anhand des gesamten Reproduktionsprozesses zu bewerten — von der Daten- und Einstellungs auswählen bis zur Ergebnisprüfung —, und nicht nur danach, ob die Endzahl mit der Publikation übereinstimmt. Dieser Ansatz hilft dabei, Entscheidungen zu identifizieren, die im Artikel implizit bleiben, da Experten sie auf Basis von Erfahrung und professionellen Konventionen treffen. Dabei betonen die Forscher, dass selbst eine Prüfung der Berechnungen das Fachwissen nicht ersetzt: Um zu verstehen, welche Annahmen gerechtfertigt sind und welche die Bedeutung des Ergebnisses verändern, muss das System die Verbindung zwischen der Methodik und der wissenschaftlichen Aufgabe wiederherstellen. Die Ergebnisse deuten darauf hin, dass der nächste Schritt in der Entwicklung wissenschaftlicher KI-Agenten nicht die Erhöhung der Arithmetikgenauigkeit ist, sondern die Ausbildung der Fähigkeit, implizites methodisches Wissen zu interpretieren.