Современные языковые модели способны извлекать параметры из научных публикаций и выполнять численные расчёты, однако этого не всегда хватает, чтобы самостоятельно повторить исследование от начала до конца. В работе «Reconstructing Implicit Scientific Knowledge: Evaluating LLM Agents through End-to-End Reproduction of Astronomy» авторы проверили, насколько ИИ-агенты способны воспроизвести астрономические результаты по одной лишь статье. В контрольном эксперименте двенадцать заранее заданных вариантов анализа одного и того же набора данных дали оценки пространственного масштаба от 2,16 до 3,53 килопарсека, тогда как в исходной публикации было указано значение около 2,70 килопарсека. Совпадение с опубликованным числом удалось получить только одним из двенадцати способов, причём ключевая поправка, без которой воспроизведение невозможно, уже была прямо указана в самой статье.

Как был построен эксперимент

Авторы протестировали подход на четырнадцати астрономических исследованиях: одном, опубликованном в The Astrophysical Journal, и тринадцати статьях из Nature. В одиннадцати из тринадцати последних они зафиксировали методологические или интерпретационные неоднозначности, из-за которых последовательность действий для воспроизведения анализа нельзя было определить однозначно. В контрольном случае исследователи заранее задали двенадцать вариантов расчёта, сочетавших различные способы отбора объектов, маскирования участков неба и учёта поправки к нулевой точке параллакса. Напомню, что параллакс позволяет оценивать расстояние до небесного тела по видимому смещению его положения на фоне более далёких объектов. Различия в настройках привели к разбросу оценок от 2,16 до 3,53 килопарсека вместо опубликованных примерно 2,70.

Почему совпало только одно значение

Важно, что авторы подчёркивают: исходный результат не использовался для подбора параметров или остановки расчётов. Совпавший вариант был обнаружен только после того, как все двенадцать анализов были выполнены полностью. Это исключает тривиальное «догоняние» числа и показывает, что проблема не в том, чтобы угадать ответ, а в том, чтобы выбрать корректную методику. Показательно и то, что расхождение объяснялось не отсутствием данных: поправка к параллаксу на +0,02 миллисекунды дуги уже содержалась в статье, однако ИИ-агенты не распознали её причинную связь с результатом, пока сам анализ не продемонстрировал влияние этой поправки.

Неявное знание как узкое место

Исследователи разделяют причины неудачного воспроизведения на несколько типов: вычислительную ошибку, недостаточно определённую методику и неспособность связать разрозненные сведения из статьи в единую логику анализа. Отсюда следует важный вывод: простое совпадение с опубликованным числом ещё не доказывает, что система восстановила ход рассуждений авторов, — нужный результат может получиться случайно или благодаря одному из нескольких допустимых вариантов обработки. Симметрично, несовпадение не обязательно означает, что исходная научная работа ошибочна. Проблема, по сути, лежит в понимании того, почему конкретный параметр нужно применить именно к этим данным и в рамках именно этого исследования, а не в самой способности найти число.

Что это значит для оценки научных ИИ

На этом основании авторы предлагают оценивать научные ИИ-системы по всему процессу воспроизведения — от выбора данных и настроек до проверки итогов, — а не только по тому, совпало ли конечное число с публикацией. Такой подход позволяет выявлять решения, которые в статье остаются неявными, поскольку специалисты принимают их на основе опыта и профессиональных соглашений. При этом исследователи отмечают, что даже аудит вычислений не заменяет предметных знаний: чтобы понять, какие допущения обоснованны, а какие меняют смысл результата, системе необходимо восстановить связь между методикой и научной задачей. Полученные результаты указывают на то, что следующий шаг в развитии научных ИИ-агентов — не увеличение точности арифметики, а формирование способности интерпретировать неявное методологическое знание.