Сучасні мовні моделі здатні витягувати параметри з наукових публікацій та виконувати чисельні розрахунки, проте цього не завжди вистачає, щоб самостійно повторити дослідження від початку до кінця. У роботі «Reconstructing Implicit Scientific Knowledge: Evaluating LLM Agents through End-to-End Reproduction of Astronomy» автори перевірили, наскільки ШІ-агенти здатні відтворити астрономічні результати за однією лише статтею. У контрольному експерименті дванадцять заздалегідь заданих варіантів аналізу одного й того самого набору даних дали оцінки просторового масштабу від 2,16 до 3,53 кілопарсека, тоді як у вихідній публікації було вказано значення близько 2,70 кілопарсека. Збіг із опублікованим числом вдалося отримати лише одним із дванадцяти способів, причому ключову поправку, без якої відтворення неможливе, вже було прямо вказано в самій статті.

Як було побудовано експеримент

Автори протестували підхід на чотирьох астрономічних дослідженнях: одному, опублікованому в The Astrophysical Journal, і тринадцяти статтях із Nature. В одинадцяти з тринадцяти останніх вони зафіксували методологічні чи інтерпретаційні неоднозначності, через які послідовність дій для відтворення аналізу не можна було визначити однозначно. У контрольному випадку дослідники заздалегідь задали дванадцять варіантів розрахунку, що поєднували різні способи відбору об'єктів, маскування ділянок неба та врахування поправки до нульової точки паралакса. Нагадаю, що паралакс дозволяє оцінювати відстань до небесного тіла за видимим зміщенням його положення на тлі більш далеких об'єктів. Відмінності в налаштуваннях призвели до розкиду оцінок від 2,16 до 3,53 кілопарсека замість опублікованих приблизно 2,70.

Чому збіглося лише одне значення

Важливо, що автори підкреслюють: вихідний результат не використовувався для підбору параметрів чи зупинки розрахунків. Збіжний варіант було виявлено лише після того, як усі дванадцять аналізів було виконано повністю. Це виключає тривіальне «доганяння» числа і показує, що проблема не в тому, щоб вгадати відповідь, а в тому, щоб обрати коректну методику. Показово й те, що розбіжність пояснювалася не відсутністю даних: поправка до паралакса на +0,02 мілісекунди дуги вже містилася в статті, проте ШІ-агенти не розпізнали її причинний зв'язок із результатом, поки сам аналіз не продемонстрував вплив цієї поправки.

Неявне знання як вузьке місце

Дослідники поділяють причини невдалих відтворень на кілька типів: обчислювальну помилку, недостатньо визначену методику та нездатність зв'язати розрізнені відомості зі статті в єдину логіку аналізу. Звідси випливає важливий висновок: простий збіг з опублікованим числом ще не доводить, що система відновила хід міркувань авторів, — потрібний результат може вийти випадково або завдяки одному з кількох допустимих варіантів обробки. Симетрично, незбіг не обов'язково означає, що вихідна наукова робота є помилковою. Проблема, по суті, полягає в розумінні того, чому конкретний параметр потрібно застосувати саме до цих даних і в межах саме цього дослідження, а не в самій здатності знайти число.

Що це означає для оцінки наукових ШІ

На цій підставі автори пропонують оцінювати наукові ШІ-системи за всього процесу відтворення — від вибору даних і налаштувань до перевірки підсумків, — а не лише за тим, чи збіглося кінцеве число з публікацією. Такий підхід дозволяє виявляти рішення, які в статті залишаються неявними, оскільки фахівці приймають їх на основі досвіду та професійних угод. При цьому дослідники зазначають, що навіть аудит обчислень не замінює предметних знань: щоб зрозуміти, які припущення є обґрунтованими, а які змінюють сенс результату, системі необхідно відновити зв'язок між методикою та науковою задачею. Отримані результати вказують на те, що наступний крок у розвитку наукових ШІ-агентів — не збільшення точності арифметики, а формування здатності інтерпретувати неявне методологічне знання.