---
title: "ИИ-агенты умеют считать, но не всегда понимают науку: эксперимент по воспроизведению астрономических работ"
description: "Исследователи проверили ИИ-агентов на воспроизведении 14 астрономических работ: в контрольном случае 12 вариантов дали оценки от 2,16 до 3,53 кпк вместо опубликованных 2,70, а совпал лишь один."
date: 2026-10-18T11:00:21.686Z
lang: ru
url: https://xab.info/posts/ii-agenty-i-vosproizvedenie-astro-nomicheskikh-issledovanii
tags: [ai-agents, astronomy, reproducibility, llm, scientific-research]
author: "Александр Буран"
publisher: "XAB.info"
---

# ИИ-агенты умеют считать, но не всегда понимают науку: эксперимент по воспроизведению астрономических работ

![Черновые научные расчеты, графики и формулы на бумаге рядом с монитором на темном рабочем столе](https://xab.info/media/2026/10/18/ii-agenty-i-vosproizvedenie-astro-nomicheskikh-issledovanii/ii-agenty-i-vosproizvedenie-astro-nomicheskikh-issledovanii-1.webp)

## Ключевые тезисы

- В контрольном эксперименте 12 вариантов анализа одного набора данных дали оценки от 2,16 до 3,53 килопарсека против опубликованных ~2,70; совпал только один вариант.
- Ключевая поправка к параллаксу (+0,02 мсд) уже была указана в статье, но ИИ-агенты не связали её с результатом до выполнения анализа.
- Авторы предлагают оценивать научные ИИ по всему процессу воспроизведения, а не только по совпадению конечного числа.

Современные языковые модели способны извлекать параметры из научных публикаций и выполнять численные расчёты, однако этого не всегда хватает, чтобы самостоятельно повторить исследование от начала до конца. В работе «Reconstructing Implicit Scientific Knowledge: Evaluating LLM Agents through End-to-End Reproduction of Astronomy» авторы проверили, насколько ИИ-агенты способны воспроизвести астрономические результаты по одной лишь статье. В контрольном эксперименте двенадцать заранее заданных вариантов анализа одного и того же набора данных дали оценки пространственного масштаба от 2,16 до 3,53 килопарсека, тогда как в исходной публикации было указано значение около 2,70 килопарсека. Совпадение с опубликованным числом удалось получить только одним из двенадцати способов, причём ключевая поправка, без которой воспроизведение невозможно, уже была прямо указана в самой статье.

### Как был построен эксперимент

Авторы протестировали подход на четырнадцати астрономических исследованиях: одном, опубликованном в The Astrophysical Journal, и тринадцати статьях из Nature. В одиннадцати из тринадцати последних они зафиксировали методологические или интерпретационные неоднозначности, из-за которых последовательность действий для воспроизведения анализа нельзя было определить однозначно. В контрольном случае исследователи заранее задали двенадцать вариантов расчёта, сочетавших различные способы отбора объектов, маскирования участков неба и учёта поправки к нулевой точке параллакса. Напомню, что параллакс позволяет оценивать расстояние до небесного тела по видимому смещению его положения на фоне более далёких объектов. Различия в настройках привели к разбросу оценок от 2,16 до 3,53 килопарсека вместо опубликованных примерно 2,70.

### Почему совпало только одно значение

Важно, что авторы подчёркивают: исходный результат не использовался для подбора параметров или остановки расчётов. Совпавший вариант был обнаружен только после того, как все двенадцать анализов были выполнены полностью. Это исключает тривиальное «догоняние» числа и показывает, что проблема не в том, чтобы угадать ответ, а в том, чтобы выбрать корректную методику. Показательно и то, что расхождение объяснялось не отсутствием данных: поправка к параллаксу на +0,02 миллисекунды дуги уже содержалась в статье, однако ИИ-агенты не распознали её причинную связь с результатом, пока сам анализ не продемонстрировал влияние этой поправки.

### Неявное знание как узкое место

Исследователи разделяют причины неудачного воспроизведения на несколько типов: вычислительную ошибку, недостаточно определённую методику и неспособность связать разрозненные сведения из статьи в единую логику анализа. Отсюда следует важный вывод: простое совпадение с опубликованным числом ещё не доказывает, что система восстановила ход рассуждений авторов, — нужный результат может получиться случайно или благодаря одному из нескольких допустимых вариантов обработки. Симметрично, несовпадение не обязательно означает, что исходная научная работа ошибочна. Проблема, по сути, лежит в понимании того, почему конкретный параметр нужно применить именно к этим данным и в рамках именно этого исследования, а не в самой способности найти число.

### Что это значит для оценки научных ИИ

На этом основании авторы предлагают оценивать научные ИИ-системы по всему процессу воспроизведения — от выбора данных и настроек до проверки итогов, — а не только по тому, совпало ли конечное число с публикацией. Такой подход позволяет выявлять решения, которые в статье остаются неявными, поскольку специалисты принимают их на основе опыта и профессиональных соглашений. При этом исследователи отмечают, что даже аудит вычислений не заменяет предметных знаний: чтобы понять, какие допущения обоснованны, а какие меняют смысл результата, системе необходимо восстановить связь между методикой и научной задачей. Полученные результаты указывают на то, что следующий шаг в развитии научных ИИ-агентов — не увеличение точности арифметики, а формирование способности интерпретировать неявное методологическое знание.

## Проверка фактов и источники

- [ИИ может найти нужные данные в научной статье, выполнить расчёты и всё равно не понять, как именно авторы пришли к результату](https://www.ixbt.com/news/2026/10/18/ii-mozet-naiti-nuznye-dannye-v-naucnoi-state-vypolnit-rascety-i-vse-ravno-ne-poniat-kak-imenno-avtory-prisli-k-rezultatu.html) - Первоисточник содержит все ключевые факты: название работы, 14 исследований (1 ApJ + 13 Nature), 11/13 с неоднозначностями, 12 вариантов, диапазон 2,16–3,53 кпк против ~2,70, поправка +0,02 мсд, методология без подбора под результат и рекомендация оценивать весь процесс воспроизведения.

## Частые вопросы

### Сколько вариантов анализа дали совпадение с опубликованным результатом?

Из двенадцати заранее заданных вариантов совпадение с опубликованным значением около 2,70 килопарсека дал только один; остальные дали оценки в диапазоне от 2,16 до 3,53 килопарсека.

### Использовали ли авторы исходный результат для настройки расчётов?

Нет. Авторы подчёркивают, что исходный результат не использовался для подбора параметров или остановки расчётов; совпавший вариант был найден только после выполнения всех двенадцати анализов.

### Почему ИИ-агенты не воспроизвели результат, если нужная поправка была в статье?

Поправка к параллаксу на +0,02 миллисекунды дуги действительно указывалась в статье, но агенты не распознали её причинную связь с результатом, пока анализ не показал её влияние. Проблема заключалась в понимании, почему параметр нужно применить именно к этим данным.