---
title: "ШІ-агенти вміють рахувати, але не завжди розуміють науку: експеримент із відтворення астрономічних робіт"
description: "Дослідники перевірили ШІ-агентів на відтворенні 14 астрономічних робіт: у контрольному випадку 12 варіантів дали оцінки від 2,16 до 3,53 кпк замість опублікованих 2,70, а збігся лише один."
date: 2026-10-18T11:00:21.686Z
lang: uk
url: https://xab.info/uk/posts/shi-agenti-i-vidtvorennya-astronomichnih-doslidzhen
tags: [ai-agents, astronomy, reproducibility, llm, scientific-research]
author: "Олександр Буран"
publisher: "XAB.info"
---

# ШІ-агенти вміють рахувати, але не завжди розуміють науку: експеримент із відтворення астрономічних робіт

![Чорнові наукові розрахунки, графіки та формули на папері поруч із монітором на темному робочому столі](https://xab.info/media/2026/10/18/ii-agenty-i-vosproizvedenie-astro-nomicheskikh-issledovanii/ii-agenty-i-vosproizvedenie-astro-nomicheskikh-issledovanii-1.webp)

## Ключові тези

- У контрольному експерименті 12 варіантів аналізу одного набору даних дали оцінки від 2,16 до 3,53 кілопарсека проти опублікованих ~2,70; збігся лише один варіант.
- Ключова поправка до паралакса (+0,02 мсд) уже була вказана в статті, але ШІ-агенти не пов'язали її з результатом до виконання аналізу.
- Автори пропонують оцінювати наукові ШІ за всім процесом відтворення, а не лише за збігом кінцевого числа.

Сучасні мовні моделі здатні витягувати параметри з наукових публікацій та виконувати чисельні розрахунки, проте цього не завжди вистачає, щоб самостійно повторити дослідження від початку до кінця. У роботі «Reconstructing Implicit Scientific Knowledge: Evaluating LLM Agents through End-to-End Reproduction of Astronomy» автори перевірили, наскільки ШІ-агенти здатні відтворити астрономічні результати за однією лише статтею. У контрольному експерименті дванадцять заздалегідь заданих варіантів аналізу одного й того самого набору даних дали оцінки просторового масштабу від 2,16 до 3,53 кілопарсека, тоді як у вихідній публікації було вказано значення близько 2,70 кілопарсека. Збіг із опублікованим числом вдалося отримати лише одним із дванадцяти способів, причому ключову поправку, без якої відтворення неможливе, вже було прямо вказано в самій статті.

### Як було побудовано експеримент

Автори протестували підхід на чотирьох астрономічних дослідженнях: одному, опублікованому в The Astrophysical Journal, і тринадцяти статтях із Nature. В одинадцяти з тринадцяти останніх вони зафіксували методологічні чи інтерпретаційні неоднозначності, через які послідовність дій для відтворення аналізу не можна було визначити однозначно. У контрольному випадку дослідники заздалегідь задали дванадцять варіантів розрахунку, що поєднували різні способи відбору об'єктів, маскування ділянок неба та врахування поправки до нульової точки паралакса. Нагадаю, що паралакс дозволяє оцінювати відстань до небесного тіла за видимим зміщенням його положення на тлі більш далеких об'єктів. Відмінності в налаштуваннях призвели до розкиду оцінок від 2,16 до 3,53 кілопарсека замість опублікованих приблизно 2,70.

### Чому збіглося лише одне значення

Важливо, що автори підкреслюють: вихідний результат не використовувався для підбору параметрів чи зупинки розрахунків. Збіжний варіант було виявлено лише після того, як усі дванадцять аналізів було виконано повністю. Це виключає тривіальне «доганяння» числа і показує, що проблема не в тому, щоб вгадати відповідь, а в тому, щоб обрати коректну методику. Показово й те, що розбіжність пояснювалася не відсутністю даних: поправка до паралакса на +0,02 мілісекунди дуги вже містилася в статті, проте ШІ-агенти не розпізнали її причинний зв'язок із результатом, поки сам аналіз не продемонстрував вплив цієї поправки.

### Неявне знання як вузьке місце

Дослідники поділяють причини невдалих відтворень на кілька типів: обчислювальну помилку, недостатньо визначену методику та нездатність зв'язати розрізнені відомості зі статті в єдину логіку аналізу. Звідси випливає важливий висновок: простий збіг з опублікованим числом ще не доводить, що система відновила хід міркувань авторів, — потрібний результат може вийти випадково або завдяки одному з кількох допустимих варіантів обробки. Симетрично, незбіг не обов'язково означає, що вихідна наукова робота є помилковою. Проблема, по суті, полягає в розумінні того, чому конкретний параметр потрібно застосувати саме до цих даних і в межах саме цього дослідження, а не в самій здатності знайти число.

### Що це означає для оцінки наукових ШІ

На цій підставі автори пропонують оцінювати наукові ШІ-системи за всього процесу відтворення — від вибору даних і налаштувань до перевірки підсумків, — а не лише за тим, чи збіглося кінцеве число з публікацією. Такий підхід дозволяє виявляти рішення, які в статті залишаються неявними, оскільки фахівці приймають їх на основі досвіду та професійних угод. При цьому дослідники зазначають, що навіть аудит обчислень не замінює предметних знань: щоб зрозуміти, які припущення є обґрунтованими, а які змінюють сенс результату, системі необхідно відновити зв'язок між методикою та науковою задачею. Отримані результати вказують на те, що наступний крок у розвитку наукових ШІ-агентів — не збільшення точності арифметики, а формування здатності інтерпретувати неявне методологічне знання.

## Перевірка фактів і джерела

- [ИИ может найти нужные данные в научной статье, выполнить расчёты и всё равно не понять, как именно авторы пришли к результату](https://www.ixbt.com/news/2026/10/18/ii-mozet-naiti-nuznye-dannye-v-naucnoi-state-vypolnit-rascety-i-vse-ravno-ne-poniat-kak-imenno-avtory-prisli-k-rezultatu.html) - Першоджерело містить усі ключові факти: назву роботи, 14 досліджень (1 ApJ + 13 Nature), 11/13 з неоднозначностями, 12 варіантів, діапазон 2,16–3,53 кпк проти ~2,70, поправку +0,02 мсд, методологію без підбору під результат та рекомендацію оцінювати весь процес відтворення.

## Часті запитання

### Скільки варіантів аналізу дали збіг із опублікованим результатом?

З дванадцяти заздалегідь заданих варіантів збіг із опублікованим значенням близько 2,70 кілопарсека дав лише один; решта дали оцінки в діапазоні від 2,16 до 3,53 кілопарсека.

### Чи використовували автори вихідний результат для налаштування розрахунків?

Ні. Автори підкреслюють, що вихідний результат не використовувався для підбору параметрів чи зупинки розрахунків; збіжний варіант було знайдено лише після виконання всіх дванадцяти аналізів.

### Чому ШІ-агенти не відтворили результат, якщо потрібна поправка була в статті?

Поправка до паралакса на +0,02 мілісекунди дуги дійсно вказувалася в статті, але агенти не розпізнали її причинний зв'язок із результатом, поки аналіз не показав її вплив. Проблема полягала в розумінні, чому параметр потрібно застосувати саме до цих даних.