Фізики провели стандартизоване випробування ШІ-агентів на завданнях дослідницького рівня і отримали результат, який автори називають «сильним». У тесті TheoPhysEval, що складається з 50 неопублікованих завдань з теоретичної фізики, модель GPT-6-Astra в середовищі Codex від OpenAI впоралася з 49 із 50 завдань. Ба більше, в кількох випадках дослідники спочатку визнали правильні відповіді моделі помилковими — і лише після консультацій з експертами з'ясувалося, що недоліки були в їхніх власних еталонних рішеннях. Це перетворило перевірку точності ШІ на перевірку якості самих контрольних відповідей.

Що перевіряли: 50 неопублікованих завдань із 11 розділів

Для тесту команда фізиків зібрала 50 завдань із 11 розділів теоретичної фізики. На момент випробування жодне завдання ніде не публікувалося, хоча кожне допускало перевірку результату. Автори навмисно виключили великі невирішені проблеми: мета полягала не в тому, щоб змусити модель зробити принципово нове відкриття, а в тому, щоб виміряти, наскільки добре агент виконує конкретну розрахункову роботу, з якою стикається дослідник. У багатьох завданнях вихідні значення були змінені порівняно з недавніми статтями самих дослідників, тому готову відповідь не можна було просто перенести з публікації — залишався застосовним лише сам метод. За оцінкою авторів, експерт світового рівня зазвичай витрачає на таке завдання майже день, а фахівець із суміжної галузі — значно більше часу.

Результати: 98% точності та ціна менше трьох доларів за завдання

У режимі з доступом до інтернету, наукової літератури та інструментів для обчислень Astra досягла точності 98%, витративши в середньому менше ніж $3 на завдання. Для порівняння: Opus 5.5 від Anthropic у Claude Code розв'язала 46 завдань із 50 (92%), Gemini 3.8 Flash — 34, DeepSeek-V4.1-Flash — 27, а GLM 5.3 — 21. Таким чином, розрив між лідером та іншими учасниками тесту виявився суттєвим, а вартість розв'язання однієї дослідницької задачі виявилася зіставною з ціною чашки кави.

Коли ШІ виявився правим, а вчені — ні

Кілька відповідей Astra спочатку були відхилені як помилкові. Проте після перевірки та консультацій з експертами автори виявили недоліки у власних еталонних рішеннях; після їх виправлення розрахунки ШІ-моделі у всіх таких випадках були визнані правильними. Єдине завдання, яке Astra не розв'язала навіть із вебпошуком, не змогли розв'язати й інші моделі: потрібно було відновити диференціальне рівняння за заданою кривою, а неоднозначність умови суттєво ускладнювала пошук рішення.

Пам'ять замість пошуку

Точність моделей мало змінювалася при відключенні доступу до інтернету: без вебпошуку Astra й Opus показали однаковий результат у 92%. На думку авторів, це може вказувати на те, що провідні моделі фактично засвоїли значну частину наукової літератури і здатні відтворювати потрібні формули без пошуку за джерелами. Водночас автори підкреслюють, що повністю виключити вплив навчальних даних, спираючись виключно на це дослідження, не можна.

Межа можливостей: розрахунок ще не дослідження

Успіх у розрахунках не означає, що ШІ вже здатний самостійно вести повноцінні фізичні дослідження. Вибрати значущу проблему, сформулювати правильне запитання і зрозуміти, коли варто змінити напрямок роботи, моделям поки вдається помітно гірше, ніж розв'язувати завдання з перевірюваною відповіддю. TheoPhysEval, за задумом авторів, вимірює саме розрахункову складову дослідницької праці — і в цій вузькій, але важливій частині ШІ-агенти продемонстрували рівень, наближений до експертного.