Физики провели стандартизированное испытание ИИ-агентов на задачах исследовательского уровня и получили результат, который авторы называют «сильным». В тесте TheoPhysEval, состоящем из 50 неопубликованных заданий по теоретической физике, модель GPT-6-Astra в среде Codex от OpenAI справилась с 49 из 50 задач. Более того, в нескольких случаях исследователи изначально сочли правильные ответы модели ошибочными — и лишь после консультаций с экспертами выяснилось, что недочёты были в их собственных эталонных решениях. Это превратило проверку точности ИИ в проверку качества самих контрольных ответов.

Что проверяли: 50 неопубликованных задач из 11 разделов

Для теста команда физиков собрала 50 задач из 11 разделов теоретической физики. На момент испытания ни одно задание нигде не публиковалось, хотя каждое допускало проверку результата. Авторы намеренно исключили крупные нерешённые проблемы: цель состояла не в том, чтобы заставить модель совершить принципиально новое открытие, а в том, чтобы измерить, насколько хорошо агент выполняет конкретную расчётную работу, с которой сталкивается исследователь. Во многих заданиях исходные значения были изменены по сравнению с недавними статьями самих исследователей, поэтому готовый ответ нельзя было просто перенести из публикации — оставался применимым только сам метод. По оценке авторов, эксперт мирового уровня обычно тратит на такую задачу почти день, а специалист из смежной области — значительно больше времени.

Результаты: 98% точности и цена менее трёх долларов за задачу

В режиме с доступом к интернету, научной литературе и инструментам для вычислений Astra достигла точности 98%, потратив в среднем менее $3 на задачу. Для сравнения: Opus 5.5 от Anthropic в Claude Code решила 46 задач из 50 (92%), Gemini 3.8 Flash — 34, DeepSeek-V4.1-Flash — 27, а GLM 5.3 — 21. Таким образом, разрыв между лидером и остальными участниками теста оказался существенным, а стоимость решения одной исследовательской задачи оказалась сопоставима с ценой чашки кофе.

Когда ИИ оказался прав, а учёные — нет

Несколько ответов Astra первоначально были отклонены как ошибочные. Однако после перепроверки и консультаций с экспертами авторы обнаружили недочёты в собственных эталонных решениях; после их исправления расчёты ИИ-модели во всех таких случаях были признаны верными. Единственную задачу, которую Astra не решила даже с веб-поиском, не смогли решить и остальные модели: требовалось восстановить дифференциальное уравнение по заданной кривой, а неоднозначность условия существенно усложняла поиск решения.

Память вместо поиска

Точность моделей мало менялась при отключении доступа к интернету: без веб-поиска Astra и Opus показали одинаковый результат в 92%. По мнению авторов, это может указывать на то, что ведущие модели фактически усвоили значительную часть научной литературы и способны воспроизводить нужные формулы без поиска по источникам. При этом авторы подчёркивают, что полностью исключить влияние обучающих данных, опираясь исключительно на это исследование, нельзя.

Граница возможностей: расчёт ещё не исследование

Успех в расчётах не означает, что ИИ уже способен самостоятельно вести полноценные физические исследования. Выбрать значимую проблему, сформулировать правильный вопрос и понять, когда стоит сменить направление работы, модели пока удаётся заметно хуже, чем решать задачи с проверяемым ответом. TheoPhysEval, по замыслу авторов, измеряет именно расчётную составляющую исследовательского труда — и в этой узкой, но важной части ИИ-агенты продемонстрировали уровень, приближенный к экспертному.