Исследователи Google Research опубликовали работу, в которой показано, что передовые большие языковые модели (LLM) кодируют от 95 до 98% протестированных фактов, однако при прямом вопросе не способны извлечь 26–34% из них. Ключевой вывод авторов состоит в том, что речь идёт не об ошибке в самих знаниях, а о сбое в механизме доступа к уже сохранённой информации. Иными словами, модель «знает» факт, но не может его «достать» без дополнительных подсказок. Это принципиально меняет подход к диагностике ошибок фактогенерации: проблема смещается из плоскости обучения и объёма данных в плоскость архитектуры извлечения.
Метод «профилирования знаний»
Для систематизации проблемы авторы предложили метод, названный knowledge profiling — «профилирование знаний». Вместо того чтобы оценивать точность каждого вопроса по отдельности, система классифицирует каждый факт по пяти категориям: не закодирован; закодирован, но не извлечён; извлечён напрямую; извлечён с размышлением; выведен без кодирования. Такая таксономия позволяет отделить реальные пробелы в знаниях от технических ограничений доступа. Для построения выборки исследователи использовали 2150 фактов из «Википедии», к каждому из которых прилагалось по 10 сформулированных вопросов, что дало более 21 тысячи пар «факт–вопрос» для анализа.
Метафоры «пустой полки» и «потерянного ключа»
Центральная метафора работы проста и наглядна. «Пустая полка» означает, что факт вообще не попал в модель — его нет в её параметрах. «Потерянный ключ» означает, что факт присутствует, но модель не может его найти без дополнительных подсказок. Разница между этими двумя состояниями принципиальна с точки зрения инженерных решений: в первом случае требуется более крупная модель или более широкий охват обучающих данных, во втором — достаточно улучшить методы извлечения уже имеющихся знаний, не трогая саму модель. Именно поэтому корректная диагностика класса ошибки критически важна для оптимизации затрат на развитие систем.
Парадокс порядка слов
Самый неожиданный результат касается порядка слов. Когда вопрос меняет привычное направление «субъект — объект» на обратное, качество извлечения резко ухудшается. Например, модель легко отвечает на вопрос о том, кто написал определённую книгу, но может не справиться с переформулировкой «какую книгу написал этот автор». Авторы подчёркивают, что это не пробел в знаниях, а ограничение механизма доступа: модель хранит факт в определённой ориентации и плохо справляется с его извлечением в обратном направлении. При этом работа Google Research не утверждает, что порядок слов является единственной причиной сбоев, а лишь даёт структурированный метод для измерения этого конкретного класса ошибок.
Практические выводы для разработчиков
Для разработчиков, создающих приложения на основе языковых моделей, вывод работы носит прикладной характер. Тестировать фактические системы необходимо на перефразированных вопросах, с разным порядком слов и в формате узнавания, а не полагаться на один канонический шаблон формулировки. Метод knowledge profiling позволяет количественно оценить долю «потерянных ключей» и целенаправленно работать над улучшением извлечения. Публикация, вышедшая на фоне активного внедрения LLM в корпоративные и потребительские продукты, задаёт новый стандарт верификации фактогенерации: точность на «удобных» вопросах больше не является достаточным критерием надёжности модели.
