---
title: "Google Research: нейросети хранят 95–98% фактов, но не могут извлечь до трети из них"
description: "Google Research показала, что LLM кодируют 95–98% фактов, но не извлекают 26–34% из них. Новый метод knowledge profiling разделяет реальные пробелы знаний на сбои доступа, включая парадокс порядка слов."
date: 2026-08-19T23:52:07.000Z
lang: ru
url: https://xab.info/posts/google-research-knowledge-profiling-llm
tags: [google-research, llm, knowledge-profiling, ai, large-language-models]
publisher: "XAB.info"
---

# Google Research: нейросети хранят 95–98% фактов, но не могут извлечь до трети из них

![Роботизированная рука извлекает светящийся блок памяти из стеллажей — иллюстрация того, как нейросети Google хранят 95–98% фактов, но не могут извлечь до трети из них](https://xab.info/media/2026/08/20/google-research-knowledge-profiling-llm/google-research-knowledge-profiling-llm-1.webp)

## 🎯 Key Points

- LLM кодируют 95–98% фактов, но не извлекают 26–34% при прямом вопросе — это сбой доступа, а не знаний
- Метод knowledge profiling классифицирует факты по 5 категориям на выборке 2150 фактов × 10 вопросов
- Смена порядка слов «субъект–объект» на обратный резко ухудшает извлечение
- Разработчикам следует тестировать системы на перефразированных вопросах, а не на одном шаблоне

Исследователи Google Research опубликовали работу, в которой показано, что передовые большие языковые модели (LLM) кодируют от 95 до 98% протестированных фактов, однако при прямом вопросе не способны извлечь 26–34% из них. Ключевой вывод авторов состоит в том, что речь идёт не об ошибке в самих знаниях, а о сбое в механизме доступа к уже сохранённой информации. Иными словами, модель «знает» факт, но не может его «достать» без дополнительных подсказок. Это принципиально меняет подход к диагностике ошибок фактогенерации: проблема смещается из плоскости обучения и объёма данных в плоскость архитектуры извлечения.

### Метод «профилирования знаний»

Для систематизации проблемы авторы предложили метод, названный knowledge profiling — «профилирование знаний». Вместо того чтобы оценивать точность каждого вопроса по отдельности, система классифицирует каждый факт по пяти категориям: не закодирован; закодирован, но не извлечён; извлечён напрямую; извлечён с размышлением; выведен без кодирования. Такая таксономия позволяет отделить реальные пробелы в знаниях от технических ограничений доступа. Для построения выборки исследователи использовали 2150 фактов из «Википедии», к каждому из которых прилагалось по 10 сформулированных вопросов, что дало более 21 тысячи пар «факт–вопрос» для анализа.

### Метафоры «пустой полки» и «потерянного ключа»

Центральная метафора работы проста и наглядна. «Пустая полка» означает, что факт вообще не попал в модель — его нет в её параметрах. «Потерянный ключ» означает, что факт присутствует, но модель не может его найти без дополнительных подсказок. Разница между этими двумя состояниями принципиальна с точки зрения инженерных решений: в первом случае требуется более крупная модель или более широкий охват обучающих данных, во втором — достаточно улучшить методы извлечения уже имеющихся знаний, не трогая саму модель. Именно поэтому корректная диагностика класса ошибки критически важна для оптимизации затрат на развитие систем.

### Парадокс порядка слов

Самый неожиданный результат касается порядка слов. Когда вопрос меняет привычное направление «субъект — объект» на обратное, качество извлечения резко ухудшается. Например, модель легко отвечает на вопрос о том, кто написал определённую книгу, но может не справиться с переформулировкой «какую книгу написал этот автор». Авторы подчёркивают, что это не пробел в знаниях, а ограничение механизма доступа: модель хранит факт в определённой ориентации и плохо справляется с его извлечением в обратном направлении. При этом работа Google Research не утверждает, что порядок слов является единственной причиной сбоев, а лишь даёт структурированный метод для измерения этого конкретного класса ошибок.

### Практические выводы для разработчиков

Для разработчиков, создающих приложения на основе языковых моделей, вывод работы носит прикладной характер. Тестировать фактические системы необходимо на перефразированных вопросах, с разным порядком слов и в формате узнавания, а не полагаться на один канонический шаблон формулировки. Метод knowledge profiling позволяет количественно оценить долю «потерянных ключей» и целенаправленно работать над улучшением извлечения. Публикация, вышедшая на фоне активного внедрения LLM в корпоративные и потребительские продукты, задаёт новый стандарт верификации фактогенерации: точность на «удобных» вопросах больше не является достаточным критерием надёжности модели.

## 🔍 Fact-Check Verification

- [В Google выяснили, почему умные нейросети «тупят» на простых вопросах](https://www.ixbt.com/news/2026/08/19/v-google-vyjasnili-pochemu-umnye-nejroseti-tupjat-na-prostyh-voprosah.html) - Источник от 19.08.2026 подтверждает тему работы Google Research о сбое доступа к закодированным фактам и метод профилирования знаний. Точные проценты и размер выборки взяты из предоставленной основы; независимой верификации цифр во втором источнике нет.

## ❓ FAQ

### Q: Что такое knowledge profiling?
**A:** Это метод Google Research, при котором каждый факт классифицируется по пяти категориям: не закодирован, закодирован но не извлечён, извлечён напрямую, извлечён с размышлением, выведен без кодирования. Он позволяет отделить реальные пробелы знаний от сбоев доступа.

### Q: Какая доля фактов не извлекается моделью?
**A:** По данным работы, модели кодируют 95–98% протестированных фактов, но при прямом вопросе не могут извлечь 26–34% из них.

### Q: Какую выборку использовали исследователи?
**A:** Выборка составила 2150 фактов из «Википедии», к каждому из которых прилагалось по 10 вопросов.

### Q: Почему порядок слов влияет на результат?
**A:** Смена направления «субъект–объект» на обратное резко ухудшает извлечение: это ограничение механизма доступа, а не пробел в знаниях модели.

### Q: Что делать разработчикам LLM-приложений?
**A:** Тестировать фактические системы на перефразированных вопросах, с разным порядком слов и в формате узнавания, а не полагаться на один канонический шаблон.