--- title: "Google Research: нейромережі зберігають 95–98% фактів, але не можуть видобути до третини з них" description: "Google Research показала, що LLM кодують 95–98% фактів, але не видобувають 26–34% з них. Новий метод knowledge profiling розділяє реальні прогалини знань на збої доступу, включаючи парадокс порядку слів." date: 2026-08-19T23:52:07.000Z lang: uk url: https://xab.info/uk/posts/google-research-knowledge-profiling-llm-uk tags: [google-research, llm, knowledge-profiling, ai, large-language-models] publisher: "XAB.info" --- # Google Research: нейромережі зберігають 95–98% фактів, але не можуть видобути до третини з них ![Роботизована рука вилучує світний блок пам'яті з стелажів — ілюстрація того, як нейронмережі Google зберігають 95–98% фактів, але не можуть вилучити до третини з них](https://xab.info/media/2026/08/20/google-research-knowledge-profiling-llm/google-research-knowledge-profiling-llm-1.webp) ## 🎯 Key Points - LLM кодують 95–98% фактів, але не видобувають 26–34% при прямому запитанні — це збій доступу, а не знань - Метод knowledge profiling класифікує факти за 5 категоріями на вибірці 2150 фактів × 10 запитань - Зміна порядку слів «підмет–додаток» на протилежний різко погіршує видобуток - Розробникам слід тестувати системи на перефразованих запитаннях, а не на одному шаблоні Дослідники Google Research опублікували роботу, в якій показано, що передові великі мовні моделі (LLM) кодують від 95 до 98% протестованих фактів, однак при прямому запитанні не здатні видобути 26–34% з них. Ключовий висновок авторів полягає в тому, що йдеться не про помилку в самих знаннях, а про збій у механізмі доступу до вже збереженої інформації. Іншими словами, модель «знає» факт, але не може його «витягнути» без додаткових підказок. Це принципово змінює підхід до діагностики помилок фактогенерації: проблема зміщується з площини навчання та обсягу даних у площину архітектури видобутку. ### Метод «профілювання знань» Для систематизації проблеми автори запропонували метод, названий knowledge profiling — «профілювання знань». Замість того щоб оцінювати точність кожного запитання окремо, система класифікує кожен факт за п'ятьма категоріями: не закодований; закодований, але не видобутий; видобутий напряму; видобутий із міркуванням; виведений без кодування. Така таксономія дозволяє відокремити реальні прогалини в знаннях від технічних обмежень доступу. Для побудови вибірки дослідники використали 2150 фактів із «Вікіпедії», до кожного з яких додавалося по 10 сформульованих запитань, що дало понад 21 тисячу пар «факт–запитання» для аналізу. ### Метафори «порожньої полиці» та «загубленого ключа» Центральна метафора роботи проста й наочна. «Порожня полиця» означає, що факт взагалі не потрапив у модель — його немає в її параметрах. «Загублений ключ» означає, що факт присутній, але модель не може його знайти без додаткових підказок. Різниця між цими двома станами принципова з точки зору інженерних рішень: у першому випадку потрібна більша модель або ширше охоплення навчальних даних, у другому — достатньо покращити методи видобутку вже наявних знань, не чіпаючи саму модель. Саме тому коректна діагностика класу помилки критично важлива для оптимізації витрат на розвиток систем. ### Парадокс порядку слів Найнеочікуваніший результат стосується порядку слів. Коли запитання змінює звичний напрямок «підмет — додаток» на протилежний, якість видобутку різко погіршується. Наприклад, модель легко відповідає на запитання про те, хто написав певну книгу, але може не впоратися з переформулюванням «яку книгу написав цей автор». Автори підкреслюють, що це не прогалина в знаннях, а обмеження механізму доступу: модель зберігає факт в певній орієнтації і погано впорається з його видобутком у протилежному напрямку. При цьому робота Google Research не стверджує, що порядок слів є єдиною причиною збоїв, а лише дає структурований метод для вимірювання цього конкретного класу помилок. ### Практичні висновки для розробників Для розробників, що створюють застосунки на основі мовних моделей, висновок роботи має прикладний характер. Тестувати фактичні системи необхідно на перефразованих запитаннях, з різним порядком слів і у форматі впізнавання, а не покладатися на один канонічний шаблон формулювання. Метод knowledge profiling дозволяє кількісно оцінити частку «загублених ключів» і цілеспрямовано працювати над покращенням видобутку. Публікація, що вийшла на тлі активного впровадження LLM у корпоративні та споживчі продукти, задає новий стандарт верифікації фактогенерації: точність на «зручних» запитаннях більше не є достатнім критерієм надійності моделі. ## 🔍 Fact-Check Verification - [У Google з'ясували, чому розумні нейромережі «зависають» на простих запитаннях](https://www.ixbt.com/news/2026/08/19/v-google-vyjasnili-pochemu-umnye-nejroseti-tupjat-na-prostyh-voprosah.html) - Источник от 19.08.2026 подтверждает тему работы Google Research о сбое доступа к закодированным фактам и метод профилирования знаний. Точные проценты и размер выборки взяты из предоставленной основы; независимой верификации цифр во втором источнике нет. ## ❓ FAQ ### Q: Що таке knowledge profiling? **A:** Це метод Google Research, за якого кожен факт класифікується за п'ятьма категоріями: не закодований, закодований, але не видобутий, видобутий напряму, видобутий із міркуванням, виведений без кодування. Він дозволяє відокремити реальні прогалини знань від збоїв доступу. ### Q: Яка частка фактів не видобувається моделлю? **A:** За даними роботи, моделі кодують 95–98% протестованих фактів, але при прямому запитанні не можуть видобути 26–34% з них. ### Q: Яку вибірку використали дослідники? **A:** Вибірка становила 2150 фактів із «Вікіпедії», до кожного з яких додавалося по 10 запитань. ### Q: Чому порядок слів впливає на результат? **A:** Зміна напрямку «підмет–додаток» на протилежний різко погіршує видобуток: це обмеження механізму доступу, а не прогалина в знаннях моделі. ### Q: Що робити розробникам LLM-застосунків? **A:** Тестувати фактичні системи на перефразованих запитаннях, з різним порядком слів і у форматі впізнавання, а не покладатися на один канонічний шаблон.