Дослідники Google Research опублікували роботу, в якій показано, що передові великі мовні моделі (LLM) кодують від 95 до 98% протестованих фактів, однак при прямому запитанні не здатні видобути 26–34% з них. Ключовий висновок авторів полягає в тому, що йдеться не про помилку в самих знаннях, а про збій у механізмі доступу до вже збереженої інформації. Іншими словами, модель «знає» факт, але не може його «витягнути» без додаткових підказок. Це принципово змінює підхід до діагностики помилок фактогенерації: проблема зміщується з площини навчання та обсягу даних у площину архітектури видобутку.
Метод «профілювання знань»
Для систематизації проблеми автори запропонували метод, названий knowledge profiling — «профілювання знань». Замість того щоб оцінювати точність кожного запитання окремо, система класифікує кожен факт за п'ятьма категоріями: не закодований; закодований, але не видобутий; видобутий напряму; видобутий із міркуванням; виведений без кодування. Така таксономія дозволяє відокремити реальні прогалини в знаннях від технічних обмежень доступу. Для побудови вибірки дослідники використали 2150 фактів із «Вікіпедії», до кожного з яких додавалося по 10 сформульованих запитань, що дало понад 21 тисячу пар «факт–запитання» для аналізу.
Метафори «порожньої полиці» та «загубленого ключа»
Центральна метафора роботи проста й наочна. «Порожня полиця» означає, що факт взагалі не потрапив у модель — його немає в її параметрах. «Загублений ключ» означає, що факт присутній, але модель не може його знайти без додаткових підказок. Різниця між цими двома станами принципова з точки зору інженерних рішень: у першому випадку потрібна більша модель або ширше охоплення навчальних даних, у другому — достатньо покращити методи видобутку вже наявних знань, не чіпаючи саму модель. Саме тому коректна діагностика класу помилки критично важлива для оптимізації витрат на розвиток систем.
Парадокс порядку слів
Найнеочікуваніший результат стосується порядку слів. Коли запитання змінює звичний напрямок «підмет — додаток» на протилежний, якість видобутку різко погіршується. Наприклад, модель легко відповідає на запитання про те, хто написав певну книгу, але може не впоратися з переформулюванням «яку книгу написав цей автор». Автори підкреслюють, що це не прогалина в знаннях, а обмеження механізму доступу: модель зберігає факт в певній орієнтації і погано впорається з його видобутком у протилежному напрямку. При цьому робота Google Research не стверджує, що порядок слів є єдиною причиною збоїв, а лише дає структурований метод для вимірювання цього конкретного класу помилок.
Практичні висновки для розробників
Для розробників, що створюють застосунки на основі мовних моделей, висновок роботи має прикладний характер. Тестувати фактичні системи необхідно на перефразованих запитаннях, з різним порядком слів і у форматі впізнавання, а не покладатися на один канонічний шаблон формулювання. Метод knowledge profiling дозволяє кількісно оцінити частку «загублених ключів» і цілеспрямовано працювати над покращенням видобутку. Публікація, що вийшла на тлі активного впровадження LLM у корпоративні та споживчі продукти, задає новий стандарт верифікації фактогенерації: точність на «зручних» запитаннях більше не є достатнім критерієм надійності моделі.
