Google Research: Neuronale Netze speichern 95–98 % der Fakten, können aber bis zu ein Drittel davon nicht abrufen

Forscher von Google Research haben eine Arbeit veröffentlicht, in der gezeigt wird, dass fortschrittliche große Sprachmodelle (LLM) zwischen 95 und 98 % der getesteten Fakten kodieren, jedoch bei einer direkten Frage 26–34 % davon nicht abrufen können. Der zentrale Schluss der Autoren lautet, dass es sich nicht um einen Fehler in den Kenntnissen selbst handelt, sondern um einen Ausfall im Mechanismus des Zugriffs auf bereits gespeicherte Informationen. Mit anderen Worten: Das Modell „weiß“ den Fakt, kann ihn aber ohne zusätzliche Hinweise nicht „herausfinden“. Dies verändert grundlegend den Ansatz zur Diagnose von Faktengenerierungsfehlern: Das Problem verschiebt sich von der Ebene des Trainings und des Datenumfangs auf die Ebene der Abrufarchitektur.

Die Methode des „Wissensprofilierens“

Um das Problem zu systematisieren, schlugen die Autoren eine Methode vor, die als knowledge profiling – „Wissensprofilierung“ – bezeichnet wird. Anstatt die Genauigkeit jeder Frage einzeln zu bewerten, klassifiziert das System jeden Fakt in fünf Kategorien: nicht kodiert; kodiert, aber nicht abgerufen; direkt abgerufen; mit Reflexion abgerufen; ohne Kodierung abgeleitet. Diese Taxonomie ermöglicht es, echte Wissenslücken von technischen Zugriffsbeschränkungen zu trennen. Für die Erstellung der Stichprobe verwendeten die Forscher 2150 Fakten aus „Wikipedia“, zu denen jeweils 10 formulierte Fragen beigefügt wurden, was mehr als 21.000 „Fakt–Frage“-Paare für die Analyse ergab.

Die Metaphern des „leeren Regals“ und des „verlorenen Schlüssels“

Die zentrale Metapher der Arbeit ist einfach und anschaulich. „Leeres Regal“ bedeutet, dass der Fakt überhaupt nicht in das Modell gelangt ist – er ist in seinen Parametern nicht vorhanden. „Verlorener Schlüssel“ bedeutet, dass der Fakt vorhanden ist, das Modell ihn aber ohne zusätzliche Hinweise nicht finden kann. Der Unterschied zwischen diesen beiden Zuständen ist aus Sicht der ingenieurtechnischen Lösungen grundlegend: Im ersten Fall ist ein größeres Modell oder ein breiterer Abdeckungsbereich der Trainingsdaten erforderlich, im zweiten genügt es, die Methoden zum Abruf bereits vorhandener Kenntnisse zu verbessern, ohne das Modell selbst anzufassen. Genau deshalb ist eine korrekte Diagnose der Fehlerklasse für die Optimierung der Kosten bei der Entwicklung von Systemen von entscheidender Bedeutung.

Das Paradoxon der Wortstellung

Das überraschendste Ergebnis betrifft die Wortstellung. Wenn die Frage die gewohnte Richtung „Subjekt – Objekt“ in die umgekehrte dreht, verschlechtert sich die Abrufqualität erheblich. Beispielsweise beantwortet das Modell leicht die Frage, wer ein bestimmtes Buch geschrieben hat, kann aber mit der Umformulierung „welches Buch hat dieser Autor geschrieben“ möglicherweise nicht zurechtkommen. Die Autoren betonen, dass dies keine Wissenslücke ist, sondern eine Beschränkung des Zugriffsmechanismus: Das Modell speichert den Fakt in einer bestimmten Ausrichtung und kommt mit seinem Abruf in die umgekehrte Richtung schlecht zurecht. Dabei behauptet die Arbeit von Google Research nicht, dass die Wortstellung die einzige Ursache für Ausfälle ist, sondern liefert lediglich eine strukturierte Methode zur Messung dieser konkreten Fehlerklasse.

Praktische Schlussfolgerungen für Entwickler

Für Entwickler, die Anwendungen auf Basis von Sprachmodellen erstellen, ist der Schluss der Arbeit praxisorientiert. Faktische Systeme müssen mit umformulierten Fragen, mit unterschiedlicher Wortstellung und im Erkennungsformat getestet werden, anstatt sich auf ein einziges kanonisches Formulierungsmuster zu verlassen. Die Methode knowledge profiling ermöglicht eine quantitative Bewertung des Anteils der „verlorenen Schlüssel“ und ein gezieltes Arbeiten an der Verbesserung des Abrufs. Die Veröffentlichung, die vor dem Hintergrund der aktiven Einführung von LLM in Unternehmens- und Verbraucherprodukte erscheint, setzt einen neuen Standard für die Verifizierung der Faktengenerierung: Die Genauigkeit bei „bequemen“ Fragen ist kein ausreichendes Kriterium für die Zuverlässigkeit eines Modells mehr.