In sechs chinesischen KI-Modellen wurden numerische Fingerabdrücke verbotener Nvidia-Blackwell-Beschleuniger gefunden

Der ehemalige OpenAI-Forscher Will DePue hat die Ergebnisse einer forensischen Analyse der Gewichte von sechs neuen chinesischen neuronalen Netzmodellen veröffentlicht, die seinen Angaben zufolge numerische Fingerabdrücke aufweisen, welche den Grafikbeschleunigern der Nvidia-Blackwell-Generation entsprechen. Es handelt sich dabei um DeepSeek-V4-Flash und DeepSeek-V4-Pro sowie Kimi K3 und Kimi K3.1-Pro von Moonshot AI, MiniMax-M3 und Ling-3.1-flash von der Ant Group. Laut dem Forscher entsprachen frühere Modelle derselben Unternehmen der vorherigen Nvidia-Hopper-Generation, während die festgestellten Fingerabdrücke auf Blackwell-B200/B300-Konfigurationen mit 148 Recheneinheiten (SMs) oder GB200/GB300-Setups mit 152 solchen Blöcken hindeuten. Damit liefert die technische Analyse Hinweise darauf, dass chinesische Entwickler Zugang zu Beschleunigern hatten, die den US-Exportbeschränkungen unterliegen.

Wie die Methode der „digitalen Fingerabdrücke“ funktioniert

Die Methode basiert auf den Besonderheiten der anfänglichen Gewichtungsinitialisierung eines neuronalen Netzes — der Zuweisung von Startwerten an Milliarden von Parametern vor dem Training. Der in PyTorch verwendete Pseudozufallszahlengenerator Philox erzeugt eine Wertesequenz auf Basis einer vorgegebenen Startzahl (Seed). Dabei verteilt die GPU die Berechnungen auf Threads, deren Anzahl von der Anzahl der SM-Rechenblöcke abhängt. Infolgedessen wird genau dieselbe Zahlenfolge auf verschiedenen Beschleunigern an unterschiedlichen Tensorpositionen platziert. Ein Teil der Ursprungswerte bleibt selbst nach dem Training in den veröffentlichten Gewichten erhalten — beispielsweise bei Neuronen, die für Wörter und Symbole zuständig sind, denen das Modell in den Trainingsdaten nie begegnet ist. Anhand dieser erhaltenen Werte lassen sich nach Angaben der Autoren sowohl der Startwert als auch die Konfiguration der jeweiligen GPU rekonstruieren.

Überprüfung an echter Hardware

Zur Überprüfung von DeepSeek-V4-Flash nutzten die Forscher einen physischen Nvidia-B300-Beschleuniger und reproduzierten 445 von 469 ausgewählten Gewichtszeilen Bit für Bit; weitere 16 Zeilen zeigten eine hohe Korrelation, während 8 während des Trainings teilweise verändert worden waren. Auf einem Nvidia-H100-Beschleuniger wurden keine derartigen Übereinstimmungen für dieses Modell gefunden. Bei der älteren DeepSeek-V3 war das Bild umgekehrt: Die H100 reproduzierte alle 57.344 erhaltenen Ursprungswerte, während die B300 dies nicht konnte. Eine ähnliche Überprüfung von Kimi K3 wurde auf einer gemieteten GB200 durchgeführt — alle 13 erhaltenen Zeilen stimmten mit den Ursprungswerten überein. Die Methode wurde zusätzlich an 24 Modellen getestet, bei denen die Entwickler die verwendete Hardware öffentlich offengelegt hatten, und in allen Fällen stimmten die Ergebnisse mit den bekannten Daten überein.

Abschätzung des Rechencluster-Umsatzes

Die Autoren schätzten auch den möglichen Umfang der Rechenressourcen ab. Unter der Annahme, dass die Modelle auf denselben Beschleunigern trainiert wurden, auf denen ihre Ursprungsgewichte erzeugt wurden, könnten für die fünf größten Trainingsläufe etwa 12.000 Blackwell-Beschleuniger erforderlich gewesen sein: Die Schätzung für Kimi K3 beläuft sich auf rund 4.500 GPUs, für DeepSeek-V4-Pro auf etwa 3.000. Zwei solche Rechencluster könnten jeweils 200 bis 300 Millionen US-Dollar gekostet haben, und die Gesamtkosten der Ausrüstung für die fünf Läufe übersteigen Berechnungen zufolge 500 Millionen US-Dollar. Gleichzeitig betonen die Forscher, dass es sich hierbei um kalkulierte Schätzungen und keine verifizierten Daten handelt, da sie von der Trainingsdauer, der Effizienz der Beschleunigernutzung und dem Volumen der Trainingsdaten abhängen.

Grenzen der Methode und alternative Versionen

Die Methode hat wesentliche Einschränkungen. Sie zeigt zwar, auf welcher Hardware die Anfangsgewichte erstellt wurden, beweist jedoch nicht, dass genau diese GPUs während des gesamten Trainingsprozesses verwendet wurden. Weder der Standort der Beschleuniger noch deren Eigentümer oder die Art und Weise des Zugangs lassen sich dadurch ermitteln. Die Forscher prüften auch eine alternative Erklärung unter Verwendung der AMD MI300X, die sich auf eine Konfiguration mit 148 oder 152 Rechenblöcken einstellen lässt und das charakteristische Blackwell-Muster nachbildet. Für DeepSeek-V4-Flash konnte diese Version anhand zusätzlicher numerischer Merkmale ausgeschlossen werden, und für die übrigen fünf Modelle halten die Autoren sie für äußerst unwahrscheinlich. Letztendlich liefert die Analyse technische Hinweise darauf, dass chinesische Entwickler Zugang zu exportbeschränkten Nvidia-Beschleunigern hatten, beweist jedoch für sich genommen keinen Verstoß gegen US-Exportbeschränkungen.