Колишній дослідник OpenAI Вілл Депью опублікував результати криміналістичного аналізу вагів шести нових китайських нейромережевих моделей, у яких, за його даними, збереглися числові відбитки, що відповідають графічним прискорювачам Nvidia покоління Blackwell. Йдеться про DeepSeek-V4-Flash і DeepSeek-V4-Pro, а також про Kimi K3 і Kimi K3.1-Pro від Moonshot AI, MiniMax-M3 та Ling-3.1-flash від Ant Group. За словами дослідника, ранніші моделі цих самих компаній відповідали попередньому поколінню Nvidia Hopper, тоді як встановлені відбитки вказують на конфігурації Blackwell B200/B300 зі 148 обчислювальними блоками SM або GB200/GB300 зі 152 такими блоками. Таким чином, технічний аналіз дає свідчення того, що китайські розробники мали доступ до прискорювачів, які підпадають під експортні обмеження США.

Як працює метод «цифрових відбитків»

Метод базується на особливостях первинної ініціалізації вагів нейромережі — присвоєння мільярдам параметрів стартових числових значень перед навчанням. Генератор псевдовипадкових чисел Philox, який використовується в PyTorch, створює послідовність значень на основі заданого початкового числа (seed). При цьому GPU розподіляє обчислення між потоками, а їхня кількість залежить від кількості обчислювальних блоків SM. У результаті та сама послідовність чисел розміщується в різних позиціях тензора на різних прискорювачах. Частина вихідних значень зберігається в опублікованих вагах навіть після навчання — наприклад, у нейронів, що відповідають за слова та символи, які модель не зустрічала в навчальних даних. За цими збереженими значеннями, як стверджують автори, можна відновити як початкове число, так і конфігурацію конкретного GPU.

Перевірка на реальному обладнанні

Для перевірки DeepSeek-V4-Flash дослідники використали фізичний прискорювач Nvidia B300 і відтворили 445 із 469 вибраних рядків вагів із точністю до кожного біта; ще 16 рядків показали високу кореляцію, а 8 були частково змінені в процесі навчання. На прискорювачі Nvidia H100 таких збігів для цієї моделі виявлено не було. Для ранньої DeepSeek-V3 картина виявилася протилежною: H100 відтворив усі 57 344 збережені вихідні значення, тоді як B300 зробити цього не зміг. Аналогічну перевірку Kimi K3 провели на орендованому GB200 — усі 13 збережених рядків збіглися з вихідними значеннями. Метод додатково протестували на 24 моделях, для яких розробники публічно розкривали використане обладнання, і в усіх випадках результати збіглися з відомими даними.

Оцінка масштабу обчислювальних кластерів

Автори також оцінили можливий масштаб обчислювальних ресурсів. За припущенням, що моделі навчалися на тих самих прискорювачах, на яких створювалися їхні вихідні ваги, для п'яти найбільших запусків могло знадобитися близько 12 000 прискорювачів Blackwell: оцінка для Kimi K3 становить приблизно 4 500 GPU, для DeepSeek-V4-Pro — близько 3 000. Два такі обчислювальні кластери могли коштувати $200–300 млн кожен, а сукупна вартість обладнання для п'яти запусків, за розрахунками, перевищує $500 млн. При цьому дослідники наголошують, що це розрахункові оцінки, а не підтверджені дані: вони залежать від тривалості навчання, ефективності використання прискорювачів та обсягу навчальних даних.

Обмеження методу та альтернативні версії

Метод має суттєві обмеження. Він показує, на якому обладнанні створювалися початкові ваги, але не доводить, що саме ці GPU використовувалися впродовж усього навчання. Неможливо встановити і місцеперебування прискорювачів, їхніх власників, а також спосіб отримання доступу до них. Дослідники також перевірили альтернативне пояснення з використанням AMD MI300X, який можна налаштувати на конфігурацію зі 148 або 152 обчислювальними блоками, що відтворює характерний малюнок Blackwell. Для DeepSeek-V4-Flash цю версію вдалося виключити за додатковими числовими ознаками, а для решти п'яти моделей автори вважають її вкрай малоймовірною. У підсумку аналіз дає технічні свідчення доступу китайських розробників до експортно обмежених прискорювачів Nvidia, проте сам по собі не доводить порушення американських експортних обмежень.