Бывший исследователь OpenAI Уилл Депью опубликовал результаты криминалистического анализа весов шести новых китайских нейросетевых моделей, в которых, по его данным, сохранились числовые отпечатки, соответствующие графическим ускорителям Nvidia поколения Blackwell. Речь идёт о DeepSeek-V4-Flash и DeepSeek-V4-Pro, а также о Kimi K3 и Kimi K3.1-Pro от Moonshot AI, MiniMax-M3 и Ling-3.1-flash от Ant Group. По словам исследователя, более ранние модели этих же компаний соответствовали предыдущему поколению Nvidia Hopper, тогда как установленные отпечатки указывают на конфигурации Blackwell B200/B300 с 148 вычислительными блоками SM либо GB200/GB300 с 152 такими блоками. Таким образом, технический анализ даёт свидетельства того, что китайские разработчики имели доступ к ускорителям, подпадающим под экспортные ограничения США.

Как работает метод «цифровых отпечатков»

Метод основан на особенностях первоначальной инициализации весов нейросети — присвоения миллиардам параметров стартовых числовых значений перед обучением. Генератор псевдослучайных чисел Philox, используемый в PyTorch, создаёт последовательность значений на основе заданного начального числа (seed). При этом GPU распределяет вычисления между потоками, а их количество зависит от числа вычислительных блоков SM. В результате одна и та же последовательность чисел размещается в разных позициях тензора на разных ускорителях. Часть исходных значений сохраняется в опубликованных весах даже после обучения — например, у нейронов, отвечающих за слова и символы, которые модель не встречала в обучающих данных. По этим сохранившимся значениям, по утверждению авторов, можно восстановить как начальное число, так и конфигурацию конкретного GPU.

Проверка на реальном оборудовании

Для проверки DeepSeek-V4-Flash исследователи использовали физический ускоритель Nvidia B300 и воспроизвели 445 из 469 выбранных строк весов с точностью до каждого бита; ещё 16 строк показали высокую корреляцию, а 8 были частично изменены в процессе обучения. На ускорителе Nvidia H100 таких совпадений для этой модели обнаружено не было. Для более ранней DeepSeek-V3 картина оказалась обратной: H100 воспроизвёл все 57 344 сохранившихся исходных значения, тогда как B300 сделать этого не смог. Аналогичную проверку Kimi K3 провели на арендованном GB200 — все 13 сохранившихся строк совпали с исходными значениями. Метод дополнительно протестировали на 24 моделях, для которых разработчики публично раскрывали использованное оборудование, и во всех случаях результаты совпали с известными данными.

Оценка масштаба вычислительных кластеров

Авторы также оценили возможный масштаб вычислительных ресурсов. При предположении, что модели обучались на тех же ускорителях, на которых создавались их исходные веса, для пяти крупнейших запусков могло потребоваться около 12 000 ускорителей Blackwell: оценка для Kimi K3 составляет порядка 4 500 GPU, для DeepSeek-V4-Pro — около 3 000. Два таких вычислительных кластера могли стоить $200–300 млн каждый, а совокупная стоимость оборудования для пяти запусков, по расчётам, превышает $500 млн. При этом исследователи подчёркивают, что это расчётные оценки, а не подтверждённые данные: они зависят от продолжительности обучения, эффективности использования ускорителей и объёма обучающих данных.

Ограничения метода и альтернативные версии

У метода есть существенные ограничения. Он показывает, на каком оборудовании создавались начальные веса, но не доказывает, что именно эти GPU использовались на протяжении всего обучения. Нельзя установить и местонахождение ускорителей, их владельцев, а также способ получения к ним доступа. Исследователи также проверили альтернативное объяснение с использованием AMD MI300X, который можно настроить на конфигурацию из 148 или 152 вычислительных блоков, воспроизводящую характерный рисунок Blackwell. Для DeepSeek-V4-Flash эту версию удалось исключить по дополнительным числовым признакам, а для остальных пяти моделей авторы считают её крайне маловероятной. В итоге анализ даёт технические свидетельства доступа китайских разработчиков к экспортно ограниченным ускорителям Nvidia, однако сам по себе не доказывает нарушения американских экспортных ограничений.