В весах DeepSeek нашли отпечаток NVIDIA Blackwell. 445 строк совпали бит в бит
Бывший исследователь OpenAI Уилл Депью проанализировал публичные веса шести моделей DeepSeek, Moonshot AI, MiniMax и Ant Group. Во всех шести он обнаружил следы инициализации на GPU поколения Blackwell, поставки которых в Китай ограничены США. У более ранних моделей тех же компаний анализ указал на Hopper.
Как GPU оставляет след? При инициализации PyTorch распределяет псевдослучайные числа по тензору, и раскладка зависит от конфигурации GPU. В опубликованных весах DeepSeek-V4-Flash сохранились строки с исходными значениями. На реальной NVIDIA B300 Депью воспроизвёл 445 из 469 отобранных строк бит в бит. На H100 точных совпадений для этих строк не было.
Результат касается этапа инициализации. Какие GPU использовались на остальных этапах обучения, где они находились и кому принадлежали, по этому анализу установить нельзя.