Moe

Пять релизов за четырнадцать месяцев — от рассуждающей модели на семь миллиардов параметров до разреженного флага на триллион. Веса выложены под MIT, работающая часть триллиона — 42 млрд параметров на токен, то есть около четырёх процентов от общего объёма.

DeepSeek выложила (https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash) свежайшую DeepSeek-V4.1-Flash (https://www.deepseek.com/en/news/deepseek-v4-1-flash/), мультимодальную MoE-модель на 552 млрд параметров, с контекстом до миллиона токенов и методом Causal Encoder-Decoder под капотом, который вдвое удешевляет разбор входа.

Задача, под к…