«Сбер» выложил в открытый доступ GFusion — «экспериментальную» диффузионную языковую модель
Над похожими работают Google и Inception Labs.
Модель сначала генерирует блок текста, а потом заменяет случайные слова подходящими. Источник: «Сбер»
- «Сбер» опубликовал на Hugging Face веса модели GFusion: версию GFusion-10B-A1.8B-base и GFusion-10B-A1.8B. Также компания рассказала, как обучала свою экспериментальную диффузионную модель для быстрого написания текстов.
- Традиционно диффузия используется для генерации изображений — модель из «шума» в виде случайного набора пикселей собирает картинку. Но в последнее время исследователи из Google и других компаний тестируют такой подход применительно к языковым моделям.
- Авторегрессионные языковые модели генерируют токены один за другим слева направо, и каждый следующий зависит от предыдущего и общего контекста. GFusion же сначала создаёт «набросок» ответа с определённой структурой, а потом подставляет нужные слова в общую рамку.
- Пока модель за раз генерирует блок в 32 токена (одно предложение примерно до 15 слов). В тестах компании GFusion пишет текст до 45% быстрее, чем GigaChat 3, на базе которой она разработана. Качество падает на 2-4 процентных пункта.
- Диффузионные языковые модели разрабатывает, например, стартап Inception Labs. Также есть открытый проект китайских исследователей LLaDA (Large Language Diffusion with mAsking).
- Google выложила свою версию Diffusion Gemma в открытый доступ 10 июня 2026 года. Она за раз генерирует 256 токенов. По словам Google, это увеличивает скорость написания текста и простого кода в четыре раза. Однако по всем остальным бенчмаркам, кроме скорости, первая версия модели пока уступает обычной Gemma 4 26B.