Baidu открыла ERNIE 5.5 Flash: 280 млрд параметров, но активны только 14 млрд
Baidu Research выпустила ERNIE 5.5 Flash Base, новую открытую MoE-модель, которая, по заявлению разработчиков, достигает результатов ведущих моделей сопоставимого размера.
При генерации каждого токена используется лишь 5% параметров, что позволяет снизить вычислительные затраты.
Инженеры Baidu представили сразу несколько интересных решений.
Latent-Gated Sparse Attention распределяет память KV-cache так, чтобы сохранить способность модели находить информацию в длинном контексте без чрезмерного расхода памяти.
Multi-Router Latent MoE использует несколько маршрутизаторов для выбора экспертов. Это помогает точнее определять, какие части модели нужны для конкретного токена, без дополнительных вычислительных затрат.
ECHO объединяет предсказание нескольких токенов с основным слоем модели. Этот же механизм можно использовать для speculative decoding, ускоряя генерацию.
Для обучения разработали распределённый оптимизатор Muon и оптимизированное ядро внимания FlashMask-4.
Сейчас доступны веса базовой модели. Полная версия ERNIE 5.5 Flash ожидается позже.
Технический разбор: https://ernie.baidu.com/zh/release/ernie-5-5-flash-base/