Xiaomi MiMo: триллион параметров, из которых работает четыре процента

Пять релизов за четырнадцать месяцев — от рассуждающей модели на семь миллиардов параметров до разреженного флага на триллион. Веса выложены под MIT, работающая часть триллиона — 42 млрд параметров на токен, то есть около четырёх процентов от общего объёма.

Полтора года от текста к омнимодальности

Красивая антенна, не правда ли?

Это новая модель, созданная для радиочастотного покрытия крупных складов, заводов, фабрик.

1

Xiaomi представила «рассуждающую» ИИ-модель MiMo

Это первая публичная нейросеть для компании.

  • Семейство моделей выложили в открытый доступ — на GitHub и Hugging Face. Всего их четыре — MiMo-7B-Base, MiMo-7B-RL-Zero, MiMo-7B-SFT и MiMo-7B-RL.
14