K2 Horizon открыла почти весь процесс создания ИИ моделей

Institute of Foundation Models выпустил сразу шесть K2 Horizon размером от 0,9 до 375 млрд параметров. Модели на 0,9, 3,7 и 7 млрд стали лучшими в своих классах по ряду тестов на рассуждения, кодинг и работу с инструментами.

Самая интересная версия K2 Horizon 36B-A4B содержит 36 млрд параметров, но на каждый токен использует около 4 млрд. По качеству она почти догоняет плотную модель на 32 млрд, требуя заметно меньше вычислений.

Но главное здесь не сами результаты. IFM публикует веса, код обучения, промежуточные версии, логи, настройки и данные или инструкции по их созданию. Можно буквально изучать, на каком этапе у модели появляются рассуждения, работа с инструментами и агентные способности.

Все модели выпущены под Apache 2.0. Самые маленькие версии рассчитаны даже на телефоны, часы и очки, а крупные можно использовать на локальных рабочих станциях и серверах.