Мира Мурати представила Inkling 2 Small: 594 млрд параметров и третье место в DesignArena
Thinking Machines Lab, основанная бывшим техническим директором OpenAI Мирой Мурати, выпустила новую мультимодальную модель Inkling 2 Small.
Характеристики:
594 млрд параметров, из которых активируются только 17 млрд благодаря архитектуре MoE.
До 1 млн токенов контекста, поддержка изображений и возможность регулировать глубину рассуждений.
1340 баллов в DesignArena и третье место среди всех моделей на момент публикации результатов. Выше оказались только закрытые Muse Wonder и Muse Spark.
На Artificial Analysis Intelligence Index модель набрала 31 балл, значительно превзойдя предыдущее поколение Inkling.
Особенно интересны результаты в программировании и генерации интерфейсов. Модель использует визуальную обратную связь, чтобы проверять созданные страницы и исправлять ошибки.
Полные веса обещают открыть на следующей неделе под Apache 2.0, после завершения внешних проверок безопасности. Пока Inkling 2 Small доступна через Tinker для инференса и дообучения.
Несмотря на название Small, модель довольно крупная: 17 млрд активных параметров не означают, что все 594 млрд весов можно уместить в память обычного компьютера.
https://thinkingmachines.ai/news/inkling-2-small/