Cohere выпустила 218-миллиардную модель, которая помещается на одну видеокарту

Cohere выпустила Command A+. Это открытая MoE-модель под лицензией Apache 2.0, заточенная под агентные задачи в корпоративной среде.

218 миллиардов параметров суммарно, но в работе одновременно задействуются только 25 миллиардов. За счёт этого модель запускается на двух H100 с W4A4-квантованием, тогда как сопоставимые по размеру плотные модели требуют значительно больше железа.

Из возможностей: поддержка 48 языков, работа с текстом и изображениями, встроенный function calling для подключения внешних инструментов и API. Модель ориентирована на многошаговые рабочие процессы, где агент самостоятельно планирует и выполняет задачи.

Подписывайтесь на Telegram Ринат Шакиров | Промпты для Midjourney | ChatGPT |.