🇨🇳 Alibaba выпустила Qwen 3 — новое поколение open-source моделей

Семейство Qwen 3 состоит из восьми моделей, включая две MoE (Mixture of Experts) и шесть Dense версий. Самая большая — Qwen3-235B-A22B. У неё 235 миллиардов общих параметров, но при генерации ответа активно используется только 22 миллиарда — такой подход упрощает работу с моделью и делает её более экономичной .

Гибридный режим рассуждений
Модель может работать как в обычном, «быстром» режиме, так и в глубоком, «рассуждающем». Это поведение похоже на то, что используют Gemini Flash и Claude Sonnet — вы просто указываете, какой тип мышления нужен, и модель адаптируется под задачу. Благодаря этому можно сильно экономить токены: например, на простых вопросах она будет отвечать быстро, а на сложных — думать долго и основательно.

Поддержка 119 языков
От мандарина до русского, украинского и белорусского, что делает её одной из самых международных open-source моделей.

Самый большой объем тренировочных данных
Модель тренировалась на 36 триллионах токенов — это в несколько раз больше, чем весь текстовый интернет вместе взятый. Часть данных была создана с помощью предыдущих версий Qwen, специально заточенных под математику и программирование.

Контекстное окно
У Qwen3 длина контекста 128 000 токенов, что не является рекордным среди современных языковых моделей. Например, у Claude 3 оно больше — до 200 000 токенов, а у Gemini 1.5 Pro — и вовсе достигает 1 миллиона токенов.

Пока нет мультимодальной версии
То есть модель не работает с картинками и видео — это ограничивает её использование в некоторых приложениях. Но, по словам команды, мультимодальность появится через несколько месяцев.

Alibaba заявляет, что Qwen3-235B-A22B обгоняет DeepSeek-R1, o1 и o3-mini практически во всех ключевых тестах — математика, программирование, логический вывод. В некоторых задачах она даже сопоставима с Google Gemini Pro 2.5 — который считается одним из самых мощных закрытых ИИ.

Математика:
— В тестах AIME 2024 модель показала результаты выше, чем у o1 и o3-mini — ранее считавшихся лидерами в этой области.

Программирование:
— В LiveCodeBench (генерация работающего кода) Qwen3-235B набирает около 70,7%, тогда как o4-mini (более свежая модель OpenAI) находится на уровне 80%. Здесь пока преимущество у OpenAI.
— Однако в Codeforces, платформе спортивного программирования, Qwen3 получает 2056 баллов, что соответствует примерно уровню топ-3000 программистов планеты. Для контекста: o3-mini набирает на ~200 меньше.

Общие знания:
Показатели MMLU пока не опубликованы, но если предыдущие версии Qwen набирали около 85%, то Qwen 3 должна быть лучше. Если данные подтвердятся, это будет серьезным прогрессом.

Маленькие модели, такие как Qwen3-0.6B или Qwen3-4B, легко запустить даже на своем ПК. Все они доступны под лицензией Apache 2.0, что означает свободное коммерческое использование без ограничений. 🙏

Веса полностью доступны — в том числе для коммерческого использования. Это делает Qwen 3 отличной базой для создания собственных решений, включая закрытые корпоративные продукты или стартапы, ориентированные на конкретные ниши.

🔗 Пользоваться можно на сайте или через мобильное приложение. Работает без VPN.

Еще больше новостей, бесплатных гайдов и туториалов по работе с нейронами в нашем тг-канале.