Квантизованные модели Qwen 3.5 для Apple: качество и скорость
Btw релизнули свой первый результат в рисерче.
Выкатили первые квантизованные версии моделей Qwen 3.5.
За счет совместной оптимизации квантизации и движка инференса нам удалось заметно обойти Unsloth/llama.cpp и MLX по ключевому компромиссу «качество vs скорость». На устройствах Apple от iPhone до мощных Mac модели выдают на 40–60% больше токенов в секунду без потери качества.
Подписывайтесь на Telegram ChillHouse.