Perplexity разогнала локальный запуск LLM на Apple Silicon

Компания сделала собственный движок Lily специально под Mac и Qwen3.6-35B-A3B без PyTorch и MLX в цепочке выполнения.

На MacBook Pro с M5 Max и 128 ГБ unified memory:

- prefill: 5749 ток/с

- генерация: 186,6 ток/с

- в среднем prefill быстрее MLX-LM в 1,23×

- decode — в 1,35×

Что внутри:

- runtime на Rust

- собственные Metal-кернелы

- MoE-routing остаётся на GPU

- оптимизация отдельно под prefill и decode

- KV-cache и Gated DeltaNet заточены под Apple GPU

- 35B-модель ужата до 19,4 ГБ в 4-bit

На длинном контексте отдельная оптимизация attention дала до +40% скорости на 128K токенов.

Сам Lily Perplexity обещает скоро открыть.

https://www.perplexity.ai/hub/blog/optimizing-on-device-inference-for-apple-silicon