Antirez одним C-файлом запустил DeepSeek V4 Flash с 1M контекстом на MacBook Pro 128GB
Сальваторе Санфилиппо, известный как antirez и автор Redis, выложил в опенсорс ds4. Это нативный движок инференса под DeepSeek V4 Flash, написанный на чистом C и помещающийся в несколько тысяч строк. На M3 Max с 128GB он стабильно выдаёт около 27 токенов в секунду, держит контекст в 1M токенов и тянет полный цикл coding-агента прямо на ноутбуке.
Гарри Тан из Y Combinator ретвитнул ds4 с короткой репликой о том, что качает прямо сейчас и что 1M контекста плюс рабочий coding-агент целиком на 128GB MacBook это безумие. Для индустрии это удар по тезису, что фронтирные модели обязаны жить в облаке поверх дорогих GPU-кластеров.
Главное в ds4 это системная инженерия в трёх точках, где обычно ломаются локальные запуски крупных MoE.
Первое: асимметричная 2-битная квантизация. Двух битов получают только эксперты MoE, а они занимают около 90 процентов веса модели. Все ключевые пути остаются в полной точности. По словам самого antirez, coding-агент работает стабильно и надёжно вызывает инструменты, заметной деградации он не увидел.
Второе: KV-кэш на SSD. Считалось, что кэш обязан жить в RAM, иначе 1M контекста съест 128GB памяти за один запрос. ds4 выносит KV-кэш на быстрый SSD Apple и использует диск как расширяемую память, снимая аппаратный потолок и позволяя удерживать миллионный контекст без свопа в ноль.
Третье: чистый Metal без обёрток. Никаких универсальных фреймворков и накладных расходов на абстракции. Код написан под Apple Silicon и под одну конкретную модель DeepSeek V4 Flash, всё лишнее срезано. Отсюда и предсказуемые 27 токенов в секунду на M3 Max.
Практический эффект такой: больше не нужно платить за API, переживать про утечки данных в чужих логах и терпеть сетевые задержки. Coding-агент, длинный контекст и работа с инструментами уезжают в локальную машину разработчика. Сегодня это MacBook Pro, на горизонте смартфоны и более компактные устройства по мере роста SSD и нейроускорителей.
Сюжет шире одного релиза. Когда веса крупных моделей открываются, сообщество хакеров за считаные недели переизобретает способ их запуска нестандартными приёмами квантизации, оффлоадинга и нативной оптимизации под железо. ds4 это очередное доказательство, что разрыв между закрытыми лабораториями и локальными запусками сжимается быстрее, чем ожидалось.