Colibri — бесплатный запуск GLM-5.2 на 744 млрд параметров на любом ПК. Новый уровень локальных моделей.

Представьте: вы запускаете одну из самых мощных открытых моделей искусственного интеллекта — GLM-5.2 с 744 миллиардами параметров — на обычном домашнем компьютере. Без видеокарты за тысячи долларов, без облачных серверов, без сложной настройки Python-окружения. Colibri - здесь

GLM-5.2, разработанная компанией Zhipu AI, — одна из сильнейших открытых моделей на сегодняшний день. Но её размер впечатляет: если бы это была обычная «плотная» модель, для её загрузки в память потребовалось бы более 1,5 терабайт. Для сравнения: в топовых потребительских видеокартах — 24 ГБ, в обычных ПК — 16–32 ГБ ОЗУ. Разрыв колоссальный.

Традиционный подход требует либо дорогих серверов с десятками GPU, либо использования облачных API. Но что, если можно пойти другим путём?

Colibri - здесь

Colibri — это чистый C-движок (всего ~2400 строк кода) без единой внешней зависимости. Никакого Python, никаких BLAS-библиотек, никакого GPU. Один исполняемый файл — и вы общаетесь с 744-миллиардной моделью.

Секрет кроется в архитектуре самой модели. GLM-5.2 построена на MoE (Mixture of Experts) — при обработке каждого токена активируется лишь около 40 миллиардов параметров (примерно 5% от общего объёма). Из них «меняются» от токена к токену только ~11 ГБ — это те самые «эксперты», которые маршрутизируются для конкретного запроса.

Colibri использует это так:

· Постоянная часть (внимание, общие эксперты, встраивания — ~17 млрд параметров) в int4-квантовании постоянно reside в ОЗУ, занимая всего ~9,9 ГБ.

· 21 504 маршрутизируемых эксперта (75 MoE-слоёв × 256 экспертов + MTP-голова, ~19 МБ каждый в int4) хранятся на диске и подгружаются по требованию.

· В любой момент времени в памяти находится 10–20 ГБ данных — остальное стримится с диска по мере необходимости.

Модель занимает на диске ~370 ГБ (предварительно сконвертированный int4-образ доступен на Hugging Face). Запуск занимает около 30 секунд.

Colibri — не просто «читает с диска». В нём реализован целый ряд продвинутых оптимизаций:

· MLA-внимание со сжатым KV-кэшем: 576 чисел с плавающей точкой на токен вместо 32 768 — в 57 раз меньше.

· MTP (Multi-Token Prediction) — спекулятивная декодировка: модель предсказывает несколько токенов за один проход. В int8-квантовании приёмлемость черновиков достигает 39–59%, что даёт 2.2–2.8 токена за один forward.

· LRU-кэш для каждого слоя — часто используемые эксперты остаются в памяти.

· Асинхронная предзагрузка экспертов — чтение с диска перекрывается с матричными вычислениями.

· Роутинг-предвыборка — благодаря 71.6% предсказуемости маршрутизации между соседними слоями система заранее подгружает нужных экспертов.

Минимальные требования Colibri удивительно скромны:

Компонент Требование

ОЗУ ~25 ГБ

Процессор Любой (все расчёты на CPU)

GPU Не требуется

Диск ~370 ГБ свободного места (NVMe желателен)

Зависимости - Отсутствуют

Разработчик тестировал движок в WSL2 на 12-ядерном процессоре с 25 ГБ ОЗУ и NVMe-диском. Да, именно столько — никаких серверных стоек.

Главный компромисс — скорость. В холодном состоянии (кэш пуст) каждый токен требует чтения ~11 ГБ с диска. На тестовой машине разработчика это давало 0.05–0.1 токена в секунду.

Однако при прогретом кэше и использовании MTP-спекуляции пользователи сообщают о до 1 токена в секунду на более быстрых NVMe и при большем объёме ОЗУ. На топовой конфигурации с 6× RTX 5090 (эксперты полностью размещены в VRAM) движок выдаёт 4 токена/с.

Важно: Colibri — это экспериментальная исследовательская платформа, а не продакшн-система с гарантиями SLA. Его цель — сделать возможным то, что раньше казалось невозможным, даже ценой скорости.

Colibri открывает новые возможности:

· Работа с конфиденциальными данными — всё выполняется локально, никакой отправки в облако.

· Научные вычисления — где время ответа не критично, но важна возможность запуска модели на своём железе.

· Исследования и эксперименты — платформа для тестирования смелых идей на стыке софта и «железа».

· Демонстрация возможностей — показать, что топ-модель можно запустить где угодно.

Разработчик не исключает добавления поддержки CUDA или OpenCL в будущем. Уже сейчас существует опциональный CUDA-уровень для «закреплённых» экспертов. А философия проекта проста: передовые модели не должны требовать датацентр по умолчанию.

Colibri — это торжество инженерной мысли. Всего 2400 строк чистого C — и 744-миллиардная нейросеть работает на обычном ноутбуке. Да, медленно. Да, с нагрузкой на диск. Но она работает. И это меняет правила игры.

Как сказал сам разработчик: «Скорость не главное, главное — достичь цели. Я просто хотел заставить её работать, даже если очень медленно». И у него получилось.

Colibri - здесь