125 млрд параметров и 12 ГБ видеопамяти: модель, которой нужен был сервер, теперь работает на домашнем ПК
В открытом репозитории на GitHub выложили проект, который запускает нейросеть на 125 миллиардов параметров на обычном игровом компьютере. Не в облаке, не на серверной стойке — на видеокарте, которая стоит в системном блоке под столом. На карте с 12 ГБ памяти модель выдаёт 94 токена в секунду. Токен — это примерно три четверти слова, то есть быстрее, чем человек успевает читать. Проект бесплатный, исходный код открыт, лицензия свободная.
Почему это важно именно сейчас
Ещё недавно 125 миллиардов параметров означали стойку с сотнями гигабайт видеопамяти. Модели такого класса живут на серверах, а вы обращаетесь к ним по подписке или платите за каждый токен. Всё, что вы написали в чат, физически проходит через чужую машину.
Две линии развития шли параллельно. Первая — делать модели всё больше, и она никуда не делась: флагманы растут. Вторая — попытка уместить уже готовую большую модель на одной домашней машине. Раньше по этой линии получалось несерьёзно: локальные модели были на 7–8 миллиардов параметров и заметно уступали облачным по качеству.
Сейчас линия сдвинулась. Разница между «модель, которую можно запустить у себя» и «модель, которая по-настоящему хороша» сократилась до размера, который влезает в обычный системный блок.
Что именно придумали
Модель построена по схеме, которую называют смесью экспертов. Звучит сложно, но идея простая: внутри не одна огромная сеть, а 24 576 узких специалистов, и каждому слову нужно только десять из них. Видеокарта держит у себя самых востребованных специалистов, оперативная память — всех остальных, а на диске лежит большая таблица поиска. Работа делится между видеокартой, процессором и оперативкой — как на кухне: то, чем пользуешься постоянно, стоит на столе, остальное ждёт в кладовке.
Вторая хитрость — ускорение «угадай и проверь». Маленький помощник быстро предлагает следующие слова, а большая модель проверяет их все сразу и оставляет верные. Ответ получается тот же, но приходит в 1,6–1,8 раза раньше.
Сколько это стоит по железу и по скорости
«Модель — это команда из 24 576 маленьких специалистов, и каждому слову нужно только десять из них».
Формально требования выглядят как список для игрового ПК, а не для вычислительного центра:
- Видеокарта — NVIDIA линейки RTX 20, 30, 40 или 50, либо AMD из последних серий. Нужно от 12 ГБ видеопамяти.
- Оперативная память — от 32 ГБ. На 64 ГБ помещаются все варианты модели.
- Диск — около 80 ГБ свободно, лучше SSD: первый запуск проходит заметно быстрее.
- Система — Windows 10 или 11, либо Linux, и свежий драйвер.
Скорость на машине с картой на 12 ГБ и 64 ГБ оперативки, по замерам авторов:
- лёгкий вариант сжатия — 94 токена в секунду;
- следующий — 79;
- далее — 62;
- самый тяжёлый и самый качественный — 53.
На карте на 24 ГБ разработчики обещают уже 100–140 токенов в секунду. Чем больше видеопамяти, тем больше модели живёт прямо на карте и тем быстрее ответ.
Что это меняет на практике
Самое интересное — как это подключается к работе. Проект поднимает на вашем компьютере программный интерфейс, совместимый с форматом, который используют популярные облачные сервисы. Это значит, что к нему привязываются те же программы, что и к платному API: среда для работы с кодом, редактор, консольный помощник программиста. Имя модели и ключ — любые, потому что запрос никуда не уходит.
Дальше — что вы получаете из коробки:
- Чат в браузере на локальном адресе, плюс живой монитор нагрузки на видеокарту, процессор и память.
- Чтение картинок, если ответить «да» на соответствующий вопрос при установке.
- Доступ с телефона или второго компьютера по домашней сети — с обязательным ключом.
- Отдельная версия для кода: по заявлениям авторов она сохраняет 91% результата полной модели на инженерных задачах и 99% — на задачах по программированию. Плата за компактность: вне кода она заметно слабее, а с языками, кроме английского, бывают сбои.
Открытая арифметика
«Ничего не покидает ваш компьютер».
Чего мы пока не знаем и в чём риск
- Сжатие очень сильное. Чтобы модель влезла, веса ужали примерно до двух-трёх бит на параметр. Лучший по качеству вариант занимает почти 55 ГБ и работает медленнее всех. Это компромисс, который каждый выбирает сам.
- Нужен не любой компьютер. 32 ГБ оперативки — это уже не массовый офисный ПК, а игровая или рабочая станция. На 48 ГБ доступны только самые лёгкие варианты.
- Первый запуск подвешивает компьютер. Проект честно предупреждает: при старте в память загружается 35–55 ГБ, и машина может не отвечать одну–три минуты. Это нормально, но пугает.
- Проект молодой. За ним 12,5 тысячи звёзд и 845 изменений в коде, но часть коммитов сделан ИИ-ассистент — он указан среди контрибьюторов. Звёзды здесь меньше значат, чем собственный замер на своей машине.
- Самые тяжёлые 4-битные варианты на 64 ГБ памяти выдают 7–8,5 токена в секунду. Формально работает, на практике — нет.
- Качество сжатых весов независимо почти не мерили. Все цифры по умности — от авторов сжатия, а не от сторонних тестов.
- Мелкие ограничения: на Windows с картами AMD чтение картинок пока не работает, по умолчанию отвечается один запрос за раз.
Что в итоге
Год назад фраза «большая модель на домашнем компьютере» вызывала улыбку: то, что влезало, было заметно глупее. Теперь на обычном игровом железе работает модель на 125 миллиардов параметров, со скоростью, при которой с ней можно нормально разговаривать, и без платы за каждый токен.
Практическая ценность здесь не в экономии на подписке, а в двух вещах: данные не уходят с вашей машины, и никто не может поменять модель или поднять цену в одностороннем порядке. Для компании, которая не готова отдавать наружу переписку, документы и код, это уже не игрушка, а рабочий вариант. Осталось дождаться независимых замеров качества — тогда станет видно, насколько близко локальная модель подошла к облачной на самом деле.
Полная версия с расчётами и схемой — в блоге проекта «Новация ИИ»: находится по названию. Если удобнее сразу по делу — напишите мне в личные сообщения, разберём вашу задачу.