Как выбрать железо для локальной LLM

Я думаю, в контексте развертывания нейросети на своем локальном компьютере - все слышали, что решает GPU. Мы привыкли смотреть на мощность графического чипа, но в мире больших языковых моделей критически важна пропускная способность памяти. Текстовая генерация - это непрерывное перетаскивание гигабайтов весов из памяти в вычислительные ядра для каждого нового слова, и этот процесс диктует свои жестокие законы сборки рабочих станций.

Нейросеть состоит из миллиардов параметров, и каждый из них физически представляет собой число. Стандарт IEEE-754 описывает эти числа через биты знака, экспоненты и мантиссы. Хранение одного веса в полном формате F32 сжирает 4 байта памяти.

Если вы решите запустить модель на 70 миллиардов параметров в исходном чистом виде, вам понадобится почти 300 гигабайт видеопамяти. Такое оборудование стоит как небольшая квартирка на окраине моего родного Минска.

Индустрия выкрутилась из этой ловушки через квантование. Мы принудительно снижаем точность, ужимая параметры до 16, 8 или даже 4 битов.

Сжатие всегда имеет свою цену. Снижение точности до уровня ниже четырех битов начинает стремительно разрушать логические способности нейросети.

Оценка требуемого объема памяти требует точного математического расчета. Инженеры применяют проверенные формулы для расчета потребления VRAM. Наивно умножить количество параметров на размер одного веса недостаточно. Система требует отдельного места для контекста, промежуточных вычислений и системных библиотек.

Мы используем следующую формулу:

Базовый вес модели зависит от количества параметров (P) и выбранного алгоритма квантования (bw). Системный резерв принудительно забирает около 0.55 ГБ под базовые буферы cuBLAS и рабочие пространства CUDA. Временные тензоры и активации требуют дополнительной памяти в виде блокнота. Этот объем составляет примерно 0.08 × P.

Кэш пар ключ-значение представляет собой самую опасную переменную часть уравнения. Эта цифра растет линейно вместе с размером вашего контекста. Переменная B отвечает за размер пакета. N определяет длину контекста. Параметры L (слои), d (скрытая размерность) и g (фактор группировки запросов) зависят от внутренней архитектуры самой нейросети.

Когда вы загружаете в нейросеть длинную книгу, потребление памяти резко возрастает. Для стандартной модели на 8 миллиардов параметров каждые 1000 токенов контекста забирают примерно 134 мегабайта VRAM. Расширение контекста до 32 тысяч токенов потребует дополнительных 0.47 ГБ исключительно под удержание истории вашей беседы. Длинные рабочие сессии быстро и безжалостно исчерпывают лимиты бюджетных видеокарт.

Когда память видеокарты переполняется, происходит техническая катастрофа. Архитектура пытается спасти процесс вычислений и выгружает часть данных в медленную системную оперативную память. Скорость генерации мгновенно падает с комфортных 50-100 токенов в секунду до 2-5 токенов.

Вы получаете задержки, которые превышают время генерации на голом процессоре без использования видеокарты. Вылет за пределы VRAM означает смерть производительности.

Долгое время NVIDIA держала монополию на тяжелые вычисления, но чипы Apple серии M перевернули доску. Инженеры Apple применили концепцию SoC, где центральный процессор и видеоядра делят один гигантский бассейн памяти. Это полностью уничтожает налог на копирование данных. Обычный ПК вынужден постоянно гонять тяжелые тензоры между RAM и VRAM через шину PCIe, а Mac Studio работает с массивом напрямую.

Чип M3 Ultra выдает аж 819 ГБ/с пропускной способности памяти. Mac Studio с 512 ГБ памяти способен локально запустить DeepSeek R1 на 671 миллиард параметров. Эта сеть весит 404 ГБ на диске и требует ручного выделения 448 ГБ памяти через терминал.

Сборка Apple выдает на ней 17-18 токенов в секунду. Это может показаться медленным для живого чата, но это невероятный результат для локальной машины, которая потребляет меньше 200 ватт из розетки. Стойка с профессиональными видеокартами для такой задачи сожрала бы киловатты энергии и гудела бы как реактивный самолет на взлете.

Проблема тут одна, и она в цене. Apple дерет деньги безжалостно. Базовый Mac Studio стоит дорого, но версия с 192 ГБ памяти вообще недоступна напрямую в магазинах. Чаще всего, нам навязывают конфигурацию на 256 ГБ, накручивая цену до 5500 долларов. Полный фарш улетает за 14 тысяч (если что, речь про Штаты. У нас - сами понимаете).

Для задач малого и среднего калибра классические GPU остаются вне конкуренции. RTX 4090 выстреливает текст со скоростью 128 токенов в секунду на моделях 8B, что быстрее, чем вы успеваете читать глазами. Рынок 2026 года четко сегментирован, и здесь есть свои герои.

Бюджетным королем внезапно стал Intel Arc B580 с 12 ГБ памяти, показавший рекордную эффективность стоимости за токен. Старушка RTX 3060 на 12 ГБ остается входным билетом: работает медленно, но надежно.

Рабочая лошадка разработчика - это RTX 4060 Ti на 16 ГБ. За свои небольшие деньги вы получаете твердый средний уровень, которого хватит для большинства экспериментов. Легенда вторичного рынка RTX 3090 с 24 ГБ памяти открывает мир моделей на 30 миллиардов параметров. А новый флагман RTX 5090 с 32 ГБ памяти ломает экономику дата-центров. Пара таких карт заменяет серверный ускоритель H100, стоя при этом в четыре раза дешевле, что вызывает тихую панику у продавцов корпоративного железа.

Серверное железо на вторичном рынке - это так себе история. Карты вроде RTX A6000 на 48 ГБ стоят неадекватных денег даже в подержанном состоянии. При этом одна такая карта все равно не потянет полноценного тяжеловеса на 70B без сильного сжатия, так что смысла в переплате мало.

Новички часто совершают одну и ту же ошибку, думая: «Куплю две карты по 24 ГБ и получу 48 ГБ памяти». Математика в нейросетях так не работает. Память не складывается линейно. Для работы одной модели на двух картах нужен тензорный параллелизм, когда слои дробятся на части. Карты постоянно обмениваются данными, и тут узким местом становится шина PCIe.

В потребительских материнских платах линии PCIe распределены криво. Обычно первый слот получает быстрые x16, а второй довольствуется жалкими x4 от чипсета. Это душит скорость на корню. Обмен данными между картами начинает тормозить генерацию, и вы сидите в ожидании токенов.

Для нормальной работы нужны минимум 8 линий на каждую карту (режим x8/x8). Вам придется смотреть на дорогие серверные платформы на базе Xeon W, где одна материнская плата стоит дороже самих видеокарт. Без технологий вроде NVLink масштабирование превращается в мучение и пустую трату денег.

Стереотип о том, что процессоры не годятся для ИИ, безнадежно устарел. Да, они работают медленно. Но когда модель физически не лезет в видеопамять, процессор с 128 ГБ дешевой оперативной памяти DDR5 становится единственным спасением. Ryzen 9 9950X может крутить модели на 123 миллиарда параметров. Скорость будет колебаться в районе 2-3 токена в секунду, но это работает. Для задач кодинга или анализа документов, где вы не смотрите на экран каждую секунду, CPU вполне пригоден.

Забавный факт: центральный процессор iPhone 15 Pro в некоторых тестах обгоняет собственное встроенное видеоядро. При малых размерах тензоров накладные расходы на пересылку данных в GPU убивают весь выигрыш в скорости. На десктопах ситуация иная, но списывать процессоры со счетов пока слишком рано.

Что реально можно запустить на вашем столе? Давайте опираться на золотой стандарт - формат Q4_K_M.

Ноутбуки и бюджетные карты до 8 ГБ жестко ограничены моделями вроде Llama 3.1 8B или Mistral 7B. Дистиллированные версии DeepSeek-R1 на 7-8 миллиардов параметров работают здесь отлично и выдают умные ответы.

Средний класс оборудования с 12-16 ГБ памяти открывает доступ к Gemma 2 12B, Qwen 2.5 14B и Phi-4. Модель от Microsoft (Phi-4) показывает настоящие чудеса интеллекта при очень скромных аппетитах к ресурсам.

Топ-сегмент на 24 ГБ позволяет комфортно работать с Qwen 2.5 32B, Gemma 2 27B и Command R. Здесь начинается серьезная работа с программным кодом и глубокой аналитикой. Модели с модулем зрения, вроде LLaVA 34B, займут около 20 ГБ, оставляя мало места под контекст.

Для запуска сжатой Llama 3.1 70B или Qwen 2.5 72B вам нужны рабочие станции с 48 ГБ памяти и выше. А полные версии на 405B или 671B требуют либо кластеров профессиональных карт, либо тот самый безумно дорогой Mac Studio.

Генерация текста - это только цветочки. Обучение требует ягод. Полный файн-тюнинг модели 7B требует 160 ГБ памяти. Забудьте об этом в домашних условиях. Нас спасает LoRA и квантование. Метод QLoRA снижает требования до 6 ГБ, что уже реально.

Настоящий герой здесь - фреймворк Unsloth. Он оптимизирует потребление памяти на внушительные 62%. Обучение Llama 7B сжимается с 7.2 ГБ до 6.4 ГБ, а Mistral 7B - с 32 ГБ до 12 ГБ. Теперь вы можете тренировать свои собственные модели на одной видеокарте, не продавая почку ради покупки сервера.

Не слушайте маркетологов, а считайте сами. Сначала определите вашу задачу. Если это ночная пакетная обработка документов, берите мощный многоядерный процессор и гору дешевой оперативной памяти. Это сэкономит вам тысячи рублей. Если нужен живой, отзывчивый чат-бот - только видеокарта.

Объем памяти всегда важнее голой скорости чипа. Карта с 8 ГБ устареет очень и очень скоро. 16 ГБ - это необходимый минимум для спокойной жизни. И не забывайте про шум и тепловыделение. Mac Studio работает практически бесшумно, и это фактор комфорта, который нельзя игнорировать при долгой работе. В Apple память не добавить, а в ПК видеокарту можно сменить. Выбирайте железо под узкое место именно ваших задач. Физику не обмануть, но с ней можно договориться.

Ну и в конце - вот вам полезная софтина LLMfit. Она сканирует вашу оперативку, процессор и видеокарту, а затем выдаёт список LLM, которые гарантированно запустятся на вашем железе - с метриками по совместимости, скорости работы и объёму контекста.