Компьютер для ИИ за 130, 235 или 260 тысяч рублей: в чём разница и что выбрать

В прошлой статье я рассказывал, как мы в Upgrade собирали компьютер для локального запуска нейросетей на серверной Tesla V100. Тогда задача была уложиться в 150 тысяч рублей и получить рабочую систему, на которой можно запускать языковые модели.

После первых экспериментов мы продолжили разбираться с конфигурациями. В итоге пришли к трём вариантам: за 130, 235 и 260 тысяч рублей. Причём в первых двух стоит одна и та же видеокарта с 32 ГБ памяти. Тогда откуда разница в 105 тысяч рублей? И есть ли смысл доплачивать за две видеокарты?

Разберём по порядку.

Для запуска языковых моделей важен объём видеопамяти (VRAM). В ней размещаются веса модели и данные, необходимые для её работы. Если памяти не хватает, приходится использовать дополнительные способы оптимизации, переносить часть вычислений в оперативную память или выбирать другую модель. Поэтому мы начали смотреть не только на современные RTX, но и на серверные видеокарты с большим объёмом памяти.

В итоге остановились на Tesla V100 с 32 ГБ VRAM. Карта 2017 года, и это, конечно, не конкурент новым RTX по всем характеристикам. Но она позволяет получить большой объём видеопамяти за сравнительно небольшие деньги.

Есть нюанс: все карты V100 в наших сборках — б/у. Плюс для версии SXM2 нужен переходник на PCIe и отдельное охлаждение. То есть купить карту и просто поставить в обычный системник не получится. Зато такой подход позволяет существенно снизить стоимость входа в локальный ИИ.

В первых сборках мы использовали воздушное охлаждение, но после обратной связи пользователей и собственных тестов стало понятно, что для дома турбина слишком шумная.

Перешли на водянку. Правда, с серверными V100 это не просто замена кулера: иногда приходится вручную дорабатывать крепления, правильно размещать водоблоки и подбирать корпус под всю систему. Зато теперь рядом с компьютером можно нормально работать.

В основе та же Tesla V100 с 32 ГБ памяти, переходник SXM2 → PCIe, водяная система охлаждения и обычная компьютерная платформа с процессором, оперативной памятью и SSD.

Самый доступный вариант, который у нас получился. Этого достаточно, чтобы начать работать с локальными LLM, запускать модели через Ollama или Open WebUI, экспериментировать с RAG и собственными базами документов.

Но здесь мы экономим прежде всего на остальной платформе. Поэтому для задач, где важна не только видеопамять, но и производительность процессора, объём оперативной памяти или длительная нагрузка, базовой конфигурации может оказаться мало. Если нужна система для первых экспериментов с локальными моделями, это вариант, который стоит рассмотреть.

Здесь возникает логичный вопрос: зачем платить на 105 тысяч больше, если видеокарта остаётся той же? Потому что компьютер — это не только GPU.

Здесь мы используем более производительную платформу, от 64 ГБ оперативной памяти, NVMe-накопители, водяное охлаждение, а также корпус и блок питания, рассчитанные на длительную работу под нагрузкой.

И дело не в том, что та же V100 внезапно начнёт генерировать текст вдвое быстрее. Разница в другом. Например, при работе с RAG-системой приходится не только запускать языковую модель, но и обрабатывать документы, хранить данные, работать с поиском и другими сервисами. Всё это создаёт дополнительную нагрузку на компьютер.

Это вариант для тех, кто планирует использовать локальный ИИ регулярно, а не просто попробовать запуск моделей. Более производительная платформа оставляет возможности для апгрейда. Например, можно заменить видеокарту, предварительно проверив совместимость с остальной системой.

Две Tesla V100 по 32 ГБ каждая. Суммарно получается 64 ГБ видеопамяти.

Чтобы задействовать память обеих карт для одной модели, нужно использовать программное обеспечение с поддержкой распределения модели между GPU. И далеко не каждый сценарий от этого выиграет. При этом появляются дополнительные требования к материнской плате, питанию, охлаждению и настройке системы.

Зачем тогда две карты? Прежде всего для экспериментов с моделями, которым не хватает памяти одной V100, и для отдельных задач с распределёнными вычислениями.

В наших тестовых сценариях с Qwen 3.8 27B сборки на одной V100 показывали до 22 токенов в секунду, а конфигурация с двумя — до 32 токенов. Контекстное окно в этих тестах достигало 64 и 128 тысяч токенов соответственно.

Это результаты конкретных тестовых сценариев, а не гарантированная скорость для любых моделей. На итог влияют квантизация, настройки и движок запуска.

Здесь я разобрал основные отличия трёх вариантов. Конфигурации и состав комплектующих собрали на сайте Upgrade — можно более наглядно сравнить их между собой.

Вполне возможно, это тоже стоит рассматривать. У современных RTX есть преимущества: более новая архитектура, высокая производительность и лучшая совместимость с рядом современных AI-инструментов.

Tesla V100 мы выбрали не потому, что она лучше новых видеокарт во всём. Просто в определённых задачах 32 ГБ видеопамяти оказываются важнее, чем высокая производительность GPU при меньшем объёме памяти.

Поэтому универсального ответа здесь нет. Если конкретной модели достаточно 16–24 ГБ VRAM, современная RTX может оказаться более разумным выбором. А если задача упирается именно в объём памяти, есть смысл посмотреть на серверное железо.

После нескольких сборок для себя мы выделили несколько принципов.

Я бы вообще не начинал с вопроса «какую сборку купить?».

Сначала нужно понять, какую модель вы собираетесь запускать, какой объём контекста нужен, сколько человек будет работать с системой.

После этого уже можно выбирать железо. Иногда достаточно базовой системы за 130 тысяч. Иногда есть смысл вложиться в более производительную платформу. А кому-то вообще не нужен отдельный компьютер — проще использовать готовый сервис или арендовать GPU. Поэтому универсальной сборки для ИИ, на мой взгляд, не существует. Всё зависит от задач, и именно с них стоит начинать выбор.

В следующей статье подробнее поговорим о сценариях использования локального ИИ: кому собственная станция может быть полезна, а когда покупка просто не окупится.

Делитесь своим опытом работы с ИИ в комментариях. Пробовали запускать нейросети локально или хотя бы рассматривали такой вариант? Интересно, кто к чему пришёл.