Павел Бородин
Директор Upgrade (up-sv.ru). Делюсь опытом, экспериментами с железом и ИИ. А также управляю разработкой сложных IT-продуктов.
Для небольших моделей действительно хватит скромного железа. Но у LLM на десятки миллиардов параметров требования уже другие. Мы тестировали Qwen 27B на 32 ГБ видеопамяти и получили до 22 токенов/с. На Pentium III такой результат вряд ли повторим :) К играм эта сборка отношения не имеет
Саш, спасибо, что так подробно поделился опытом! Как раз после твоей обратной связи и собственных тестов под нагрузкой стало понятно, что турбина для домашнего использования так себе решение. В итоге пришли к водяному охлаждению, хотя там тоже хватает своих нюансов. Во второй статье как раз расскажу подробнее.
А по задачам получилось даже интереснее, чем мы изначально рассчитывали. Особенно кейс с OCR на 22 тысячи схем. И согласен насчёт LLM, само железо и запуск модели ещё не делают ее удобным рабочим инструментом. Многое решает обвязка и интеграция в привычные процессы.
Ну и функция обогрева коридора, конечно, приятный бонус к сборке :)
Тоже интересный вариант. Мы выбрали V100 как эксперимент с серверным железом, но M1 Max для сравнения точно стоит рассмотреть.
Хотели проверить, можно ли за разумные деньги собрать рабочую систему, чтобы экспериментировать с моделями и не зависеть от внешних сервисов. Окупаемость пока не считали. Для редких запросов облако, скорее всего, выгоднее.
Модель и скорость как раз указаны в статье. На самолете по горным тропам нет смысла передвигаться)
Qwen 3.8 27B. На этой сборке получили до 22 токенов/с. Но это результат конкретного теста, а не постоянная скорость — зависит от настроек модели и длины контекста
Согласен, всё зависит от нагрузки. На одной V100 получили до 22 токенов/с на Qwen 3.8 27B. Параллельную работу нескольких пользователей на этой машине пока не тестировали. Эту сборку не рассчитывали на отдел, для этих целей другие варианты собираем
Да, цены на топовое AI-железо уже какие-то космические) Мы пока решаем задачи немного другого масштаба — как получить рабочий локальный ИИ без бюджета небольшой корпорации.
Если ChatGPT закрывает ваши задачи, я бы не советовал покупать отдельный компьютер просто ради локального ИИ.
Своя станция интереснее, когда нужно работать с внутренними документами, запускать модели в своем контуре. Это не только для разрабов.
Но за это приходится платить настройкой, обслуживанием и собственным железом.
Водянка как раз решает проблемы с шумом и нагревом. Турбина звучит сильно громче. На Рагах еще не запускал конфиг.
На фото кстати "видеокарта" на 64гб. 2 по 32Гб V100 на nvlink.