Как я разворачивал и дообучал семейство Qwen3.8 на immers.cloud с расчетом бюджета до копейки

Покупать собственную серверную стойку с видеокартами ради периодического обучения локальных нейросетей сейчас совершенно невыгодно. Одна вычислительная плата для центра обработки данных стоит как хороший автомобиль, требует трехфазного питания и промышленного отвода тепла, а простаивать без нагрузки она будет добрую половину месяца.

Когда этой осенью передо мной встала задача провести дообучение языковой модели на закрытой выборке из 45 тысяч отраслевых диалогов и внутренних технических регламентов, я сначала проверил качество ответов на флагманской Qwen3.8-Max. Ее архитектура со смесью экспертов на 2.4 триллиона общих параметров и 95 миллиардов активных на каждый токен щелкает сложные инструкции как орехи и держит окно контекста в миллион токенов.

Вот только отдавать закрытую документацию во внешний программный интерфейс служба безопасности нашего клиента запретила наотрез, а поднять саму Qwen3.8-Max целиком на своем железе невозможно из-за закрытых весов и гигантских требований к памяти. Решение нашлось быстро. Я использовал эталонную разметку по образцу Qwen3.8-Max и взял для локального дообучения открытую плотную модель из этого же свежего поколения - Qwen3.8-27B с окном контекста в 256 тысяч токенов, а под расчеты арендовал облачный сервер с GPU и посекундной тарификацией на российской площадке immers.cloud, где серверные платы погружены в ванны с охлаждающей жидкостью.

По сравнению с прошлыми выпусками открытая двадцатисемимиллиардная версия из линейки Qwen3.8 гораздо точнее держит сложную структуру документа, не путается в табличных выкладках и отлично поддается тонкой настройке через адаптеры низкого ранга.

Пересчитывать все веса такой махины целиком долго и накладно, поэтому я решил обучать только дополнительные матрицы весов с предварительным сжатием базовой модели до 4 бит, чтобы приблизить точность ее ответов в узкой предметной области к уровню старшей Qwen3.8-Max.

Личный кабинет на immers.cloud построен на базе открытой системы управления OpenStack. Никаких лишних рекламных надстроек тут нет, интерфейс предельно строгий и понятный. При создании виртуальной машины я выбрал готовый образ Ubuntu 24.04 с уже установленными драйверами NVIDIA и свежим набором библиотек для вычислений на видеокарте, чтобы не тратить полдня на ручную сборку окружения и борьбу с конфликтами версий ядра.

В меню создания облачного сервера доступны кнопки выбора семейств от бюджетных Tesla T4, A2, RTX 2080 Ti и RTX 3080 до тяжелых H100, H100 NVL и H200.

Для первичной проверки кода многие берут сборки на базе RTX 3090 с 24 гигабайтами памяти - например, начальная конфигурация rtx3090-1.8.16.40 на 8 ядер и 16 гигабайт оперативной памяти стоит 66.22 рубля в час, а более просторная rtx3090-1.8.32.160 с диском на 160 гигабайт обходится в 69.03 рубля в час. Но для модели Qwen3.8-27B двадцати четырех гигабайт видеопамяти впритык даже в сжатом виде, поэтому я сразу переключился на вкладку с новыми картами RTX 5090 32 ГБ.

Базовая сборка rtx5090-1.8.32.60 с одной картой, 8 ядрами процессора, 32768 мегабайтами памяти и 60 гигабайтами диска стартует от 93744 рублей в месяц или 130.20 рубля в час. Шестидесяти гигабайт для весов современной нейросети и рабочей выборки маловато, поэтому из выпадающего списка на 48 позиций я выбрал сбалансированную конфигурацию rtx5090-1.32.64.160 за 148.86 рубля в час - в нее входят одна карта RTX 5090, 32 ядра процессора, 65536 мегабайт оперативной памяти и диск на 160 гигабайт.

При создании сервера в панели нужно внимательно смотреть на настройки хранилища. По умолчанию система предлагает вариант с загрузкой с сетевого тома на базе обычных жестких дисков с трехкратной репликацией. Для хранения архивов это надежно, но при активной работе с тяжелыми слепками весов нейросети медленный сетевой том станет узким местом. В списке операционных систем я выбрал свежий готовый образ Ubuntu 26.04 CUDA (Sep 2026) весом 30.79 гигабайта, оставил динамический адрес в скоростной сети immers - 2x10Gb и сгенерировал новую ключевую пару для безопасного входа.

Собрал машину. Подключился через терминал. На все ушло меньше двух минут.

Тут, кстати, сразу проявилась главная особенность площадки - иммерсионное охлаждение серверов. В обычных воздушных стойках прожорливые карты уровня RTX 5090 при стопроцентной вычислительной нагрузке моментально упираются в температурный порог около 85 градусов и начинают принудительно сбрасывать рабочие частоты, из-за чего время прохода по учебной выборке непредсказуемо растет.

Я запустил скрипт разметки токенов, нагрузил вычислительные ядра под завязку и открыл системный монитор. При энергопотреблении под 550 ватт температура графического чипа в специальной диэлектрической жидкости замерла на отметке 56 градусов. Полная тишина по ошибкам перегрева. Частота ядра держалась на верхней планке все четыре часа, пока я вычищал битые строки в исходных файлах и проверял сходимость на первых ста шагах.

В первый же вечер я наступил на классические грабли архитектуры OpenStack, о которых в справочнике сервиса предупреждают, но читаешь эту строчку обычно уже после того, как баланс неожиданно малость похудел. Около полуночи я закончил проверку скриптов на своей сборке rtx5090-1.32.64.160, по привычке погасил операционную систему командой выключения из терминала и убедился, что статус машины в панели сменился на выключенный. После чего спокойно закрыл ноутбук до утра.

Утром проверил баланс. За девять часов сна со счета списалось ровно 1339.74 рубля.

Понятное дело, в первые секунды кажется, что тарификатор сломался или считает воздух. Однако устройство облака с пробросом физических плат работает немного иначе. Когда вы просто гасите операционную систему или нажимаете обычную кнопку остановки, видеокарта на материнской плате в центре обработки данных остается закрепленной за вашей виртуальной машиной. Никто другой занять ее не может, поэтому посекундный счетчик продолжает исправно списывать полные 148.86 рубля каждый час.

Чтобы остановить списания за вычислительное железо, но сохранить все настроенное окружение и загруженные гигабайты текстов, в меню управления нужно выбирать функцию заморозки и отправки в архив. При нажатии на нее система делает снимок текущего состояния машины, сохраняет его на хранилище и полностью освобождает видеокарту вместе с тридцатью двумя ядрами процессора.

В таком замороженном состоянии аренда видеокарт для обучения нейросетей встает на паузу, а вы платите копейки только за хранение дискового тома. Когда нужно продолжить работу, достаточно нажать кнопку распаковки из архива, подождать пару минут, пока система выделит свободную плату, и вернуться в терминал ровно на том же месте.

Обучать Qwen3.8-27B на одной карте RTX 5090 можно, пока длина подаваемого в модель текста не превышает 4-8 тысяч токенов, а размер пакета данных за один шаг равен единице. Но в моей выборке были длинные технические заключения и цепочки рассуждений, где требовалось задействовать хотя бы 32-64 тысячи токенов из доступных в этой архитектуре 256 тысяч. Как только я поднял лимит длины последовательности в настройках обучения, тридцати двух гигабайт видеопамяти тут же перестало хватать, и скрипт вывалился с ошибкой нехватки памяти на этапе обратного распространения ошибки.

Пришлось переезжать на многокарточную сборку. В таблице конфигураций immers.cloud очень удобно масштабироваться прямо внутри выбранного поколения ускорителей, причем при помесячной оплате сервис дает скидку в 25 процентов от базового часового тарифа

Брать восемь карт под одну модель на 27 миллиардов параметров было явно избыточно, а вот четырехкарточная сборка rtx5090-4.44.256.240 со 128 гигабайтами суммарной видеопамяти и 256 гигабайтами оперативной памяти подошла идеально. За счет того, что мой сервер создавался как привязанный к дисковому тому, мне не пришлось заново качать базовые веса нейросети и переустанавливать библиотеки. Я просто подключил рабочий том к новой четырехкарточной машине. Вся перестановка заняла меньше десяти минут.

Разница в скорости почувствовалась мгновенно. Распределив веса и градиенты по четырем картам RTX 5090, я спокойно выставил окно контекста в 64 тысячи токенов, увеличил размер пакета данных в восемь раз и запустил расчет в три эпохи. График функции потерь перестал дергаться, как это было на единичном размере пакета, и плавно пошел вниз. Все четыре карты в жидкостном охлаждении держали температуру в районе 54-58 градусов под полной нагрузкой. Благодаря огромной вычислительной мощности новой архитектуры Блэквелл весь прогон из трех эпох по 45 тысячам диалогов завершился ровно за шесть часов без единого сетевого разрыва.

Когда обучение завершилось и я склеил обученные адаптеры с базовыми весами Qwen3.8-27B в единый файл модели, пришло время свести бухгалтерию до копейки.

Суммарно на всю работу у меня ушло три дня, но благодаря посекундной оплате и использованию заморозки сервера между подходами итоговый чек оказался вполне скромным. Четыре часа первичной настройки и отладки на сборке rtx5090-1.32.64.160 по 148.86 рубля в час стоили 595.44 рубля, а мой ночной промах с неправильным выключением на девять часов добавил к счету еще 1339.74 рубля. Шесть часов основного боевого обучения на четырехкарточной машине rtx5090-4.44.256.240 по тарифу 549.26 рубля в час обошлись в 3295.56 рубля.

Для финальной двухчасовой проверки готовой модели на тестовых вопросах я переключил том на простую однокарточную сборку rtx3090-1.8.32.160 по 69.03 рубля в час, потратив еще 138.06 рубля плюс около 35 рублей за хранение замороженного тома между сессиями. Вся стоимость обучения нейросети в облаке от пустого образа Ubuntu 26.04 CUDA до готовых весов составила 5403.80 рубля.

На проверочной выборке из двухсот сложных отраслевых вопросов дообученная локальная модель выдала 91 процент точных ответов строго по внутренним регламентам против 38 процентов у базовой нетронутой версии и вплотную подобралась к результатам тяжелой Qwen3.8-Max, но при этом целиком работает внутри закрытого контура компании.

Если вы планируете разворачивать или дообучать современные языковые модели на мощностях immers.cloud, сервис закрывает вопрос с перегревом горячих видеокарт и дает честную посекундную оплату готовых сборок без скрытых ограничений по трафику, но требует от инженера внимательности при выборе типа дискового тома и дисциплины при работе с состояниями виртуальных машин.

Сама по себе аренда даже многокарточных серверов на базе RTX 5090 не разорит ваш бюджет, если вы разделяете этапы работы по разным весовым категориям - собираете окружение и проверяете выборку данных на младших однокарточных конфигурациях за 69-148 рублей в час, переходите на мощные четырехкарточные узлы за 549 рублей в час только перед стартом основного расчета и не забываете отправлять сервер в режим архивной заморозки вместо обычного выключения.

При таком подходе российские облачные мощности позволяют за пять с половиной тысяч рублей и одни выходные получить собственную специализированную модель с точностью на уровне флагманской Qwen3.8-Max, не закупая оборудование за миллионы рублей.