Развернуть ИИ-модель за один день, не имея штата ML-инженеров

Какие сервисы позволяют запускать проекты в пару кликов и почему это идеальный сценарий для проверки гипотез.

Материал подготовлен экспертами Cloud.ru — российского провайдера облачных сервисов и AI-технологий для бизнеса.

Содержание

Ключевая операция в моделях искусственного интеллекта — перемножение матриц, что требует высокой пропускной способности видеопамяти. Чем быстрее осуществляется процесс, тем скорее проходит обучение и инференс модели. Скорость зависит от того, какой процессор вы выберете:

Аренда облачных виртуальных машин или выделенных серверов c GPU для многих компаний — доступный способ получить вычислительные ресурсы. Маленькие AI-модели до 1 млрд параметров, например BERT или Qwen3-0.6B, можно запустить локально на CPU, а средние Qwen3-8B или Gemma-3-4B до 8 млрд параметров — на потребительских GPU. Для больших моделей, таких как Qwen3-235B-A22B или GLM-4.6, нужны очень мощные и дорогостоящие графические процессоры. Например, сервер с восемью видеокартами NVIDIA H100 для таких моделей стоит 77 млн рублей.

Проще и дешевле получить GPU в облаке. Кроме инфраструктуры, в облаке есть готовые сервисы для работы с искусственным интеллектом: AI-модели с открытым кодом, настроенные окружения, готовые AI-агенты или агентские системы, RAG. Удобство в том, что облачный провайдер уже всё преднастроил, пользователю нужно только взять готовый сервис, и можно сразу начать с ним работать.

Рассказываем о том, как облачные технологии ускоряют внедрение AI- и ML-моделей в продукты и решения бизнеса.

Пользователем облака может быть кто угодно: от R&D-команд, обучающих ML-модели, до корпораций, которые внедряют искусственный интеллект в бизнес-процессы и решения. Одним нужны готовые платформенные сервисы для быстрого создания прототипов, другим — инфраструктура для продакшена.

Интерес R&D-команд к облаку находится на уровне инфраструктуры, то есть серверов с максимально гибкой настройкой под их задачи. Им надо обучить модель не за год, а за неделю, поэтому они идут в облако за GPU, которые там есть в достаточном количестве и разнообразии и которые они могут подключить в любой момент.

Выбор компании зависит от её уровня зрелости. Команды с глубокой экспертизой в AI тоже выбирают в первую очередь инфраструктуру, чтобы самостоятельно разворачивать на ней свои решения. Другим, не сильно погружённым в AI-разработку, проще работать с готовыми платформенными сервисами.

Что появилось раньше: готовые сервисы провайдеров для работы с AI или спрос на них — риторический вопрос. Возможно, это пришло с развитием таких моделей, как ChatGPT, к которым провайдеры начали предоставлять доступ по API. Рынку это понравилось, поэтому многие приходят в облако именно за готовыми сервисами.

Для развёртывания, обучения и инференса моделей нужны GPU. Графические процессоры, ускорители, видеокарты — это всё они, только разными словами.

Чем GPU для AI отличаются от игровых видеокарт:

AI-модели становятся сложнее: за 7 лет число параметров моделей выросло с 177 млн до 1,8 трлн, поэтому они требуют большего числа более мощных GPU (источник: Springer Nature)

Любой графический процессор для AI довольно быстро устаревает и теряет актуальность для сегодняшних задач. Он будет работать 5—7 лет, но со временем перестанет поддерживать новые форматы вычислений, а значит, не все модели на нём получится запустить.

GPU NVIDIA V100, например, раньше был флагманским ускорителем, на котором обучали топовые модели. И сегодня он ещё рабочий вариант, но уже без поддержки нужных форматов данных (FP8, BF16) и драйверов, а его 32 ГБ памяти не хватит для современных больших моделей.

Заранее рассчитать расход памяти графического процессора может быть сложно. Поэтому компании сталкиваются с ситуациями, когда модель не помещается или ресурс мощного GPU используется наполовину, если память выбрали с запасом.

В облаке достаточно большой выбор ускорителей и можно провести тест: запустить модель на потенциально интересном GPU, посчитать реальный расход и замерить производительность. А дальше уже перенести модель на графический процессор с достаточной мощностью, которая будет утилизироваться полностью.

Купить GPU для локальной инфраструктуры — значит разово полностью оплатить его владение. Тогда как при аренде графического процессора в облаке оплата начисляется за время его использования: месяцы, часы, минуты. И если раньше оплата взималась за весь период аренды GPU, то сейчас можно использовать ресурсы в serverless-режиме: когда модель простаивает, то уходит в сон, и оплата не начисляется. Когда поступают новые запросы, она автоматически запускается и начинается тарификация.

В облаке доступна оплата по токенам — вариант с полным отказом от GPU. В таком тарифе пользователь платит за количество токенов, отправляемых и генерируемых моделью, а не за саму видеокарту.

Инфраструктура для машинного обучения, обработки больших данных и работы с искусственным интеллектом есть у всех крупных облачных провайдеров. Условно её можно разделить на четыре группы:

Раньше было больше внимания именно к инфраструктуре и ML-платформам, потому что компании чаще разрабатывали и обучали свои модели. Сейчас ситуация меняется: в open source можно найти качественные фундаментальные модели «из коробки». Многие стали использовать такие готовые модели, которые не надо обучать и которые предоставляют высокое качество работы на базовых задачах. Поэтому сегодня больше внимания идёт к платформенным сервисам.

LLM as a Service — это модель предоставления больших языковых моделей как онлайн-сервисов. Пользователь получает доступ к LLM в облаке по шаблону или API и оплачивает её по токенам.

Пользователь может развернуть языковую модель на виртуальной машине, но тогда придётся самому настраивать ВМ и сетевые правила, устанавливать образ, скачивать модель. А с сервисом по модели LLM as a Service он может развернуть модель за несколько кликов, не тратить время на настройку и платить не за инфраструктуру, а за объём использования модели.

LLM as a Service снижает время на разработку, даёт возможность быстро запустить модель и не закладывать бюджет на дорогостоящие вычислительные ресурсы — выгодный вариант для пилотных проектов и MVP (от англ. minimum viable product — «минимально жизнеспособный продукт»).

Inference as a Service — это преднастроенная выделенная инфраструктура, на которой модель для инференса запускается в готовом окружении. Пользователю не обязательно иметь глубокую экспертизу в AI: достаточно ввести ссылку на модель и её параметры, а установку драйверов, библиотек и пакетов сделает провайдер.

Допустим, компания запускает новый продукт с AI и ей нужно задеплоить модель в облаке. Сколько людей в моменте будут пользоваться продуктом, заранее достоверно неизвестно. Но есть понимание, что модель будет работать только днём. Если продукт не выстрелит, то через несколько месяцев модель будет не нужна.

С облачным сервисом по модели Inference as a Service компания получит:

Некоторые облачные провайдеры не только предлагают сервисы для разработки AI-ассистентов, но и сами делают таких помощников, чтобы поддержать своих пользователей и снизить порог входа в облако. У зарубежных провайдеров такие есть уже давно, они многое умеют делать. В России на сегодняшний день AI-помощника может предложить только пара провайдеров.

Базовая цель AI-помощника — упростить начинающим пользователям работу в облаке: быстро ответить на вопрос, проанализировать ситуацию с ресурсами, управлять инфраструктурой. Например, пользователь затрудняется с выбором конфигурации виртуальной машины. Помощник подберёт несколько вариантов под задачу, покажет стоимость, предложит оптимальный вариант и запустит ВМ в работу.

В отличие от чат-бота, который работает по заранее написанным сценариям, умный помощник понимает контекст и сам собирает ответы на вопросы, а не берёт готовые из базы.

Защита конфиденциальных данных, которые использует модель, — это ответственность на двоих. Провайдер отвечает за физическую инфраструктуру, каналы связи, интернет-соединения, доступы. Важно, чтобы облако отвечало требованиям 152-ФЗ «О персональных данных» и приказа №21 ФСТЭК России. Пользователь же обязан самостоятельно следить за настройкой ролевой модели и AI-сервисов, шифрованием и обезличиванием обрабатываемых данных, управлением API-ключа и токенов.

Выбирая облачного провайдера, важно убедиться в том, что он не логирует запросы к модели без ведома пользователя, не хранит пользовательскую информацию и не использует её для обучения моделей.

Основные рекомендации по настройке безопасности при работе с AI-сервисами в облаке

Гайд по настройке безопасности облачных сервисов в среде Evolution AI Factory

Компании из разных сфер уже используют AI в рекламе и работе с клиентами. Одни встраивают готовые AI-сервисы, другие разворачивают в облаке модели и затем внедряют их в свои продукты.

В первую очередь клиенты сравнивают цены облачных провайдеров, разнообразие сервисов, удобство консоли управления.

На что ещё обратить внимание, если облако нужно для работы с AI:

Облако — выигрышный вариант, если надо сократить капитальные затраты на инфраструктуру, быстро получить ресурсы и не зависеть от экспертизы своей команды в AI. Но у него есть ограничения: здесь сложно запустить самописные сервисы, а из-за удалённости дата-центров оно может не подойти для edge-вычислений, когда модель должна отвечать максимально быстро.

Во всех остальных случаях любая команда найдёт в облаке всё необходимое для работы с AI:

А ваша компания использует облака для работы с AI? Делитесь в комментариях, какие сервисы эффективны для ваших задач.