Как построить новую облачную платформу на обратной связи от клиентов?

Рассказывают те, кто уже справился с этой задачей.

Привет, это Cloud.ru, провайдер облачных и AI-технологий. В марте мы анонсировали публичный запуск новой облачной платформы Cloud.ru Evolution. Эта платформа — полностью наша разработка, построенная на открытом коде и наших собственных инновациях. Мы взяли за основу open source-решения в части виртуализации, но сразу понимали, что будем менять некоторые компоненты на свои собственные разработки, а остальные — оптимизировать, чтобы они удовлетворяли нашим требованиям по нагрузке и масштабированию.

Cloud.ru Evolution — облачная платформа, которую мы делаем с учетом задач клиентов и ожиданий рынка. Дальше — честные монологи тех, кто принимает непосредственное участие в создании платформы.

В 2019 году, когда компания Cloud.ru была стартапом с несколькими десятками сотрудников, рынок уже был занят глобальными российскими и иностранными провайдерами. У нас была амбиция занять свое место в топе. Чтобы сделать это быстро, мы стартовали с вендорской облачной платформой. Тогда же запустили наш первый суперкомпьютер Christofari и Cloud.ru ML Space, платформу для обучения AI-моделей. Это было тяжело, но мы это сделали.

В 2020 клиентская база выросла, но многое еще не было автоматизировано. Мы столкнулись с тем, что наш бэк-офис начал задыхаться. Нам пришлось выбирать: растить штат линейно или подходить к вопросу технологически. Тогда мы начали делать нашу платформу OSS/BSS (Operation Support System/Business Support System — система поддержки операций или система поддержки бизнеса), которая в дальнейшем будет лежать в основе Cloud.ru Evolution.

Еще через год стало понятно, что нам нужны продвинутые облачные сервисы. Лучше, если они будут уровня Amazon Web Services. Но всё, что мы тогда могли, это начать делать PaaS-ы на вендорских платформах.

Проблема оказалась в том, что наши PaaS-ы не соответствовали ожиданиям клиентов из-за ограничений на фундаментальном уровне. Мы строили их поверх black box, не контролировали большинство нижележащих слоев, а вендор не был готов делиться внутренними API. Поэтому мы не могли построить пользовательский путь так, как этого хотели мы и наши клиенты. А чтобы стать лидером в бизнесе и технологиях, мы должны контролировать всё от инфраструктуры до верхних слоев облачных решений.

Два года мы собирали команду и разрабатывали компоненты, которых у нас не было, например, SDS (Software-Defined Storage), SDN (Software-Defined Network) и другие. И в конце 2023 года мы запустили в превью свою облачную платформу Cloud.ru Evolution. А в марте 2024 анонсировали ее официальный публичный запуск.

Мы исследовали рынок, изучали мировые тренды гиперскейлеров, например, Microsoft Azure. Затем инвестировали ресурсы в сложный производственный процесс создания дистрибутируемого решения. Еще в начале этого пути мы понимали, что Cloud.ru Evolution будет публичным облаком и гибридным решением одновременно. Так мы сможем ответить любым запросам клиентов, например, работать в контуре заказчика, иметь возможность масштабировать частное облако в публичное.

Cloud.ru Evolution подойдет любому заказчику. Мы проектировали ее, опираясь на опыт взаимодействия с разными сегментами клиентов. Пользователи регулярно дают нам обратную связь и мы берем ее во внимание, чтобы делать пользовательский путь простым и удобным для всех. Знание разных клиентов помогает нам выделять наиболее популярные сценарии использования облака для решения клиентских задач. Таким образом, госкорпорации, бизнес любого размера, фрилансеры с любым уровнем погружения в облака найдут у нас то, что им нужно.

Судя по тенденциям, в России есть большой запрос на гибридные сценарии использования облака, государство демократизирует облачные технологии в разных сферах, включая государственные учреждения и банки. К тому же развитие PaaS- и SaaS-сервисов стимулирует компании потреблять больше облачных сервисов — это общемировой тренд, который пока не меняется. С учетом этих наблюдений мы и развиваем нашу платформу.

Вместе с командой планируем периодические встречи с потенциальными и текущими клиентами на конференциях и собственных мероприятиях, а также будем рассказывать в статьях, как развивается наша платформа.

У платформы Cloud.ru Evolution три уровня сервисов: инфраструктурные, платформенные и сервисы для работы с данными и искусственным интеллектом. Мы могли запускать сервисы снизу вверх, исходя из технологических зависимостей: сначала собрать инфраструктурный слой, потом перейти к платформенным сервисам и в конце — к сервисам по работе с данными и AI. Но решили, что будет правильно выводить сервисы в зависимости от того, насколько первостепенно они нужны клиентам для решения их задач. Поэтому мы отталкиваемся от сценариев использования и выпускаем сервисы одновременно на всех уровнях. Еще, чтобы дать возможность клиентам протестировать сервисы как можно раньше и дать нам обратную связь, мы даем доступ к сервисам в рамках закрытого и открытого превью до общей доступности продукта.

Мы делаем сложную систему сервисов, создаем инновации, ценим человеческий ресурс и время. Еще мы понимаем, что разработчики и пользователи не должны отвлекаться на какие-либо препятствия в процессе работы с сервисом. Поэтому, когда принимаем решение о запуске или доработке сервиса, сначала задаем себе вопрос: то, что мы делаем, повысит эффективность или нет?

Чтобы инженерам и разработчикам было комфортно попробовать возможности платформы Cloud.ru Evolution, мы запустили сервисы с free tier и открыли бесплатный доступ в рамках превью. Сделали это, чтобы пользователи облака смогли быстро протестировать свои идеи и сократить потери на пути эффективного создания инноваций.

Мы выпускаем сервис в полноценный релиз только когда он пройдет три этапа: закрытое превью (private preview), открытое превью (public preview) и общая доступность (general availability). При этом разработку с учетом планов и полученной обратной связи продолжаем на каждом этапе. Такой подход дает нам возможность получить фидбэк и доработать сервис раньше, чем он выйдет на рынок в полноценном виде.

На этапе закрытого превью мы фактически ведем клиентов за руку, собираем обратную связь, смотрим на реакции, валидируем сценарии использования. Функционал в закрытом превью ограничен, но его все равно достаточно, чтобы оценить возможности сервиса.

В открытом превью доступ к сервису есть у всех, но функционал будет такой же, как в закрытом превью, или чуть шире. В личном кабинете сервисы в открытом превью помечены плашками. Чтобы получить к ним доступ, надо написать технической поддержке.

За сервисы в режиме превью платить не надо. Но при этом пользователь видит, сколько сервис будет стоить с учетом тестового потребления. Поэтому метрики потребления оцифрованы, в контроле затрат все отображается прозрачно и понятно.

Когда сервис вышел в общую доступность, это значит, что все готово и использование сервиса платное. На этом этапе доступны все функции и сервис полностью работает как следует, техническая поддержка знает ответы на все вопросы, SLA на максимальном уровне. Дальше уже пойдет доработка сервиса на уровне фичей.

Подход с этапами превью не новый, многие компании, в том числе облачные провайдеры, так запускают сервисы и услуги. Мы выбрали его, потому что видим в нем большую ценность для нас и наших клиентов: мы быстрее выпускаем сервис на рынок и выпускаем его в более зрелом виде.

Сейчас на платформе доступны инфраструктурные и сетевые сервисы, контейнеры, сервисы для хранения и резервного копирования, а также управления и администрирования. Всего 21 сервис: 13 в общей доступности, 6 в закрытом и 2 в открытом превью. Планируем, что к концу года на платформе будут доступны более 30 сервисов.

Evolution Compute — сервис для создания и управления виртуальными машинами с разными наборами вычислительных ресурсов и операционных систем. Процесс создания виртуальной машины выглядит как обычно: можно указать название и описание машины, выбрать из списка операционную систему, зону доступности, SSH-ключ и режим переподписки. Сейчас доступны три режима переподписки: 1:10, 1:3 и 1:1.

У виртуальной машины обязательно должен быть один загрузочный диск. Здесь отмечу, что в качестве хранилища мы используем SDS (Software-Defined Storage), который наши разработчики сделали сами полностью с нуля.

Evolution Managed Kubernetes. При создании кластера поддерживаются несколько мастер-узлов и разные спецификации мастера. Еще можно выбрать одну из версий Kubernetes и создавать разные группы узлов с возможностью автомасштабирования числа узлов в группе. Также можно назначить кластеру белый IP-адрес для упрощения работы с ним снаружи.

Сервис предлагает целую библиотеку плагинов (или аддонов). Можно выбрать такие плагины, как Cilium, Calico, Istio, Ingress Nginx и др. Установка плагинов Node Exporter и Kube State Metrics позволит активировать сбор и визуализацию метрик работы кластера, узлов и приложений.

Evolution Object Storage. Блочные диски и объектное хранилище мы построили на базе SDS, которое мы сделали сами с нуля. Объектное хранилище поддерживает три класса хранения: стандартное, холодное и ледяное. Пользователь сам устанавливает верхний размер бакета, чтобы не выйти за допустимый предел.

Мы также работаем над созданием собственной платформы для работы с большими данными. Сегодня в ней три компонента: Managed Trino, Managed Metastore и Managed Arenadata DB, все они доступны в режиме закрытого превью.

Trino — мощный движок с открытым исходным кодом, который позволяет выполнять SQL-запросы к различным источникам в единой нотации. Metastore описывает внешние источники, например, определяет мета-таблицы, описывающие данные в объектном хранилище, что позволит через сервис Trino делать SQL-запросы к файлам, хранящимся в объектном хранилище. Arenadata DB — популярная аналитическая MPP-база данных, позволяющая построить и эффективно обрабатывать корпоративные хранилища данных петабайтного объема. В конце второго квартала 2024 мы также ожидаем Managed Spark.

Evolution Public IP. Аренда адреса начинается с момента его заказа и не заканчивается до тех пор, пока пользователь не нажмет кнопку «отказаться от аренды адреса».

Evolution Tags и Evolution Task History — вспомогательные сервисы, которые упрощают работу с облаком. Тегами маркируют объекты для удобного поиска, а в историю задач стекается вся информация о том, кто, когда и какие действия проводит над облачной инфраструктурой.

Evolution Security Groups — основной сервис информационной безопасности, который позволяет регулировать трафик к виртуальным ресурсам и от них. Пользователь управляет тем, какие порты и протоколы разрешать в группе безопасности, чтобы виртуальная машина или приложение, работающее на ней, могли быть доступны снаружи. Сервис дает достаточную гибкость, чтобы разрешить доступ с определенных подсетей или одного конкретного IP-адреса.

Evolution SNAT gateway позволяет управлять выходом в интернет для всех подсетей.

Evolution Cloud DNS — сервис для управления публичными DNS-зонами. Позже в этом году появится поддержка частных зон, и этот сервис существенно увеличит свои возможности.

Evolution Image можно использовать при создании виртуальных машин. Сейчас это все основные Linux, но список будет увеличиваться по мере добавления каких-то специфических версий. Некоторые востребованные операционные системы будут доступны в нашем маркетплейсе.

Evolution SSH-key — сервис, в котором можно прописать публичную часть ключа для создания виртуальной машины. На сегодняшний день предполагается, что пользователь создает ключ снаружи и импортирует готовый ключ в облако. Cloud.ru Evolution пока не умеет полностью создавать сам ключ, но эта возможность ожидается в будущем.

Evolution Artifact Registry — хранилище артефактов, например образов контейнеров, helm-чартов и др.

Evolution Сontainer Apps позволяет в пару кликов запускать приложения из контейнеров, хранящихся в Evolution Artifact Registry, доступных снаружи и поддерживающих автоматическое масштабирование, в том числе в ноль. Также есть возможность мониторинга приложений и многое другое.

Управляемые базы данных Evolution Managed Service for PostgreSQL и Evolution Managed DocumentDB доступны сейчас в режиме закрытого превью. Managed DocumentDB — это документоориентированная база данных, полностью совместимая со всеми любимой и уважаемой MongoDB. Также мы ждем в этом году Managed MySQL, Managed Redis и Managed OpenSearch. Кроме этого, скоро ожидаем Managed Kafka и Managed RabbitMQ — управляемые брокеры сообщений.

Документация платформы Cloud.ru Evolution

Вебинар про возможности личного кабинета Cloud.ru

Вебинар с демонстрацией сервисов Cloud.ru Evolution