На носу первомай, а длинные выходные – это не только путешествия, шашлыки и веселые фотографии, но и самое время проглотить все сезоны «Игры престолов» или все части «Звездных войн». Как контент-провайдеры и игровые сервисы переживают пиковые нагрузки и справляются с онлайн-марафонами – в моей сегодняшней статье. Разбираться будем на примере онлайн-кинотеатра Okko и дата-центров Linxdatacenter.
Праздничные будни
Календарные пики спроса являются хорошим стресс-тестом для целого ряда направлений бизнеса и государственных служб. К транспортным компаниям и телеком-операторам, сфере развлечений, общепиту и ретейлу в последнее время добавились дата-центры, на надежной работе которых завязаны множество современных сервисов, частично или полностью реализуемых в онлайне.
Особенно это важно для онлайн-кинотеатров, игровых порталов, видео-хостингов и стриминговых музыкальных библиотек. В предпраздничный период такую же повышенную нагрузку испытывает ретейл и логистические компании: люди заказывают подарки в Интернет-магазинах, оплачивают их доставку, покупают билеты для поездок.
Как только ИТ-нагрузки в такие пиковые дни стали ощущаться как критические, а сбои с учетом высокой конкурентной борьбы начали восприниматься как недопустимые, бизнес всерьез обратил внимание на сценарии использования вычислительных и сетевых ресурсов третьей стороны, привлекаемых специально под период высокой нагрузки.
К этому добавились явные выгоды микса собственных и докупаемых по мере необходимости мощностей, в результате чего была разработана концепция управления балансом нагрузок за счет их распределения между on-premise компонентами, виртуальными вычислительными узлами и СХД, в облаках – частных и публичных.
Как это происходит
Одним из главных факторов привлечения дата-центров для бесперебойного доступа к ресурсам контент-провайдеров в праздники стала практически бесконечная возможность «наращивать обороты»: для крупного ЦОДа рост объемов потребления контента не вызывает существенного повышения нагрузки на инженерные системы.
Объем потребляемого электропитания хоть и возрастает, но, к примеру, зимой не превышает стандартных показателей при любых скачках потребления. Это обеспечивается переводом системы охлаждения в это время года на free cooling (использование естественного холода): где-то прибыло (возросла нагрузка на сеть и серверы), но где-то и убыло (система охлаждения оборудования обходится дешевле).
Обязательно нужно учитывать рост нагрузки на сетевые ресурсы: в праздники он может увеличиваться в 3-4 раза. Так, это происходит в предновогодний период и в сами каникулы, когда перед 31 декабря активно растет трафик онлайн-ретейла и логистических компаний, а почти сразу с наступлением 1 января эстафету подхватывают контент-провайдеры всех профилей.
В суточном распределении пики потребления приходятся на вечерние часы для видео-контента (онлайн-кинотеатры, YouTube, онлайн-ТВ), тогда как трафик геймеров стабильно высок в любое время дня и ночи.
Само собой, все компании, которые размещают свои ИТ-системы в ЦОДах, под любой праздничный пик стараются нарастить вычислительные мощности в облаках. Отталкиваясь от прогноза по загрузке, можно без особых проблем заказать нужное количество виртуальных машин, расширить пропускную способность каналов, нарастить СХД и т.д.
Сегодня можно отметить значительный рост профессионализма ИТ-команд контент-провайдеров, и e-commerce игроков. В подавляющем большинстве случаев их прогноз по срокам и интенсивности скачка потребления ресурсов является верным, и ситуация отрабатывается за счет адекватного заказа ресурсов дата-центра.
Три кита
Что лежит в основе обеспечения постоянной доступности кино-новинок, каталогов интернет-магазинов и игрового контента в онлайне?
Прежде всего, это балансировщики рабочих нагрузок на ИТ-системы ЦОДа. Продвинутые программные инструменты мониторят уровень загрузки серверов, СХД и сетевых компонентов, оптимизируя их работу под поставленную задачу. Таким образом поддерживается определенный уровень запаса ресурсов, которые могут оперативно перебрасываться на решение срочных задач (резкий скачок обращений к порталу с видео-контентом, рост заказов определенного товара и тому подобное).
Также, сегодня широко применяются решения класса CDN (Content Delivery Network, сеть доставки контента). Они позволяют получать контент на конечных устройствах без задержек на буферизацию путем доступа к нему из ближайшей к пользователю географической точки. CDN сокращает общую протяженность сетевого маршрута передачи контента - если вы логинитесь на сайт онлайн-кинотеатра из Хабаровска, то и кино вам на устройство будет загружаться с сервера рядом, а не через Стокгольм. CDN также нивелирует пагубное воздействие на процесс передачи трафика, связанное с перегрузкой каналов, разрывами связи, потерями пакетов на стыках каналов и т.д.
Наконец, третий важный фактор – зрелость отрасли: практически все контент-провайдеры сегодня понимают, какую важную роль играет качественная технологическая база их бизнес-модели. Компании все чаще прибегают к современным AntiDDoS-решениям для защиты от злонамеренных действий конкурентов или от «человеческого фактора» при эксплуатации своих ИТ-ресурсов.
Кейс: говорит и показывает Okko
Рассмотрим пример подготовки к праздникам онлайн-кинотеатра Оkko, использующего площадки ЦОДа Linxdatacenter в Москве и Санкт-Петербурге.
В компании, помимо календарных праздников (высокого сезона), есть периоды, когда выходят основные кино-новинки от мейджоров. Каждый год в праздничный сезон Okko растет по объему трафика приблизительно в два раза по отношению к предыдущему году. Так, если в прошлый новогодний сезон максимальной пиковой нагрузкой были 80 Гбит/с, то в сезон 2018/19 компания ожидала 160 – традиционный рост вдвое. Однако, получила более 200 Гбит/с!
Поэтому в рамках подготовки к новому 2019 году Okko пошли следующим путём: доработали свое ПО, чтобы уметь распределять нагрузку не только на себя, но и на внешние CDN (сеть доставки контента – Content Delivery Network). Было подключено два таких CDN, в которые «сливались» избытки трафика. Внутренняя пропускная способность ИТ-инфраструктуры Okko готова была выдержать тот самый двойной рост, но на случай, если произойдет перебор ресурсов, были подготовлены партнерские CDN. В итоге такая модель полностью оправдала себя в праздничный новогодний период и продолжает оправдывать себя сейчас.
В Okko раздающий кластер (внутренний CDN) компании реализован на двух площадках Linxdatacenter в Москве и в Санкт-Петербурге. Обеспечено полное зеркалирование контента.: московский дата-центр обрабатывает Москву и несколько областей России, а петербургский – Северо-Запад и оставшуюся часть территории страны. Балансировка происходит не только по региональному признаку, но и в зависимости от загруженности нод в конкретном дата-центре, также учитывается наличие фильма в кэше и ряд других факторов.
Успеть за рынком – догнать технологии
Провайдеры также используют более производительные системы, задействуют разнообразные модели PAYG, от аренды оборудования до различных временных периодов оплаты (почасовые, понедельные, посуточная модели и т.д.). Растет использование резервных ЦОДов – все компании хостят контент и приложения, помимо основной площадки, где-то еще. Сегодня можно быть уверенным - даже гипотетический выход из строя целого ЦОДа для многих компаний не будет означать прекращения их операций.
В свете сказанного возникает логичный вопрос – возможно ли, чисто с технологической точки зрения, создание полностью бесперебойного онлайн-пространства, которое не только никогда не «падает», но и не «тормозит», как только к сервисам подключается количество пользователей сверх запланированного?
Ответить на него придется уже в ближайшее время: спрос на легальный видеоконтент в России стремительно растёт. Так, по данным J’Son & Partners, общая выручка легальных провайдеров видеоконтента за 2018 год составила 24,86 млрд рублей – это втрое больше, чем было зафиксировано в 2015 году. По прогнозам к 2022 году оборот видеосервисов может вырасти еще в два раза – до 58,72 млрд рублей.
Сегодня рынок действительно близок к полностью бесперебойному предоставлению доступа к контенту в онлайне, поскольку все необходимые для этого технологии уже доступны. Провайдерам остается только научиться грамотно их комбинировать в собственной ИТ-архитектуре и привлекать для этого компетентных исполнителей.