Как используют объектное хранилище, чтобы обыграть конкурентов

Объектные хранилища — облачный сервис для дешёвого хранения и массовой раздачи информации в больших объёмах. Они нужны в первую очередь разработчикам и легко встраиваются в любое приложение, будь то мобильная игра, видеохостинг или корпоративная система документооборота.

Как используют объектное хранилище, чтобы обыграть конкурентов

Мы расскажем о том, как клиенты платформы Mail.ru Cloud Solutions (MCS) реально используют объектные хранилища и ставят эту технологию в основу своего конкурентного преимущества. Здесь собраны кейсы Mail.ru Group, а именно ICQ (мессенджер), «Смотри Mail.ru» (персонализированная видеоплатформа), а также других компаний: «Битрикс24» (SaaS для управления бизнесом), Max Group (услуги торгового маркетинга), «Биорг» (умная оцифровка изображений) и Prequel (приложение для смартфона).

Почему разработчики так любят объектные хранилища

В объектные хранилища можно поместить любые данные: аудио- и видеофайлы, документы, бэкапы, фрагменты кода. Хранилище решает две главные задачи: надёжное хранение любого объёма данных и быструю их раздачу любому количеству пользователей. Представьте видеохостинг, который должен «без тормозов» раздавать видео на десятки тысяч одновременных запросов: это идеальная задача для такого хранилища.

Объектное хранилище особенно полезно, когда заранее не знаешь, какой объём хранения понадобится: в него можно поместить сотни петабайт данных в любой момент.

Объём хранения можно менять в любой момент, в зависимости от текущих потребностей
Объём хранения можно менять в любой момент, в зависимости от текущих потребностей

Биллинг хранилищ опирается на реальный объём находящихся в них данных и интенсивность их скачивания, так что оплачиваемые облачные ресурсы утилизированы на 100%. Это делает объектное хранилище мощным инструментом оптимизации расходов и ускорения вывода новых продуктов на рынок.

Как клиенты MCS выигрывают на стоимости трафика

Стоимость скачивания данных из объектного хранилища различается у разных провайдеров. Приложение Prequel до прихода в MCS хранило данные в хранилище зарубежного провайдера Amazon Web Services (AWS). Переход на MCS, который предлагает скачивание по более низкой стоимости, удешевил раздачу контента.

Можно экономить на стоимости раздачи объектов из хранилища
Можно экономить на стоимости раздачи объектов из хранилища

Сам переход на новое хранилище занял несколько дней. AWS оставили «в резерве»: MCS раздаёт основной трафик, а AWS хранит синхронизированный бэкап.

Как переходят к хранению данных по ФЗ-152

По закону «О персональных данных» (152-ФЗ) обрабатывать персональные данные следует на территории России. Обработкой данных считаются любые действия с ними, в том числе сбор и хранение. Размещение таких данных в объектном хранилище MCS позволяет компаниям соблюдать требования российского законодательства.

Когда этот закон появился, «Битрикс24» хранили данные у зарубежного провайдера. Для исполнения закона можно было самостоятельно построить инфраструктуру хранения данных. Но это было невыгодно, потому что сервис «Битрикс24» активно рос, пришлось бы постоянно покупать оборудование и самостоятельно его администрировать. Компания решила сосредоточиться на своих продуктах, а не на поддержке инфраструктуры, поэтому перенесла обслуживание российских проектов на платформу MCS.

Как ускоряют запуск новых проектов

Возможность быстро получить ИТ-ресурсы в облаке особенно важна для экспериментальных проектов с непредсказуемой нагрузкой — и для стартапов, которые тестируют рынок с помощью MVP, и для R&D-проектов крупных компаний.

Раньше для такого запуска приходилось закупать оборудование, до введения которого в эксплуатацию могли пройти месяцы. Ошибки в объёме закупленных ресурсов было нереально исправить, и внезапный рост базы пользователей и объёма данных мог «завалить» систему под нагрузкой. Теперь в облаке по запросу можно сразу получить нужное количество ресурсов без длительных закупок, а при необходимости менять объём использования.

Создатели видеоплатформы «Смотри Mail.ru» не стали вкладываться в построение собственной инфраструктуры — весь видеоконтент разместили в объектном S3-хранилище MCS. Веб-сайт и мобильные приложения платформы загружают контент для показа в плеере из объектного хранилища.

Характерно, что «Смотри» начали использовать объектное хранилище с самого начала тестирования проекта, но продолжают его использовать по тем же принципам и сейчас, когда аудитория проекта значительно выросла.

Объектное хранилище масштабируется вместе с продуктом без перенастройки правил работы приложений с ним
Объектное хранилище масштабируется вместе с продуктом без перенастройки правил работы приложений с ним

Изначальный выбор этого масштабируемого решения избавил проект от замедления работы системы в момент роста проекта и последующего болезненного переезда.

Как сокращают непрофильные расходы на IT

Когда объём хранения постоянно растёт или плохо предсказуем, поддержка собственного хранилища ложится тяжким бременем на IT-службу компании, перетягивает ресурсы и управленческий фокус на себя с основного бизнеса. Объектные хранилища и другие облачные сервисы снимают эту непрофильную рутину и развязывают руки экспертам компании для развития бизнеса и решения стратегических задач.

Max Group оказывает услуги торгового маркетинга для крупнейших FMCG-компаний, и её сотрудники и клиенты взаимодействуют через сервис Max Merch. В условиях роста потока данных и нагрузки на инфраструктуру компания отказалась от регулярной покупки собственного железа и перешла к размещению нагрузки и хранению данных в MCS. Это на 20% уменьшило совокупную стоимость инфраструктуры и обеспечило высокую скорость работы сервиса.

Переход к объектному хранению снимает с компании рутинную нагрузку по ИТ-администрированию и позволяет сфокусироваться на профильной деятельности
Переход к объектному хранению снимает с компании рутинную нагрузку по ИТ-администрированию и позволяет сфокусироваться на профильной деятельности

Переход к облачной инфраструктуре, её оптимизацию и в целом администрирование можно отдать на аутсорс в рамках управляемых услуг (managed services).

Приёмы упрощения технических задач с помощью объектных хранилищ

Снизить стоимость итоговых решений клиентам MCS помогают некоторые технические приёмы.

  • Простой доступ к данным в хранилище из приложений. С помощью объектного хранилища легко интегрировать в приложение или веб-страницу возможность обращаться к объекту в хранилище по ссылке на него.

    Данные сразу готовы к скачиванию и использованию. Видеоплеер «Смотри Mail.ru» показывает видео, которое таким способом «подтягивается» из S3-хранилища.
Приложение на мобильном устройстве скачивает видеофайл из объектного хранилища, чтобы показать его пользователю
Приложение на мобильном устройстве скачивает видеофайл из объектного хранилища, чтобы показать его пользователю
  • Снижение стоимости внедрения приложений. В мессенджере ICQ медиафайлы, которые пользователи видят в чатах, подгружаются из S3-хранилища. У мессенджера есть и корпоративный вариант, который развёртывается в частной инфраструктуре покупателя. Благодаря тому, что мессенджер подключен к хранилищу через стандартный интерфейс S3, покупатель может задействовать собственное S3-хранилище, если оно у него уже имеется, и не платить за инсталляцию хранилища вместе с мессенджером.
  • Загрузка по частям (multipart) упрощает работу с большими файлами. Тяжелые файлы можно загрузить и выгрузить из хранилища по частям. «Смотри Mail.ru» преобразует видеофайлы из «тяжёлого» исходника в несколько видео стандартных размеров. Сам исходник хранится в объектном хранилище, и новые перекодированные видео тоже закачиваются в него. Перекодировка происходит по частям: кусочек большого исходника скачивается, транскодируется и закачивается обратно в хранилище в виде фрагмента перекодированного видео.

    Благодаря этому в том месте, где происходит транскодирование, не нужно хранить большие временные файлы, а сеть не перегружается закачкой объёмных файлов. Всё это позволяет параллельно транскодировать много видеофайлов.
Транскодирование видео со скачиванием исходного файла по фрагментам
Транскодирование видео со скачиванием исходного файла по фрагментам
  • Репозиторий кода. Наши клиенты размещают в S3-хранилище файлы с кодом, их бэкапы и версии — то есть, создают репозиторий кода. Это позволяет не беспокоиться об объеме и надёжности хранения данных, критичных для разработки.

В итоге приёмы использования хранилища строятся вокруг его способности к неограниченному масштабированию и возможности одновременного доступа многих пользователей. В корпоративных системах и бэкенде приложений достаточно распространены и более традиционные средства хранения данных, но при сколь-нибудь значимом масштабировании владельцы этих систем сталкиваются с трудностями. Переход к объектному хранению потребует некоторого редизайна действующей системы, но когда объёмы хранения постоянно меняются, это оправдано.

Объектное хранилище на облачной платформе Mail.ru Cloud Solutions

Еще почитать по теме:

55
4 комментария

По закону «О персональных данных» (152-ФЗ) обрабатывать персональные данные следует на территории России. Обработкой данных считаются любые действия с ними, в том числе сбор и хранение.А дублировать данные на зарубежный сервер можно? Ну вот допустим регистрируется у меня на сайте пользователь, я сначала его добавляю в базу данных в вашем облаке, а следом добавляю информацию о нем на условный AWS. Или это тоже нарушение?

Если любыми способами персональные данные (это данные, с помощью которых можно однозначно определить личность) переносятся на мощности, которые не обеспечивают исполнение норм ФЗ, то это однозначное нарушение.
Однако, если на зарубежном сервере хранить данные в обезличенном виде, а данные с помощью которых сделать обратно персональными находятся в защищенном контуре, то тут возможны вариации.