Хакатон SberCloud
для разработчиков
До конца регистрации:
04
:
02
:
17
:
40
Подробнее
Александр Скакунов
353

Как мы спасли российский рынок аналитики машинных данных от пустоты

Александр Скакунов, Генеральный директор и основатель компании VolgaBlob

В закладки

Машинные данные считаются самым недооцененным активом современного предприятия. Сложность их извлечения, обработки и анализа состоит в огромном количестве форматов и источников, скорости поступления и объеме. В этой сфере в России до недавнего времени доминировал буквально один вендор, который ушел с рынка РФ в феврале 2019 года. Разработчик ушел, но задачи, проекты и боли у компаний остались. Эта статья о кейсе преодоления ситуации российским вендором.

Машинные данные как отражение деятельности предприятия

Говоря о предметной области, важно отметить, что машинные данные разнородны. Кроме технических данных в виде сообщений от серверов, сетевых хостов и датчиков и т.п. устройств, в них могут содержаться сведения, отражающие бизнес-процессы организации. Это взаимодействие бизнеса с клиентами, контрагентами и посредниками. Сюда же входят события, отражающие внутреннюю активность на предприятии: регистрация сотрудников в сети, движение товаров по складу, востребованность и продолжительность исполнения услуг, оцифрованные отзывы клиентов, тикеты в техподдержку и т.д.

Компаниями, и особенно крупным бизнесом, востребованы комплексные системы анализа машинных данных, способные представлять результаты запросов в графическом виде, оповещать пользователей о критических событиях в ИТ-системах и в бизнес-процессах, выявлять и предотвращать инциденты безопасности и технологические аварии. Это позволяет, не тратя усилия на интеграцию разрозненных средств мониторинга и аналитики, определять «узкие места» инфраструктуры и бизнеса, оптимизировать качество обслуживания клиентов, находить уязвимые места в информационной безопасности предприятия (ИБ).

Образно говоря, рынку нужна такая система, которая способна ответить и на вопрос CIO «Почему у меня столь неравномерная нагрузка серверов», на вопрос CISO «Все ли у меня корректно защищено» и на вопрос CEO «Какие из бизнес-процессов предприятия ведут меня к многомиллионному бонусу, а какие — к увольнению».

При этом, ситуация на рынке такова, что есть очень хорошие нишевые продукты: SIEM-системы (Security Information and Event Management), решающие задачи в сфере ИБ, инструменты ITSM (мониторинга состояния ИТ-инфраструктуры), средства бизнес-аналитики (BI, Business intelligence). Однако существует дефицит качественных комплексных систем анализа машинных данных. Над их созданием работает много глобальных вендоров: Splunk, IBM, BMC Software, Microsoft, Quest Software. При этом лидером (с оговорками) можно считать американскую компанию Splunk.

Уход Splunk как призыв к действию

Крупные клиенты впервые «попробовали» продукт Splunk Enterprise в 2013 году, положительно оценив простоту установки, гибкость настройки и многообразие предоставляемых аналитических инструментов. Они приобретали лицензии Splunk через партнеров, которые помогали быстрее освоить продукт и настроить сбор данных.

​Обзорная презентация решения Splunk Enterprise (https://www.volgablob.ru/ru/products/splunk).  Источник: VolgaBlob

Рынок активно рос, но 19 февраля 2019 года произошло непредвиденное — Splunk объявил об экстренном уходе из России. Оставшимся в недоумении партнерам и клиентам было предложено лишь прочесть пресс-релиз про «инвестиционные причины» ухода. По условиям ухода клиенты с действующими лицензиями могли пользоваться своими аккаунтами до окончания срока действия лицензий, а партнеры продолжать их обслуживать, но без содействия со стороны вендора.

​Несколько реакций пользователей на уход Splunk из России. Источник: Хабр

На тот момент прямого конкурента у Splunk не было, но российскими разработчиками в разных компаниях делались попытки создать устраивающий их аналог из «подручных средств». Широкого распространения такая практика во время присутствия Splunk на рынке не получила, но с уходом вендора идея перехода на ПО с открытым кодом стала более, чем актуальной. Возник вопрос: как сделать на продуктах с открытым кодом Elastic Stack полноценный альтернативный продукт?

Как мы разрабатывали альтернативу?

Мы, будучи партнером Splunk, оказались в момент ухода вендора в непростой ситуации, так как внедрение и кастомизация юзкейсов на Splunk были важным источником заказов и, естественно, доходов. Было принято решение мобилизовать и усилить команду, чтобы в кратчайшие сроки перенести свои разработки приложений с платформы Splunk на платформу с открытым кодом, и тем самым предложить рынку альтернативный продукт.

Когда формировалась концепция собственного продукта, мы отталкивались не от платформы, а от задач пользователей. Требовалось создать приложения прикладного уровня, позволяющие пользователям очень быстро, практически в графическом режиме, строить дашборды для безопасности, ИТ-инфраструктуры или настраивать важную для них аналитику бизнеса. Главное, чтоб все было готовое, без необходимости написания специальных дополнений самими пользователями.

При этом мы исходили из принципа минимизации и упрощения как правил составления запросов, так и восприятия результата, то есть концепции «как он должен выглядеть для конечного клиента». Чем меньше сотрудник видит на очередном клике графиков и циферблатов, и чем быстрее он проходит по набору кликов до желаемого результата, тем лучше воспринимается продукт. В реальной жизни люди ценят простоту достижения конечной цели. Результат может быть разным, но должен быть быстро достижимым, например, наглядная диаграмма либо приход какого-либо оповещения в виде E-mail, SMS, сообщения в мессенджере и т.п.

Практически за полгода, что можно считать очень сжатым сроком для рынка, нам удалось перенести набор приложений, ранее разработанных для Splunk, на платформу Elastic Stack. Помогли 5-летние наработки и четкое понимание, что именно надо портировать, чтобы получился достойный продукт. Новое решение назвали Smart Monitor Open Source. Сейчас этот инструментарий насчитывает полноценный набор модулей сбора данных и аналитики, собранный по юзкейсам у действующих клиентов, т.е. наиболее востребованных на российском рынке.

Модули, входящие в Smart Monitor, позволяют управлять инцидентами, оценивать риски, строить карту корпоративной сети и собирать события с различных устройств, включая инфраструктуру виртуализации, собирать и обрабатывать логи со сред контейнеризации, управлять средствами защиты информации, вести мониторинг производительности прикладных информационных систем.

Теперь у нас есть продукты сразу для двух рыночных ниш: первая — обслуживать клиентов с действующими лицензиями на платформе Splunk, вторая — дать компаниям, которые хотят мигрировать на иную платформу, готовую альтернативу на базе продукта с открытым кодом. Мы разрабатываем англоязычные версии продуктов как базовые и ориентированы на глобальный рынок, но и для российских компаний, естественно, подготовлены локализованные версии.

Первая рабочая версия Smart Monitor на открытом коде будет представлена 13 ноября на нашей ежегодной конференции VB-Trend 2019 в Москве. Мы подробнее расскажем о самом продукте, о процессе его разработки и продемонстрируем сравнительные нагрузочные тесты в демо-зоне.

{ "author_name": "Александр Скакунов", "author_type": "self", "tags": [], "comments": 1, "likes": 14, "favorites": 7, "is_advertisement": false, "subsite_label": "unknown", "id": 92213, "is_wide": true, "is_ugc": true, "date": "Tue, 12 Nov 2019 12:04:40 +0300", "is_special": false }
Объявление на vc.ru Отключить рекламу
0
1 комментарий Накачай стартап
Популярные
По порядку
0

На Хабре - более подробная статья про понимание машинных данных, рынок Splunk и история про замещение https://habr.com/ru/post/484904/

Ответить

Комментарии

null