Александр Скакунов
264

Как мы спасли российский рынок аналитики машинных данных от пустоты

Александр Скакунов, Генеральный директор и основатель компании VolgaBlob

В закладки

Машинные данные считаются самым недооцененным активом современного предприятия. Сложность их извлечения, обработки и анализа состоит в огромном количестве форматов и источников, скорости поступления и объеме. В этой сфере в России до недавнего времени доминировал буквально один вендор, который ушел с рынка РФ в феврале 2019 года. Разработчик ушел, но задачи, проекты и боли у компаний остались. Эта статья о кейсе преодоления ситуации российским вендором.

Машинные данные как отражение деятельности предприятия

Говоря о предметной области, важно отметить, что машинные данные разнородны. Кроме технических данных в виде сообщений от серверов, сетевых хостов и датчиков и т.п. устройств, в них могут содержаться сведения, отражающие бизнес-процессы организации. Это взаимодействие бизнеса с клиентами, контрагентами и посредниками. Сюда же входят события, отражающие внутреннюю активность на предприятии: регистрация сотрудников в сети, движение товаров по складу, востребованность и продолжительность исполнения услуг, оцифрованные отзывы клиентов, тикеты в техподдержку и т.д.

Компаниями, и особенно крупным бизнесом, востребованы комплексные системы анализа машинных данных, способные представлять результаты запросов в графическом виде, оповещать пользователей о критических событиях в ИТ-системах и в бизнес-процессах, выявлять и предотвращать инциденты безопасности и технологические аварии. Это позволяет, не тратя усилия на интеграцию разрозненных средств мониторинга и аналитики, определять «узкие места» инфраструктуры и бизнеса, оптимизировать качество обслуживания клиентов, находить уязвимые места в информационной безопасности предприятия (ИБ).

Образно говоря, рынку нужна такая система, которая способна ответить и на вопрос CIO «Почему у меня столь неравномерная нагрузка серверов», на вопрос CISO «Все ли у меня корректно защищено» и на вопрос CEO «Какие из бизнес-процессов предприятия ведут меня к многомиллионному бонусу, а какие — к увольнению».

При этом, ситуация на рынке такова, что есть очень хорошие нишевые продукты: SIEM-системы (Security Information and Event Management), решающие задачи в сфере ИБ, инструменты ITSM (мониторинга состояния ИТ-инфраструктуры), средства бизнес-аналитики (BI, Business intelligence). Однако существует дефицит качественных комплексных систем анализа машинных данных. Над их созданием работает много глобальных вендоров: Splunk, IBM, BMC Software, Microsoft, Quest Software. При этом лидером (с оговорками) можно считать американскую компанию Splunk.

Уход Splunk как призыв к действию

Крупные клиенты впервые «попробовали» продукт Splunk Enterprise в 2013 году, положительно оценив простоту установки, гибкость настройки и многообразие предоставляемых аналитических инструментов. Они приобретали лицензии Splunk через партнеров, которые помогали быстрее освоить продукт и настроить сбор данных.

​Обзорная презентация решения Splunk Enterprise (https://www.volgablob.ru/ru/products/splunk).  Источник: VolgaBlob

Рынок активно рос, но 19 февраля 2019 года произошло непредвиденное — Splunk объявил об экстренном уходе из России. Оставшимся в недоумении партнерам и клиентам было предложено лишь прочесть пресс-релиз про «инвестиционные причины» ухода. По условиям ухода клиенты с действующими лицензиями могли пользоваться своими аккаунтами до окончания срока действия лицензий, а партнеры продолжать их обслуживать, но без содействия со стороны вендора.

​Несколько реакций пользователей на уход Splunk из России. Источник: Хабр

На тот момент прямого конкурента у Splunk не было, но российскими разработчиками в разных компаниях делались попытки создать устраивающий их аналог из «подручных средств». Широкого распространения такая практика во время присутствия Splunk на рынке не получила, но с уходом вендора идея перехода на ПО с открытым кодом стала более, чем актуальной. Возник вопрос: как сделать на продуктах с открытым кодом Elastic Stack полноценный альтернативный продукт?

Как мы разрабатывали альтернативу?

Мы, будучи партнером Splunk, оказались в момент ухода вендора в непростой ситуации, так как внедрение и кастомизация юзкейсов на Splunk были важным источником заказов и, естественно, доходов. Было принято решение мобилизовать и усилить команду, чтобы в кратчайшие сроки перенести свои разработки приложений с платформы Splunk на платформу с открытым кодом, и тем самым предложить рынку альтернативный продукт.

Когда формировалась концепция собственного продукта, мы отталкивались не от платформы, а от задач пользователей. Требовалось создать приложения прикладного уровня, позволяющие пользователям очень быстро, практически в графическом режиме, строить дашборды для безопасности, ИТ-инфраструктуры или настраивать важную для них аналитику бизнеса. Главное, чтоб все было готовое, без необходимости написания специальных дополнений самими пользователями.

При этом мы исходили из принципа минимизации и упрощения как правил составления запросов, так и восприятия результата, то есть концепции «как он должен выглядеть для конечного клиента». Чем меньше сотрудник видит на очередном клике графиков и циферблатов, и чем быстрее он проходит по набору кликов до желаемого результата, тем лучше воспринимается продукт. В реальной жизни люди ценят простоту достижения конечной цели. Результат может быть разным, но должен быть быстро достижимым, например, наглядная диаграмма либо приход какого-либо оповещения в виде E-mail, SMS, сообщения в мессенджере и т.п.

Практически за полгода, что можно считать очень сжатым сроком для рынка, нам удалось перенести набор приложений, ранее разработанных для Splunk, на платформу Elastic Stack. Помогли 5-летние наработки и четкое понимание, что именно надо портировать, чтобы получился достойный продукт. Новое решение назвали Smart Monitor Open Source. Сейчас этот инструментарий насчитывает полноценный набор модулей сбора данных и аналитики, собранный по юзкейсам у действующих клиентов, т.е. наиболее востребованных на российском рынке.

Модули, входящие в Smart Monitor, позволяют управлять инцидентами, оценивать риски, строить карту корпоративной сети и собирать события с различных устройств, включая инфраструктуру виртуализации, собирать и обрабатывать логи со сред контейнеризации, управлять средствами защиты информации, вести мониторинг производительности прикладных информационных систем.

Теперь у нас есть продукты сразу для двух рыночных ниш: первая — обслуживать клиентов с действующими лицензиями на платформе Splunk, вторая — дать компаниям, которые хотят мигрировать на иную платформу, готовую альтернативу на базе продукта с открытым кодом. Мы разрабатываем англоязычные версии продуктов как базовые и ориентированы на глобальный рынок, но и для российских компаний, естественно, подготовлены локализованные версии.

Первая рабочая версия Smart Monitor на открытом коде будет представлена 13 ноября на нашей ежегодной конференции VB-Trend 2019 в Москве. Мы подробнее расскажем о самом продукте, о процессе его разработки и продемонстрируем сравнительные нагрузочные тесты в демо-зоне.

Материал опубликован пользователем.
Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать
{ "author_name": "Александр Скакунов", "author_type": "self", "tags": [], "comments": 0, "likes": 14, "favorites": 7, "is_advertisement": false, "subsite_label": "unknown", "id": 92213, "is_wide": true, "is_ugc": true, "date": "Tue, 12 Nov 2019 12:04:40 +0300", "is_special": false }
0
{ "id": 92213, "author_id": 393378, "diff_limit": 1000, "urls": {"diff":"\/comments\/92213\/get","add":"\/comments\/92213\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/92213"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 393378, "last_count_and_date": null }
Комментариев нет
Популярные
По порядку
{ "page_type": "article" }

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "Article Branding", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "cfovx", "p2": "glug" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Баннер в ленте на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "disable": true, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } }, { "id": 20, "label": "Кнопка в сайдбаре", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "cgxmr", "p2": "gnwc" } } } ] { "page_type": "default" }