Поиск аномалий в потоках данных: что дает бизнесу внедрение системы мониторинга на базе машинного обучения

Частая причина финансовых потерь бизнеса — использование решений, основанных на некорректных данных, или бездействие персонала при возникновении аномалий.

Зачастую убытки происходят из-за ряда факторов:

• Большое количество данных (структурированных и неструктурированных) и их непрерывный рост.
• Сложность обработки информации в режиме реального времени. Если потоковые данные напрямую взаимосвязаны с текущими бизнес-процессами, ошибка в них может привести к существенным просчетам.
  
• Изменчивость информации, которая может корректироваться под воздействием естественных факторов.
  
• Трудоемкость переработки правил в случае корректировки исходных данных.
  
• Сложность создания проверок, для которых требуются экспертные знания.
  
• Большое разнообразие баз данных (PostgreSQL, Hive, Kafka и т. д.).
  

Чтобы справиться со всеми вышеперечисленными сложностями и обеспечить необходимый уровень качества данных, предприятию необходим инструментарий, способный автоматизировать процессы и беспрерывно мониторить постоянно растущий объем информации. На примере системы Almaz Monitoring рассказываем, как решаются эти проблемы и что получает заказчик от использования такого инструмента.

Преимущественно контроль качества данных ассоциируется с четкими правилами (поле X больше поля Y, отсутствие пустых данных, проверка на диапазоны), которые реализуются через pushdown SQL-запросы. Такой подход хоть и считается простым, точным и легко интерпретируемым, но содержит ряд неудобств.

Цифровизация бизнеса растет с большой скоростью, и вместе с ней увеличивается количество данных. Повсеместное внедрение ML-моделей также генерирует огромный объем информации, от качества которой зависят важные процессы бизнеса.

Для проверки SQL-запросов требуется предварительный анализ данных, написание и оптимизация процесса обработки информации, а также ресурсы для дальнейшей работы с аналитикой. При этом всегда можно попасть в ситуацию, когда для осуществления проверки понадобится большой кластер или дополнительное время на исполнение.

Справиться с большими потоками информации поможет решение Almaz Monitoring — самообучающаяся интеллектуальная система, разработанная ООО «Инлексис» (входит в Лигу Цифровой Экономики).

Если говорить о механике инструмента, то Almaz Monitoring отдает предпочтение анализу данных с помощью алгоритмов и математических моделей. Система изучает исходную информацию и формирует правила проверки, а также обучает модели для мониторинга статистик в источнике.

Во время анализа решение взаимодействует с выборкой, что обеспечивает меньшую чувствительность к росту объема данных в рамках одного источника, а также позволят снизить нагрузку на БД, так как обработка происходит именно на стороне системы. Работа с выгруженным массивом информации позволяет строить большое количество проверок для каждого поля.

Система подойдет для предприятий из различных отраслей экономики, включая ретейл, ТЭК, телеком, банковский сектор и др. Она использует современные математические алгоритмы и технологии машинного обучения для обнаружения аномалий в операционных процессах, потоках данных, корпоративных хранилищах и финансовых отчетах. Благодаря этому заказчики смогут проще и быстрее ликвидировать сбои и неполадки, а также предотвращать их возникновение в будущем.

Ключевые достоинства внедрения системы Almaz Monitoring:

• Всесторонний контроль качества как потоковых, так и хранимых данных.
• Наличие большого количества коннекторов к различным источникам данных.
  
• Быстрая и легкая настройка системы.
  
• Наглядная аналитика о результатах проверок.
  

Например, в рамках использования услуги можно оценить динамику продаж, качество клиентского профиля и уровень сервиса. Или автоматизировать обработку входящих данных — в отличие от человека, система способна проверять поступающую информацию, помечая участки с некондиционными сведениями и регистрировать инциденты.

Помимо этого, решение отличается следующими преимуществами:

• Комплексно справляется со всеми задачами за счет встроенных механизмов машинного обучения.
• Автоматически отслеживает качество и достоверность данных.
  
• Выявляет неточности и аномалии, учитывая сезонность, специфику и статистику.
  
• Справляется с высоконагруженными потоками информации.
  
• Отправляет уведомления всем заинтересованным лицам в случае чрезвычайных ситуаций по электронной почте или СМС.