Как решить проблему дрейфа данных и сэкономить $1 000 000. Кейс Uber

Расскажем о решении Uber, которое помогло ей выявить эту проблему на раннем этапе и сэкономить до 1 млн. долларов.

Материалы взяты из оригинальной статьи Uber, переведены и переварены аналитиками из компании Spacecode.

Warning! Впереди лонгрид!

Предположим, что после сбора и очистки данных, разработки алгоритма, экспериментирования с различными моделями машинного обучения и настройки гипер-параметров, вы создали надежный автоматический пайплайн, развернули его в продакшн-среде и проверили качество модели на реальных данных.

Однако со временем прогноз модели может начать ухудшаться вместо улучшения. И если вы обнаружите это слишком поздно, неточные прогнозы могут привести к принятию неверных и необоснованных управленческих решений.

Зачастую это происходит из-за так называемого дрейфа данных. Вкратце – это смещение в распределении между обучающими данными и Serving Data, которое может возникать из-за изменения статистических характеристик данных или ошибки в инфраструктуре.

Подробнее о дрейфе данных можно узнать в этой статье.

Uber располагает одной из самых передовых инфраструктур данных и машинного обучения (ML). Платформа Michelangelo использовалась в качестве эталонной архитектуры для многих MLOps-платформ в течение последних нескольких лет.

Недавно команда инженеров Uber поделилась некоторыми подробности о своей работе в области обнаружения аномалий в данных, которая является одной из наиболее распространенных проблем в рабочих процессах ML.

Рассмотрим реальный пример, который сподвигнул команду к разработке полноценного продукта.

Ситуация

Тарифы Uber состоят из различных компонентов, таких как наценки, плата за проезд и т. д. Реакция пассажиров на эти компоненты и коэффициенты конверсии поездок являются критически важными для построения ML моделей тарифов.

Происходили случаи, когда один из критически важных компонентов тарифа "X" отсутствовал в данных по тарифам для 10% сессий в ключевых городах США. Это большие денежные потери.

Причина

Причиной стал эксперимент с приложением, которое стало по-другому регистрировать тарифы.

Как обнаружили

Этот инцидент был обнаружен через 45 дней вручную одним из специалистов по обработке данных.

На что влияет

1. Данные используется для обучения ML моделей для предсказания стоимости тарифов. Для оценки влияния подобных инцидентов аналитики компании создали имитационную схему, которая воспроизводит дефектные данные из реальных кейсов и оценивает их влияние.

2. Процент сессий с определенным компонентом тарифа — это ключевая метрика, которую руководство компании и глобальный операционный отдел используют для принятия важных решений и понимания состояния рынка.

3. Потеря производительности отделами компании, которые будут выяснять первопричины и устранять разладки в данных.

Осознание необходимости создания надежной автоматизированной системы, способной эффективно измерять и контролировать качество данных на уровне столбцов в БД послужило целью создания системы D3 (Dataset Drift Detector).

Автоматизированное подключение: D3 реализует возможности для определения и приоритизации важных столбцов в данных. Применяя мониторинги к этим столбцам, D3 сводит к минимуму необходимость в настройке со стороны владельцев наборов данных.

Автоматизированный мониторинг по различным измерениям: D3 осуществляет автономный мониторинг данных по различным параметрам, таким как версия приложения или идентификатор города. Это позволяет быстрее обнаружить проблемы с данными и дать точную оценку их качества.

Автоматизированное обнаружение аномалий: D3 исключает ручной процесс установки пороговых значений для обнаружения аномалий. Используя алгоритмы ML, он самостоятельно обнаруживает и предупреждает о любых отклонениях от ожидаемых статистик.

Архитектура D3 включает в себя несколько систем, управляемых платформой данных Uber, которые играют важнейшую роль в поддержании качества данных. Вот ключевые системы:

С точки зрения компонентной структуры D3 состоит из трех основных областей: Вычислительный уровень, Оркестратор и Обнаружение аномалий. Рассмотрим подробнее последний модуль.

Модуль обнаружения аномалий в Uber основан на алгоритмах ML и статистики. Алгоритмы ARIMA и Prophet помогают работать с потоком данных как временными рядами для отслеживания изменений их свойств с течением времени. Интеграция моделей в D3 выполнена по принципу «plug and play».

Uber планирует развивать и улучшать используемые модели, а также выставлять собственные пределы оповещения в дополнение к базовым пределам, что обеспечит быстродействие и точность системы обнаружения аномалий.

Интеграция системы обнаружения аномалий в D3 улучшает возможности контроля данных. Можно выбирать и точно настроить модели для мониторинга данных и быстрого выявления отклонений от ожидаемых правил. Это позволяет технической службе внимательно следить за качеством данных и оперативно реагировать на любые аномалии.

В D3 также реализована система оповещения о состоянии данных. Вычисленные значения статистики, а также динамические пороговые значения, полученные с помощью профилировщика данных и ежедневных плановых заданий, надежно сохраняются в таблице статистики на основе Hive.

При нарушении порогового значения срабатывает оповещение, уведомляющее соответствующие команды для принятия немедленных мер. Кроме того, таблица статистики играет важную роль в настройке панели Tableau для визуализации данных, которая легко интегрируется с платформой Databook. Такая интеграция позволяет интуитивно представить показатели качества данных, расширяя возможности исследования и анализа данных для технической аудитории Uber.

На текущий момент авторы выделяют следующие проблемы:

Авторы также отмечают ряд возможных улучшений фреймворка, которые планируется внедрить в ближайшем будущем:

Инцидент с данными о тарифах, о котором говорилось в начале, был выявлен вручную через 45 дней. После запуска D3 специалисты компании проконтролировали более 300 наборов данных. Время обнаружения инцидентов с данными значительно сократилось — более чем в 20 раз, в среднем до 2 дней. Было обнаружено более 6 проблем на наборах данных маркетплейс/тарифы с точностью более 95%.

Данный кейс по нашему мнению является примером важной и грамотно организованной в плане дизайна системы, которую должна иметь практически любая компания с большими объемами динамических цифровизованных данных.

Дизайн и реализация такой системы является крайне тяжелым процессом для in-house разработки. Однако все элементы фреймворка могут быть внедрены как стороннее решение, которое интегрируется в систему заказчика с минимальным количеством доработок. Модульный дизайн позволит внедрить только нужные мониторинги данных, а при желании и отслеживание аномалий в данных на базе ML-моделей.

С растущей популярностью решений на основе ML и AI актуальность предложенной системы еще больше обоснована. Именно сейчас, когда рынок уже умеет интегрировать ML-решения в свои продукты, стоит задумываться о правильном дизайне своих систем, закладывая в них подобные фреймворки. Это не только даст конкурентное преимущество на рынке, но и позволит принимать решения, основанные на теоретически верных гипотезах, корректных и актуальных данных, а также, как в случае Uber, не упускать многомиллионную прибыль.

#machinelearning #datascience #ai