Закупать 50 тысяч товаров в день и не разориться

Как Ozon использует машинное обучение для управления закупками.

В интернет-магазине Ozon есть почти всё: колготки, детское питание, ноутбуки за 100 тысяч рублей и та штука для заварки чая, название которой никто не помнит. Это хранится, сортируется и формируется в заказы на fulfillment-фабриках компании.

Мы называем их фабриками потому, что у онлайн-продавцов — не склады, где товары лежат, а целые центры, где они маркируются, сортируются, упаковываются и откуда отправляются по всей стране — они скорее похожи на заводы, там работают тысячи человек. Товар на такой фабрике лежать не должен — чем дольше он там находится, тем дороже обходится компании.

Чтобы выяснить, сколько товаров закупать, Ozon использует машинное обучение. Как компания научила машину понимать потребности людей, рассказывает Александр Алексейцев, Lead data science.

У нас 1,5 млн активных товарных наименований, и только за последний год эта цифра выросла минимум на 20%. В следующем году полноценно запустится маркетплейс, и ассортимент вырастет до десятков миллионов товаров. Растет и число поставщиков: их уже больше 2,5 тысяч — будет в разы больше.

При таком ассортименте, числе поставщиков и закупщиков ошибки неизбежны: кто-то привез больше, кто-то меньше, кто-то вообще не то. Ошибка с превышением закупки на 1% будет стоить компании 10 млн рублей. Да и сотрудники отдела закупок могут заниматься более интересной работой, чем бесконечное заполнение и отправка таблиц.

Отличие планирования закупок онлайн и оффлайн-магазинов — в ассортименте и уровне точности. Если в супермаркете у дома три вида молока и покупают по 70 пачек каждого в день — заказать на 30 упаковок больше не страшно. Но три вида молока в онлайн-магазине — это несерьезно, там его 140 наименовании (люди любят выбирать), и ежедневно заказывают по 2-3 упаковки каждого. Поэтому для нас важно, чтобы прогноз предсказывал спрос с точностью до единицы конкретного товара.

За годы существования Ozon мы собрали достаточно данных о том, что, когда и в каких количествах люди покупают. Раз есть данные, можно использовать machine learning. Но остается вопрос: какие факторы влияют на продажи, если учесть, что товаров у нас — 23 категории, от книжек до бананов и от духов до детских развивающих игрушек?

Предсказывать будущие продажи проще всего на основании прошлых, поэтому для начала мы учли в прогнозе средние продажи за последние два года и продажи за прошлую неделю. Но чтобы обеспечить нужную точность прогноза, этого недостаточно. Чтобы выяснить, почему, что и когда люди покупают, мы пошли к экспертам из отдела закупок. И получили целый список факторов, о существовании которых команда data science даже подозревать не могла.

Так, коллега, которая занимается закупками игрушек, спросила: «А ваш алгоритм свинок спрогнозирует, или лучше их руками закупать?». Оказалось, что следующий год — год свиньи, и эксперты ожидают рост продаж игрушечных свинок. Чтобы алгоритм узнал о том, что раз в 12 лет случаются всплески спроса на товары со словом «свинья» в описании, нужно минимум 24 года данных в истории.

В итоге у нас получилось 170 признаков. Наиболее значимыми оказались

У нас есть данные о том, какие товары 1,2 млн. пользователей каждый день рассматривают на сайте, добавляют в корзину и заказывают.

Самое сложное — эти данные очистить, чтобы машина обнаружила в них только те закономерности, которые существуют в реальности, и могла построить на их основе правильный и точный прогноз.

Если вы собираете данные много лет, методика их сбора и обработки могла один или несколько раз измениться — а данные продолжили записывать в тот же столбец. Или в системе мог произойти сбой — в базе остались нули, а когда это произошло, никто не записал. Поэтому мы отбрасывали все данные, которые выглядели подозрительно, стараясь при этом сохранить полноту выборки.

Мы разбили все товары на 13 типов — по аналогии с каталогом на сайте, и для каждого типа обучили 12 моделей для прогнозов разной глубины — от 5 до 16 дней.

Обучение заняло пять суток — все это время команда data science работала 24/7. Мы так увлеклись процессом, что вообще не думали о сне. В результате получили прогноз, способный предсказывать спрос на каждый товар с точностью до единицы.

Прогноз готов, теперь с его помощью нужно делать закупки с учетом неидеальности реального мира. Мы посчитали стоимость пере- и недозакупки каждого товара, учли пожелания бизнеса о том, какой процент времени товар должен быть в наличии на складе. И чтобы обеспечить это наличие, оценили качество работы поставщиков каждого товара: вовремя ли привозят, в нужных ли количествах, на каких условиях.

В итоге получился алгоритм, который добавляет к «идеальному» прогнозу поправки на человеческий фактор. Каждую ночь на нашем вычислительном кластере запускается алгоритм, который выбирает для каждого товара поставщиков, делает прогноз продаж и формирует заявки, исходя из расписания поставок. К семи утра мы отдаём категорийным менеджерам в отделе закупок готовые таблицы с заказами.

Кстати, если в модели «заморозить» 169 признаков из 170, можно наблюдать, как каждый отдельный признак влияет на прогноз. Например, какая скидка нужна, чтобы человек купил санки в июле.

Кроме того, благодаря новому алгоритму мы смогли перейти от хранения огромного запаса товаров на складе к цикличным закупкам, когда на складе только то количество товара, которое понадобится людям до следующей по графику поставки.

Теперь нам предстоит решить, как рассказать алгоритму о расширении ассортимента и научить строить прогнозы для новых категорий, о которых пока нет данных.

К тому же, есть мода — и она максимально иррациональна. Как можно было предсказать, что спиннер будет так продаваться? Как прогнозировать продажи новой книги Дэна Брауна, если один его роман раскупают, а другой нет? Мы над этим работаем — это вопрос времени.