Я знаю, что вы будете покупать следующим летом
Может ли ИИ эффективно предсказывать и рекомендовать покупки? Рассказываем, как и почему мы поставили такую задачу участникам Всероссийского Хакатона по ИИ и что из этого вышло.
Во Всероссийском хакатоне по ИИ мы оказались “по знакомству” ― через нашего партнера и подрядчика компанию DCS («Диджитал Консалтинг Солюшнс»). Вместе мы делаем различные панельные исследования по продажам категорий FMCG рынка ― shop&people centric panel, основанные на применение ML, мы также сами используем ИИ для категоризации и сегментации больших массивов данных.
На кассах «Эвотор» ежедневно проходит более 10 млн чеков. С 2019 года мы делаем на обезличенных данных множество исследований по продажам определенных категорий или товаров. У нас есть собственные открытые Индексы Эвотора по ценам на товары, по использованию безналичной оплаты, по среднему чеку и др.
На Хакатоне мы попросили участников построить собственную универсальную рекомендательную систему на основе данных покупок. Для нас это задача не умозрительная и не новая. В торговле всегда стоит вопрос: как увеличить средний чек, как и что допродать клиенту? Здесь и салфетки и жвачки на кассе, и “Вам может понравиться” на сайтах интернет-магазинов, и рекламные рассылки. В программах лояльности и рассылках релевантность персонализированных предложений очень важна.
Мы сами, в течение нескольких лет, периодически делали экспериментальные «ручные» выгрузки по комплементарным товарам, но результаты их нас не устраивали. Со сгущенкой, например, чаще всего берут сметану, с пивом ― сигареты, со сливочным маслом ― молоко. Возможности ИИ позволяют решить эту задачу на принципиально ином уровне.
Все крупные b2c компании, от ритейла до банков так или иначе “бьются” над рекомендательными сервисами, чтобы сделать их более персонализированными и точными. Мы так же сами разрабатываем такой инструмент для наших клиентов, кто пользуется нашими смарт-терминалами, ― а это в основном малый и средний бизнес. И для нас особенно важно, чтобы такой инструмент был таким предпринимателям “по карману”, потому что технологии на базе ИИ недешевы даже для крупняка.
Вот какую задачу мы поставили перед участниками на Хакатоне
Мы собрали базу обезличенных фискальных чеков ― 380 тыс чеков по трем сетям (косметика, аптека, товара для дачи и сада) и в каждом чеке случайным образом убрали 1 позицию.
Участники хакатона должны были предсказать недостающий в чеке товар.
Например, в чеке указаны шампунь, помада, салфетки и товар “Х”, участники должны были предсказать этот товар X.
Модель, которая с высокой точностью определяет недостающий товар в чеке, может лечь в основу рекомендательной модели ― какой товар можно рекомендовать покупателю на основе его “корзины”. Условно: А не забыли ли вы к шампуню взять и кондиционер?
Как мы оценивали предложенные решения?
Самое важное ― это Accuracy, точность предсказания, процент верно угаданных товаров для тестовой выборки. Второй критерий ― универсальность для разных сфер бизнеса, то есть модель должна работать как для продуктового магазина, так и для магазина косметики или строительных материалов. Третий критерий ― это UX/UI, красота внедрения, интерфейса. Победителя определили по наивысшему значению метрики Accuracy, а также питчу презентаций решений.
Всего в нашем треке приняло участие 24 команды, решили задачу с разным уровнем показателей ― 15 команд. В среднем, точность предсказания (Accuracy) всех команд, решивших задачу, составила 6-8%, победители достигли около 15%. Команда, занявшая первое место, показала лучший результат Accuracy и универсальности.
Наши финалисты: 1) Нару Тое Токру То (Санкт-Петербург, Ульяновская область, Москва), 2) Ling Bizkit (Санкт-Петербург, Москва, Московская область, Смоленская область), 3) JETFORK (Свердловская область). В лиге новичков: 1) Team (Московская область, Москва), 2) Humarin (Москва), 3) Карпологи (Москва).
Любопытно, что несмотря на то, что в Хакатоне участвовало много сотрудников крупных компаний, но среди лучших было много молодых ребят без большого реального опыта. Например, в команде победителей в нашем стеке ― «Нару Тое Токру То» ― все участники были 22-24 лет, бакалавры и только один магистрант, опыт участия в хакатонах был только у двух из них.
Владимир Байкалов, команда «Нару Тое Токру То»:
“Мы выбрали задачу от DCS и Эвотор во многом по моей инициативе ― за последние 3 года я довольно глубоко изучал рекомендательные системы как с научной стороны, так и с инженерной. Как итог, у меня уже было примерное понимание, что мы можем сделать, и как это может быть реализовано, это дало нам довольно ощутимый бонус для отсеивания заведомо нерабочих гипотез и понимания плюсов и минусов различных решений.
Существенное ограничение задачи Эвотора ― то, что модель должна работать на самой кассе (малая мощность) и причем быстро.
На хакатоне мы создали пять разных моделей: Во-первых, модель, генерирующую случайные рекомендации (самый первый baseline для проверки адекватности написанного кода). Вторая модель ― рекомендующая самый популярный товар (решение значительно лучше предыдущего, но без использования никакой персонализированной информации).
Еще две модели, основанные на обучаемых представлениях товаров: одна использует подход tf-idf, а другая - матричное разложение. (эти модели уже используют агрегацию всех товаров в чеке в каком-то виде, не требуют много ресурсов для обучения и довольно быстры). И пятую модель, основанную на локальном коллаборативном сигнале, использующая transformet-based подход (финальное решение, нейросетевой подход, state-of-the-art архитектура во многих рекомендательных системах).
На экспериментальных данных, предоставленных нам, трансформер-based модель оказалась победителем. Однако на финальном лидерборде нашей команды выиграла модель, основанная на подходе tf-idf. Мы предполагаем, что это связано с тем, что различные модели эффективны в зависимости от размера данных: нейросетевые модели требуют больше данных и времени для обучения”.
«Мы, в DCS, сотрудничаем с “Цифровым прорывом”, организатором хакатонов по ИИ, уже в третий раз. Такие хакатоны ― лучший способ популяризации ИИ, как инструмента для роста бизнес-показателей. Но поиск специалистов ― это главная задача. По итогам хакатона мы позвали в DCS одного из участников команды победителей ― Владимира Байкалова.
Во всероссийском хакатоне, например, приняло участие 1748 человек. И среди них ― как опытные специалисты из крупных компаний, так и студенты. Для всех участников хакатон ― это возможность показать свои скилы, умения. Было приятно наблюдать за рвением ребят, которое выражалось в большей степени их интересом и азартом в выполнении заданий, нежели даже рвением к победе. Тем не менее решение победителей ― уже вполне рабочее, даже в таком, первом варианте оно способно увеличить выручку клиента как минимум на 2%».
Для нас, Эвотора, главный результат участия в хакатоне ― это подтверждение нашей гипотезы о том, что нейросети могут помочь в создании универсального рекомендательного сервиса, который будет работать эффективно работать даже на малых мощностях (процессорах онлайн-касс) и повышать продажи предпринимателей.
И это будущее уже рядом.