{"id":13840,"url":"\/distributions\/13840\/click?bit=1&hash=23a854ff92848dd15a7903eacb414978cdb42e99def6f55df88c5ac9c66030a6","title":"\u0420\u0435\u0444\u0435\u0440\u0430\u043b\u044c\u043d\u0430\u044f \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0430 \u0434\u043b\u044f \u043f\u0440\u043e\u0434\u0430\u0432\u0446\u043e\u0432 \u043e\u0442 Joom","buttonText":"\u0423\u0447\u0430\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c","imageUuid":"fa465a98-71b1-5a0d-8f7a-4b0e1990409a","isPaidAndBannersEnabled":false}

Повысить продажи на семь процентов и потерять клиента. Опыт создания рекомендательной системы

На ошибках учиться полезно. Если ошибки чужие — еще и не убыточно. Давайте обсудим трудности при коммерческой разработке рекомендательных систем и ML-проектов.

Постановка задачи заказчиком

Заказчиком была геймдев студия “Черепаха”. Студия позиционирует себя как “один из ведущих разработчиков игр для социальных сетей”.

Рекомендательную систему создавали для игрового магазина онлайн игры “Персонаж”.

По замыслу Черепахи рекомендательная система должна была демонстрировать в начале игры один товар дня. Товар дня подбирался исходя из поведения конкретного игрока.

Показателем эффективности рекомендательной системы было названо увеличение объема продаж. Подробнее о задачах и методах рекомендательных систем здесь.

Мы предложили изменить ключевую метрику на увеличение прибыли от продаж. Однако Черепаха отказалась, потому что не хотела раскрывать финансовые документы стороннему поставщику.

Сложности в процессе создания

Подробнее об этапах создания проектов в машинном обучении здесь.

Проверка концепции

Когда мы завершали стадию проверки концепции, Черепаха изменила интерфейс игры. Вместо одного товара дня игрок видел уже пять. Логика рекомендательной системы завязана на интерфейс страницы, с которой взаимодействуют игроки. Поэтому рекомендательную систему пришлось изменить. Изначально она целилась в показ игроку единственного и максимально правильного товара. А после изменений нужно было попасть, например, в три из пяти.

Изменения улучшили работу системы, но потребовали ресурсов и времени на переделки.

Минимально жизнеспособный продукт

После проверки концепции рекомендательную систему необходимо было интегрировать в игру. Мы проговорили процедуру, подготовили и направили документацию Черепахе. Должно было быть так - с 12 ночи до 4 утра они с нашего сервера партиями запрашивают рекомендации. Запросы должны быть в формате 500 запросов по 10 000 рекомендаций для пользователей.

В итоге пришел запрос сразу на 500 000 рекомендаций, т.е. на всех игроков. Разумеется, система не выдержала.

Мы повторно проговорили процедуру с Черепахой.

И пришло 500 000 запросов на индивидуальные рекомендации. Система повторно не выдержала.

На подобные непреднамеренные DoS атаки уходят время и ресурсы. Если есть возможность вручную контролировать действия специалистов заказчика, то лучше воспользоваться опцией.

A/B тесты

Рекомендательная система не выходила на устойчивые показатели работы.

Оказалось, что Черепаха параллельно с товаром дня в рекомендательной системе проводила другие активности. Скидки на сезонные товары, всплывающие окна с модными товарами. Это дублировало рекомендательную систему и не позволяло ей нормально работать. Все, что показывала рекомендательная система, посетители видели в других местах.

В итоге удалось устранить пересечения и оценить показатели эффективности рекомендательной системы.

Оценка эффективности

В итоге рекомендательная система повысила продажи на семь процентов. Черепаха была довольна и ушла считать прибыль.

По итогу увеличение прибыли от применения рекомендательной системы составило 1-2 процента.

И для крупного бизнеса данный результат отличный. Это миллионы при оборотах в несколько миллиардов.

Наша Черепашка же, однако, заявила, что увеличение прибыли на 1-2 процента на данном этапе жизненного цикла продукта ей не интересно. А вкладывать деньги в полноценную интеграцию рекомендательной системы в игровой магазин опасно.

Выводы

Проблемы из статьи типичны и показательны для многих проектов машинного обучения. Сложности с разработкой системы можно преодолеть. На это нужны ресурсы и деньги.

Неправильное целеполагание опаснее. Если бы мы изначально сумели отстоять замену показателей эффективности рекомендательной системы и построили ее вокруг прибыли от продаж, может быть заказчик получил бы лучший результат и продолжил работы по внедрению.

В целом выигрыш от машинного обучения нагляднее для крупного бизнеса. Среднему бизнесу отдача в 1-2 % не всегда интересна и понятна.

.

0
4 комментария
Глеб Семенов

Понятно, что бизнесу интереснее не + 1-2%, а в пару раз больше. Вопрос - реально ли этого достичь используя лишь ML продажи, не улучшая сам продукт?

Ответить
Развернуть ветку
Andrey

1-2% чистой прибыли, а я так понял это именно чистая прибыль, это много. для любого бизнеса.

Ответить
Развернуть ветку
Егор Семенов
Автор

Ml это инструмент, но не волшебная палочка. С его помощью не сделать плохой продукт хорошим) Но можно повысить эффективность стратегии продаж, например.

Ответить
Развернуть ветку
Andrey

Главный вывод не про ML, про "старайтесь максимально избегать таких заказчиков", это если мягко говорить

Ответить
Развернуть ветку
Читать все 4 комментария
null