Повысить продажи на семь процентов и потерять клиента. Опыт создания рекомендательной системы

На ошибках учиться полезно. Если ошибки чужие — еще и не убыточно. Давайте обсудим трудности при коммерческой разработке рекомендательных систем и ML-проектов.

Заказчиком была геймдев студия “Черепаха”. Студия позиционирует себя как “один из ведущих разработчиков игр для социальных сетей”.

Рекомендательную систему создавали для игрового магазина онлайн игры “Персонаж”.

По замыслу Черепахи рекомендательная система должна была демонстрировать в начале игры один товар дня. Товар дня подбирался исходя из поведения конкретного игрока.

Показателем эффективности рекомендательной системы было названо увеличение объема продаж. Подробнее о задачах и методах рекомендательных систем здесь.

Мы предложили изменить ключевую метрику на увеличение прибыли от продаж. Однако Черепаха отказалась, потому что не хотела раскрывать финансовые документы стороннему поставщику.

Подробнее об этапах создания проектов в машинном обучении здесь.

Когда мы завершали стадию проверки концепции, Черепаха изменила интерфейс игры. Вместо одного товара дня игрок видел уже пять. Логика рекомендательной системы завязана на интерфейс страницы, с которой взаимодействуют игроки. Поэтому рекомендательную систему пришлось изменить. Изначально она целилась в показ игроку единственного и максимально правильного товара. А после изменений нужно было попасть, например, в три из пяти.

Изменения улучшили работу системы, но потребовали ресурсов и времени на переделки.

После проверки концепции рекомендательную систему необходимо было интегрировать в игру. Мы проговорили процедуру, подготовили и направили документацию Черепахе. Должно было быть так - с 12 ночи до 4 утра они с нашего сервера партиями запрашивают рекомендации. Запросы должны быть в формате 500 запросов по 10 000 рекомендаций для пользователей.

В итоге пришел запрос сразу на 500 000 рекомендаций, т.е. на всех игроков. Разумеется, система не выдержала.

Мы повторно проговорили процедуру с Черепахой.

И пришло 500 000 запросов на индивидуальные рекомендации. Система повторно не выдержала.

На подобные непреднамеренные DoS атаки уходят время и ресурсы. Если есть возможность вручную контролировать действия специалистов заказчика, то лучше воспользоваться опцией.

Рекомендательная система не выходила на устойчивые показатели работы.

Оказалось, что Черепаха параллельно с товаром дня в рекомендательной системе проводила другие активности. Скидки на сезонные товары, всплывающие окна с модными товарами. Это дублировало рекомендательную систему и не позволяло ей нормально работать. Все, что показывала рекомендательная система, посетители видели в других местах.

В итоге удалось устранить пересечения и оценить показатели эффективности рекомендательной системы.

В итоге рекомендательная система повысила продажи на семь процентов. Черепаха была довольна и ушла считать прибыль.

По итогу увеличение прибыли от применения рекомендательной системы составило 1-2 процента.

И для крупного бизнеса данный результат отличный. Это миллионы при оборотах в несколько миллиардов.

Наша Черепашка же, однако, заявила, что увеличение прибыли на 1-2 процента на данном этапе жизненного цикла продукта ей не интересно. А вкладывать деньги в полноценную интеграцию рекомендательной системы в игровой магазин опасно.

Проблемы из статьи типичны и показательны для многих проектов машинного обучения. Сложности с разработкой системы можно преодолеть. На это нужны ресурсы и деньги.

Неправильное целеполагание опаснее. Если бы мы изначально сумели отстоять замену показателей эффективности рекомендательной системы и построили ее вокруг прибыли от продаж, может быть заказчик получил бы лучший результат и продолжил работы по внедрению.

В целом выигрыш от машинного обучения нагляднее для крупного бизнеса. Среднему бизнесу отдача в 1-2 % не всегда интересна и понятна.

.