Как мы провели хакатон по рекомендациям мемов с валидацией на живых юзерах

Проблема хакатонов: в течение двух дней ты делаешь проект, который потом выбросишь. Живые пользователи его увидят максимум в соцсетях, когда организаторы расскажут о проектах-победителях. А если твоя команда не выиграла, шанс, что вы доведете проект до первых пользователей, ничтожно мал. Короче, грустно это все. Я так выбросил проектов десять.

Звучит безумно. Но в этом случае ничто не пройдет незамеченным, участники получат не только субъективный фидбек малочисленного жюри, но и менее субъективные отзывы большого числа ЦА.

Я с командой делаю бота с бесконечной персонализированной лентой мемов. У нас есть живые пользователи и много данных. Нам нужно улучшать рекомендательную систему. Так пусть участники хакатона напишут ее и порекомендуют мемы некоторым пользователям! Мы им их покажем, замерим результат, сделаем лидерборд и оценим не только идею алгоритма и презентацию, но и реальный результат.

T; DR

Представим, что участники хакатона отгрузили рекомендации мемов. Теперь надо, чтобы живые пользователи их посмотрели. Чтобы не ждать результатов несколько дней, мы заранее спросили у наших пользователей, кто готов зайти в 16:00 в воскресенье в бота и посмотреть 20 мемов. Важно, чтобы в то время, пока участники «защищают» свои решения (1-2 часа), живые пользователи оценили рекомендации.

Конечно, не все согласившиеся пользователи зайдут вовремя в бота. Мы им, конечно же, напомним об этом несколько раз через бота, но он может быть замьючен. Нужен еще один канал связи. Пришла идея создать событие в календаре, экспортнуть его в файлик и разослать его пользователям: один клик -- и сам телефон напомнит вам: пора зайти в бота и смотреть мемы. Замерить конверсию, к сожалению, не удалось.

Участникам мы выдали три таблички:

Если вдруг все пойдет не по плану и вовремя никто из пользователей не посмотрит рекомендованные мемы, нам нужно хоть как-то оценить решения участников. Поэтому выгрузка данных производилась за несколько дней до хакатона с расчетом на то, что за это время пользователи посмотрят мемы, которые частично совпадут с рекомендациями участников. По факту пересечение «просмотренные мемы после выгрузки и до хакатона» и «порекомендованные участниками мемы» оказалось 6%.

Для хакатона мы разработали специального телеграм бота, который раздавал командам списки пользователям, кому рекомендовать мемы и через которого они загружали свом рекомендации (csv файлик как на Kaggle). Бот проверял, что команда порекомендовала существующие мемы выданным пользователям, которые они еще не видели (с учетом даты выгрузки данных).

В субботу все участники хакатона разбились по командам. Каждой команде нужно было выдать живых пользователей, кому они порекомендуют мемы. Как их правильно разделить так, чтобы у всех получились максимально одинаковые группы? По какой метрике считать эту «одинаковость»?

Решили отсортировать людей по количеству просмотренных мемов и по очереди раздать их командам. Таким образом, у всех были как новые юзеры (проблема холодного старта), так и супер-пользователи (большая история, лучше качество).

Сейчас я понимаю, что логично было замерять качество мем-рекомендаций отдельно на разных когортах пользователей: какой-то алгоритм круче справляется с холодным стартот, а какой-то лучше анализирует большую историю просмотров.

Больше чисел и графиков можно найти у меня в Телеграм канале.

Основные направления алгоритма рекомендаций, затронутые участниками хакатона:

К сожалению, участников хакатона было немного и в основном это были люди без опыта — у большинства наш хакатон был первым. Поэтому ничего прорывного на выходе не получилось, однако некоторые идеи из презентаций участников мы все-такие подрезали себе. 😇 Лучше всего пользователям зашли алгоритмы 2. и 4.

Спасибо ребятам из Phystech.Genesis за организацию хакатона.

Цель хакатона была не улучшить наш алгоритм рекомендаций и не привлечь внимание к проекту. Хотелось попробовать подключить живых пользователей в оценивание команд. Я считаю, что у нас это получилось! Участники в восторге, юзеры бота горды, организаторы счастливы. Можем повторить!

Хотели бы вы поучаствовать в следующем нашем хакатоне? Что бы вы изменили в его организации? Напишите об этом в комментарях, я буду очень благодарен.