Задача для аналитиков: повысить эффективность поиска
С объявлением итогов конкурса.
Материал подготовлен при поддержке сервиса Юла
«Юла» — это сервис, где пользователи выкладывают свои объявления. На нём продаются квартиры и самодельные украшения, готовый бизнес или услуги — практически что угодно.
Поиск — один из самых важных продуктов сервиса. К поисковой выдаче относятся как запросы с текстовым поиском, так и запросы на выдачу объявлений в определённой категории и подкатегории.
Большинство запросов делается без дополнительных фильтров, но существенная часть пользователей их использует — отсеивают выдачу по цене или расстоянию, например.
В чём задача
Предложить изменения в поисковой выдаче, чтобы увеличить количество контактов по объявлениям. Контакт — это нажатие на кнопку «Позвонить» или отправка сообщения продавцу в чат.
В архиве — три CSV-таблицы. Это сырые логи запросов пользователей: как они искали объявления, какими фильтрами пользовались и связались ли с продавцами.
Аналитика может помочь вам решить задачу, но этот этап не является обязательным.
Условия и призы
На решение есть две недели: закончим принимать работы 28 октября в 23:59. Оценивать работы будет Егор Данилов, директор по продукту «Юлы». Он определит три лучших решения, прокомментирует свой выбор, а их авторы разделят призовой фонд следующим образом:
- Первое место — 300 тысяч рублей.
- Второе место — 200 тысяч рублей.
- Третье место — 100 тысяч рублей.
Что конкретно делать
В этой задаче нет правильного ответа. Вам нужно представить собственное видение в виде текста на одну-две страницы. Можете добавить в него таблицы или иллюстрации, дать ссылки на код, а затем загрузить в эту форму:
Помимо изменений, опишите, как будете оценивать результат эксперимента — на какие метрики будете смотреть и почему. Ещё нужно рассказать, что вы предпримите, если эксперимент уменьшит количество контактов по объявлениям.
Огромное спасибо всем, кто принял участие в нашем конкурсе. Мы не ожидали, что получим больше сотни работ.
Было сложно выбрать победителей: многие решения вращались вокруг схожих идей. Например, что нужно направить больше трафика на фильтры, которые лучше конвертируют поиски в контакты.
Как и говорилось в задаче конкурса, мы не оценивали предложенные решения с точки зрения вероятности их успеха. Мы выбрали победителей исходя из комплексной оценки работ по нескольким параметрам:
- Анализ данных.
- Умение построить гипотезы на основе данных.
- Аргументация решения, исходя из данных.
- Визуализация предложенного решения.
- Решение на случай, если предложенный эксперимент уменьшит количество контактов.
В результате в конкурсе победили:
1 место: Станислав Демченко
2 место: Константин Валиотти
3 место: Алексей Скуратов
Мы свяжемся с победителями по почтовому адресу, указанному в заявке.
Несколько комментариев по присланным работам:
- Задача была для аналитиков. Отличных идей было много, но предпочтение отдавалось решениям, где данные стали основой. Неважно, это анализ датасета или опрос знакомых — приоритет таких работ был выше, чем у построенных на личном опыте.
- Не все предложили сценарий на случай просадки метрик: часто озвучивался простой откат эксперимента. Но анализ неудачного эксперимента может дать хорошую пищу для дальнейших размышлений.
- Многие справедливо писали, что ключевая метрика успеха – сделки, а не контакты. Но для анализа влияния на сделки участникам нужно было бы потратить значительно больше времени, поэтому мы упростили задание.
- Многие уделили внимание технической стороне, но не менее важно понятно защитить свое решение: визуализировать его или логично вывести из анализа данных.
На первом месте предложения:
отсекать слишком низкие цены (не релевантные товары),
и по у молчанию активировать фильтр дистанции до продавца (что и так было).
Юла, вам просто хотелось понять, что вы и так сделали что могли. Ну это мизерные предложения, конверсию они вам мало изменят, очевидно)
Сергей, мы не оценивали предложения. Без проверки в продукте невозможно понять, какое из них хорошее, а какое плохое. Мы оценивали умение проанализировать данные, построить гипотезы на основе них, предложить решения и обработать случай если гипотеза не подтвердилась.
Продолжим.
Станислав: "Вторая гипотеза заключается в большей важности сортировки по дистанции ... Из данных видно, что те, кто совершают контакт чаще пользуются сортировкой по дистанции."
В этом месте хочется пошутить про каких-то хакеров, которые сумели выйти в электрическую сеть.
Дело в том, что пользователь осознаёт, что намеревается приобрести товар у другого такого же пользователя. Бесплатной доставки не будет. Для преодоления расстояния до продавца, чтобы приобрести товар, придется потратить время и деньги. Это те затраты, которые пользователь суммирует с указанной ценой товара, чтобы получить конечную реальную цену.
Это Капитан Очевидность. Довольно странно это вообще анализировать в таком конкурсе.
"Обработать случай если гипотеза не подтвердилась" в работе Станислава вообще отсутствует даже формально. Не осуждаю по той причине, что указал постом выше.
Но при этом я всё-таки выполнил условие конкурса:
"Метрики работоспособности идеи – количество и частота использования фильтров, количество возвратов на сайт для продолжения/возобновления поиска. Первый риск в том, что мои предложения тесно взаимодействуют с визуальной (для пользователя) реализацией. То есть идея может не работать полностью или частично по причине неудобного для пользователя дизайна. Но это решается методом проб и ошибок. Второй риск в том, что механизм окажется интуитивно непонятным. Пользователей надо научить. Если эксперимент уменьшит количество контактов по объявлениям, то в первую очередь нужно проанализировать процесс реализации эксперимента."
Итого. При сравнении работ мои анализ и решения оказались на порядок более глубокими и в хорошем смысле сложными, чем у Станислава. Анализ - это не калькулятор с очевидными выводами, а умение правильно определить точки входа/выхода процессов.