Задача для аналитиков: повысить эффективность поиска
С объявлением итогов конкурса.
Материал подготовлен при поддержке сервиса Юла
«Юла» — это сервис, где пользователи выкладывают свои объявления. На нём продаются квартиры и самодельные украшения, готовый бизнес или услуги — практически что угодно.
Поиск — один из самых важных продуктов сервиса. К поисковой выдаче относятся как запросы с текстовым поиском, так и запросы на выдачу объявлений в определённой категории и подкатегории.
Большинство запросов делается без дополнительных фильтров, но существенная часть пользователей их использует — отсеивают выдачу по цене или расстоянию, например.
В чём задача
Предложить изменения в поисковой выдаче, чтобы увеличить количество контактов по объявлениям. Контакт — это нажатие на кнопку «Позвонить» или отправка сообщения продавцу в чат.
В архиве — три CSV-таблицы. Это сырые логи запросов пользователей: как они искали объявления, какими фильтрами пользовались и связались ли с продавцами.
Аналитика может помочь вам решить задачу, но этот этап не является обязательным.
Условия и призы
На решение есть две недели: закончим принимать работы 28 октября в 23:59. Оценивать работы будет Егор Данилов, директор по продукту «Юлы». Он определит три лучших решения, прокомментирует свой выбор, а их авторы разделят призовой фонд следующим образом:
- Первое место — 300 тысяч рублей.
- Второе место — 200 тысяч рублей.
- Третье место — 100 тысяч рублей.
Что конкретно делать
В этой задаче нет правильного ответа. Вам нужно представить собственное видение в виде текста на одну-две страницы. Можете добавить в него таблицы или иллюстрации, дать ссылки на код, а затем загрузить в эту форму:
Помимо изменений, опишите, как будете оценивать результат эксперимента — на какие метрики будете смотреть и почему. Ещё нужно рассказать, что вы предпримите, если эксперимент уменьшит количество контактов по объявлениям.
Огромное спасибо всем, кто принял участие в нашем конкурсе. Мы не ожидали, что получим больше сотни работ.
Было сложно выбрать победителей: многие решения вращались вокруг схожих идей. Например, что нужно направить больше трафика на фильтры, которые лучше конвертируют поиски в контакты.
Как и говорилось в задаче конкурса, мы не оценивали предложенные решения с точки зрения вероятности их успеха. Мы выбрали победителей исходя из комплексной оценки работ по нескольким параметрам:
- Анализ данных.
- Умение построить гипотезы на основе данных.
- Аргументация решения, исходя из данных.
- Визуализация предложенного решения.
- Решение на случай, если предложенный эксперимент уменьшит количество контактов.
В результате в конкурсе победили:
1 место: Станислав Демченко
2 место: Константин Валиотти
3 место: Алексей Скуратов
Мы свяжемся с победителями по почтовому адресу, указанному в заявке.
Несколько комментариев по присланным работам:
- Задача была для аналитиков. Отличных идей было много, но предпочтение отдавалось решениям, где данные стали основой. Неважно, это анализ датасета или опрос знакомых — приоритет таких работ был выше, чем у построенных на личном опыте.
- Не все предложили сценарий на случай просадки метрик: часто озвучивался простой откат эксперимента. Но анализ неудачного эксперимента может дать хорошую пищу для дальнейших размышлений.
- Многие справедливо писали, что ключевая метрика успеха – сделки, а не контакты. Но для анализа влияния на сделки участникам нужно было бы потратить значительно больше времени, поэтому мы упростили задание.
- Многие уделили внимание технической стороне, но не менее важно понятно защитить свое решение: визуализировать его или логично вывести из анализа данных.
Глядя на работу победителя понимаю, что шансов не было.
У меня получилось, что формами с фильтрами пользуются мало, на контакты с продавцом это не влияет и я в эту сторону даже и не копал. К тому же данные неоднородные, чехарда с идентификаторами, которые не уникальные идентификаторы вовсе, несогласованность таблиц - строить какие-то гипотезы на таких данных, глубокое имхо, неприемлемо. Garbage in, garbage out. Для меня это повод сделать step back и посмотреть на систему сбору данных. И противоречивые выводы относительно одного и того же фильтра в работах победителей доказательство этому. Разве не задача аналитика сказать "Хей! Данные - мусор. Я не могу строить на их основе какие-либо гипотезы"?
Еще момент, что все эти "фильтры улучшайзеры" не дадут существенного эффекта. (ну а гистограмма цен, которую неподготовленный человек может и не прочитать и почувствовать себя идиотом - и вовсе очень спорный момент для широкой аудитории Юлы). И точку роста я искал в улучшении характеристик продукта, а не отдельных атомарных функций. Кажется, и Егор Данилов писал про "улучшательства" путем перекрашивание кнопок из одного цвета в другой.
Я уверен что ошибусь, если скажу, что работы были просмотрены по диагонали в последний момент, но на секунду мелькнула такая мысль и я ее мужественно прогнал. )
Но ребята все равно молодцы! Видно, что вложили душу и кучу времени! Поздравляю победителей! )
ps: ну и моя работа https://drive.google.com/open?id=1j2zHk9pJd-8rczZVRQXCTnWlRFal4zkA
Странно как это у вас получилось, потому что влияет и очень сильно.
Пользуются мало, потому что многие просматривают по умолчанию. Вообще сложилось впечатление, что Юла превратилось в некий развлекательный сервис "а что там у соседей" из за своего позиционирование "товары рядом". Люди от скуки открывают и смотрят ближайшие предложения. Если интересно вот разбивка данных что получилось у меня
https://docs.google.com/spreadsheets/d/19xLnP6LJYpjA5zH0NlQLF7fcsqhIQMmVAH_s_CRN8TA/edit?usp=sharing
Это и имелось ввиду. Параметры поиска пользователи не уточняют.