Кейсы удачных экспериментов «Яндекс.Навигатора»

Продуктовая команда «Яндекс.Навигатора» поделилась, какие проводит эксперименты, как организована работа внутри, как монетизирует продукт и какие подходы использует в предиктивной аналитике.

Epic talks — проект Epic Growth, где мы общаемся с командами про отработанные процессы, проверку продуктовых гипотез, аналитику и многое другое.

Внутри Навигатора у нас несколько продуктовых команд, у каждой из которых есть свой фокус. Фокус задает направление развития продукта. Например, одна команда занимается ведением по маршруту, другая фокусируется на поисковом сценарии. В отличие от сформированной продуктовой команды, фокус может измениться со временем. Обычно в каждой команде есть менеджер по продукту, дизайнер и разработчик.

У нас сейчас два аналитика, поэтому они работают для нескольких продуктовых команд. Преимущественно задачи аналитика делятся на два типа.

Первый тип — adhoc-задачи, которые нужно быстро посчитать, либо задачи, требующие проверки написания кода. Второй тип — это исследовательские задачи, в которые нужно погружаться всей командой. В таких задачах нет разделения на исполнителя и заказчика. Весь процесс исследовательских задач очень похож на обход растущего дерева: мы генерируем гипотезы, а потом их проверяем. Во время их опровержения или подтверждения возникают новые гипотезы.

Мы стараемся угадывать, куда человек поедет и предлагать ему «destination suggest». Например, пользователь открывает навигатор, а приложение предлагает поехать по наиболее частым маршрутам следования. Сейчас у нас уже порядка 13% маршрутов так строится. Этот показатель постоянно растет. Мы занимаемся улучшением предсказательной модели, смотрим, как она влияет и насколько удобнее становится пользователю.

Еще один пример успешного эксперимента — редизайн интерфейса с использованием обычной изоленты. Так как у нас специфический продукт, тестировать Я.навигатор сидя за столом — пустая трата времени. В какой-то момент мы смотрели на интерфейс Я.навигатора и поняли, что в нем много дублирующей информации.

Первый фидбэк, которой появился — это «понимаю куда ехать, но непонятно когда приеду». Мы взяли ножницы и немножко отрезали так, чтобы было видно время приезда. Нас удивила позитивная обратная связь. Люди спокойно добирались до места без информации, которая была заклеена черной изолентой, при том, что ехали по незнакомому маршруту.

Раньше мы использовали подход тестирования гипотез каждый понедельник с двух до четырех часов. Цель была ввести в привычку у менеджеров по продукту проверять какую-то новую гипотезу, тестировать новое решение, подготовить прототип, провести глубинное интервью. После того, как мы поняли, что это стало обыкновением для каждого, мы изменили систему.

Мы сделали это в форме мероприятия в пятницу, где каждый делился своими впечатлениями о тестировании проведенных гипотез. Мы привлекли к этому продактов не только из Навигатора, но и из Геосервисов. Мы составили рейтинг сотрудников, где каждый получал за свои исследования звёздочки.

Это было после того, как сначала небольшая команда прошла курс по дизайн-мышлению. Это был онлайн-курс, но с оффлайн частью, которая требовала выполнения задач всей командой. Когда мы поняли, что этот подход пользуется популярностью внутри компании, мы начали самостоятельно проводить курс для менеджеров по продукту из Геосервисов. Мы успешно внедрили эту инициативу, и в дальнейшем это помогло внутреннему росту сотрудников.

Все аналитические гипотезы мы ведём в системе управления задач. Следовательно, это помогает нам проанализировать их количество и применить в дальнейшем расчеты, которые были проведены для исследований. В среднем в квартал у нас десятки разных задач на генерацию гипотез, потом их подтверждение или опровержение. Оценить их, наверное, можно сотнями.

Кейс с парковками. Сейчас навигаторы настроены просто довести тебя до конечного пункта и не помогают, например, найти свободное парковочное место для машины. Мы решили постепенно к этому приблизиться. Вначале мы добавили слой пробок, на котором показали, где можно стоять, потом добавили цены на парковки, потом оплату парковок.

Нам хотелось сделать продукт максимально выгодным для пользователя. Но задача с показом свободных мест на парковке оказалась для нас непростой. Мы протестировали разные гипотезы отслеживания свободных мест на парковке. Но все гипотезы не подтвердились. Сейчас мы решили использовать этот сервис в микро маршруте. Микромаршрут – построение маленького кольцевого маршрута вокруг точки назначения, чтобы пользователь не сбился с пути и нашел парковку.

Неудачным кейсом для нас является тот эксперимент, в котором при анализе метрик мы замечаем, что люди чаще стали залазить в настройки, чтобы отключить новую фичу. Такое произошло, когда мы заменили привычный интерфейс на другой, более конструированный, на наш взгляд. В итоге, люди начали меньше использовать навигатор.

У нас есть предложение, которое основывается на прошлых поездках пользователя и предлагает автоматически сохраненные маршруты. Это машинное обучение в продукте.

Также мы используем классическую модель прогнозирования. Мы выделяем из поведения пользователя составляющие – это сезонность, время, в том числе смотрим на недельный срез, учитываем критерий региона и проводим тренд. Суммируя все это, получаем прогноз на будущее.

Так как у нас два региона — это Россия и Турция, показатели частотности использования продукта различаются. Например, в России аудитория растет по будням, а в Турции на выходных.Также у нас есть прогнозы как важных KPI метрик, так и тех, которые потенциально могут стать KPI метриками.

Прогнозные данные мы используем не только в аналитике, но и в разработке. Когда мы прогнозируем пробки по времени маршрута, учитывается тренд на ближайшие полтора часа. Данная разработка внедрилась за счёт проведения экспериментов, работы с аудиторией.

Для нас одна из основных метрик — качество. Соответственно, мы считаем относительную ошибку этого показателя и смотрим, как показатель изменился после внедрения прогноза пробок. Также мы учитываем его в рамках различных условий. Например, история использования продукта в час пик на дорогах или использование на растущих пробках. Это важно, потому что ситуация на дорогах меняется очень быстро, и навигатор должен уметь это учитывать.

Когда мы смотрим на срез данных, мы учитываем статистику не только за весь день, но и принимаем во внимание каждый отдельный срез, который может очень сильно отличаться от позитивной динамики целого дня.

Сейчас геосервисы в компании Яндекс — это отдельные бизнес-юниты. Поэтому мы стараемся найти хорошие формы монетизации для Яндекс.Навигатора. Мы провели несколько экспериментов, запустили пару лет назад пины по маршруту – это самый лайтовый формат, он хорошо рассказывает про то, в какой локации расположен твой бизнес.

Мы также ищем разные форматы, как можно внутри навигатора нативно помочь рекламодателю дотянуться до автомобилиста. Помимо этого, мы используем такие рекламные форматы как билборды, которые висят в интерфейсе продукта при следовании по маршруту.

У нас есть спецпроекты, которые создают некоторую эмоцию у человека. Мы вместе с рекламодателем формируем месседж о том, что человеку классно сделать в ближайшее время. Например, у нас были спецпроекты с использованием дополнительных голосов в навигаторе. Или, например, к столетию Porshe, мы заменили стрелку- курсор, который ведет тебя по маршруту, на модель Porsche.

Мы стараемся полезно предложить, куда человеку поехать. Например, сейчас у нас тестируется такой формат, когда пользователь построил маршрут, и мы знаем, что прямо по дороге есть МакАвто. Если время маршрута не сильно отличается, то мы предложим ему с помощью одной кнопки, добавить в сценарий Макавто.

Это классный формат. Во-первых, потому что у него высокие конверсии, а, во-вторых, потому что он супер контекстный.

Мне помогают вещи, которые расширяют мой профессиональный кругозор и не связаны напрямую с областью работы. Например, компания IDEO, которые являются главными создателями исследований на тему дизайн-мышления в мире. У них есть гайд, где они перечисляют, какие исследования они применяют с кейсами Design Kit.

Это очень похоже на подход в программировании, когда придумываются новые алгоритмы. Они придумываются путем заимствования из уже существующих в жизни вещей.

***

Больше докладов по продуктовому маркетингу — в Telegram-канале @epicgrowth.