Лого vc.ru

Как адаптироваться к изменяющемуся поведению пользователей — три кейса Mail.Ru Group

Как адаптироваться к изменяющемуся поведению пользователей — три кейса Mail.Ru Group

Руководитель направлений Mail.Ru Group Ольга Курицына и бывший менеджер продукта Олег Паринов рассказали изданию Mind The Product о трех ситуациях, когда после запуска продукта пользователи повели себя не так, как ожидала команда — какие выводы они сделали и как смогли адаптироваться к изменившимся условиям.

Редакция vc.ru публикует перевод текста с разрешения авторов.

Поделиться

Мы как продуктовые менеджеры привыкли работать над качеством продукта вместе с пользователями. Общаемся с ними, выявляем потребности, формируем ценности продукта и получаем обратную связь. Убеждены, что продакт-менеджмент базируется на этих принципах. Мы продумываем пользовательские истории и персонажей, работаем над исследованиями и проводим юзабилити-тестирования, A/B-тесты и десятки экспериментов. И наступает момент, когда нам кажется, что мы очень хорошо знаем пользователя.

Длится это ровно до тех пор, пока пользователи не покажут себя совершенно с другой стороны. И тогда остается только сидеть с открытым ртом, глядя на экран, и думать: «Ого, серьезно? Так вот вы какие». Мы хотим рассказать три истории о наших продуктах и людях, которые ими пользуются. Начнем с истории о привлечении трафика.

У Mail.Ru огромная и неоднородная база пользователей, которые живут в самых разных регионах, сталкиваются с разными проблемами и говорят на разных языках. Поэтому мы считаем, что наш опыт может быть применим для менеджеров по продукту из других компаний. Сегодня поделимся с вами воспоминаниями в стиле «Ну… Это было неожиданно». Речь пойдет о следующих продуктах: главная страница Mail.Ru (на которую ежедневно заходят 15 миллионов пользователей) и «Mail.Ru для бизнеса». Поехали.

Неожиданный прирост аудитории

Мало что может привести к мгновенному росту трафика на главную страницу Mail.Ru. Поэтому мы удивились, когда количество просмотров десктопной и мобильной версий страницы однажды внезапно увеличилось.

Мы бросились искать причину необычного поведения пользователей. Первым делом грешили на технические неисправности: возможно, появились JS-ошибки или увеличилось среднее время загрузки страницы? Ранее мы замечали: если пользователь сталкивается с проблемой, то начинает обновлять страницу. Поэтому мы сразу проверили частоту обновления.

Еще какое-то время проверяли всевозможные технические проблемы — все было в порядке. Все, кроме непонятного скачка интереса к главной странице. Через несколько минут в офис зашел один из сотрудников и очень эмоционально поделился с нами новостью о победе сборной России по футболу. Мы снова открыли домашнюю страницу и увидели, что победа сборной была главной новостью к этому часу. По-видимому, чемпионат и стал хедлайнером новостной ленты.

Спорт продает

Проверили гипотезу — оказалось, что CTR новостного блока значительно увеличился и совпал с моментом пика просмотров страницы. Вместе с этим увеличилось число поисковых запросов на главной и переходов по ссылкам на социальные сети.

Статистика CTR и просмотров главной страницы во время и после футбольного матча

Выигрыш в крупном спортивном соревновании — одна из самых популярных новостей в интернете. Обойти ее может только новость о поражении команды. Подтверждаем, что увеличение аудитории — хороший «интересометр». Мы легко идентифицировали недавние пики популярности и провалы, сопоставив их по времени с прошедшими матчами.

Подготовка — наше все

В спортивных событиях лучше всего то, что вы всегда знаете, когда они произойдут. Поэтому к дню X можно подготовиться заранее. После этого матча мы создаем специальные логотипы по случаю радостного события. Такие картинки появляются сразу после победы в матче — так мы поздравляем пользователей.

Мы стали внимательнее относиться к событиям, которые могут повлиять на рост аудитории. Пики активностей и затишья мы стали воспринимать как показатель интереса пользователей. Например, мы заметили, что у людей огромный интерес к прямым эфирам с президентом. Во время таких выступлений наблюдалось значительное снижение использования интернета: люди переключались на телевизор. Тогда мы добавили ТВ-трансляцию прямого эфира в новости и анонсировали ее на главной странице.

Что мы узнали

Внезапный рост или провал на аудиторных графиках могут быть связаны не только с техническими проблемами. Иногда статистика иллюстрирует реакцию пользователей на события в стране и мире, и некоторые из них происходят за пределами вашего продукта и даже за пределами интернета.

Как мы пытались оптимизировать воронку и сломали ее

Посмотрим на другой наш продукт — «Mail.Ru для бизнеса». Сервисом пользуются владельцы бизнеса, которые хотят подключить доменное имя. Например, Greatstartup.com подключают к Mail.Ru, чтобы создать всем сотрудникам почту с именем компании: oleg@greatstartup.com.

Чтобы это сделать, пользователь должен ввести доменное имя и нажать большую зеленую кнопку «Подключить», а затем верифицировать свои права на домен.

Вот тут-то и начинаются проблемы. Чтобы подтвердить владение доменом, пользователь должен выполнить несколько трудоемких задач: добавить новые DNS-записи или загрузить на сервер определенные HTML-файлы. Поэтому некоторые пользователи сразу покидают страницу, даже не пытаясь выполнить нужные действия. Чтобы помочь растерявшимся пользователям, мы решили связаться с ними по телефону и помочь им закончить операцию.

Мы решили добавить к процессу проверки дополнительный шаг — сразу после кнопки «Подключить» попросили пользователей оставить нам контактные данные, в том числе номер телефона — и замерили на части аудитории, как это изменение влияет на общую воронку.

Конверсия 101

Самый распространенный и известный инструмент аналитики использования продукта — воронка. Он применяется для оценки конверсии — доли пользователей, которые перешли на следующий шаг или совершили конечное действие, например покупку или подключение домена. Метафора «воронка» означает сокращение численности клиентов на каждом этапе. То есть до конца доходят самые стойкие пользователи, которые не испугались, не заскучали и не разочаровались в продукте. Кажется очевидным, что дополнительный шаг уменьшает скорость преобразования воронки, а значит, снижает совокупную конверсию. Но насколько уменьшит показатель конверсии наше изменение?

Итак, мы решили провести экперимент, введя дополнительный шаг. Во время эксперимента мы не звонили пользователям, поэтому сформулировали-таки гипотезы, как изменится конверсия:

  1. Этот дополнительный шаг приведет к незначительному снижению скорости преобразования — около 30%.
  2. Снижение будет резкое — до 2–3 раз.
  3. Мы не увидим снижения вовсе.

Как вы думаете, что должно было произойти?

Большое открытие

Дополнительный шаг не уменьшил конверсию — наоборот, он увеличил ее до 15%. Мы просто задали пользователям пару вопросов, без заявлений, что готовы им помочь. Когда мы начали звонить пользователям и помогать завершить процесс верификации — конверсия увеличилась до 30%. Мы вновь удивились, как это было просто и круто. Конечно же, нам хотелось понять, почему один этот шаг привел к таким большим изменениям.

Существует особый психологический эффект, который называется «неуемная преданность». Люди, как правило, доводят задачу до конца, потому что вложили в нее время и усилия. В нашем случае пользователям стало намного легче оправдать сложный процесс после нажатия большой зеленой кнопки и заполнения нескольких полей. Человек инвестировал немного больше времени, и ему уже сложно остановиться на полпути. Предполагали ли мы такой эффект, когда начинали эксперимент? Конечно, нет! Мы не ожидали мегарезультата — скорее надеялись на минимальные потери.

Что мы узнали

Измерьте и проверьте все — и будьте готовы к тому, что все равно ошибетесь. Знание психологии пользователей играет огромную роль в успехе продукта вообще, а не только вашей фичи.

Ненужная помощь с верификацией

Вернемся к Mail.Ru для бизнеса и процессу верификации данных. Во время редизайна (которым продакт-менеджеры обычно занимаются с удовольствием) наш дизайнер предложил улучшить процесс взаимодействия с пользователями. Прежде чем сделать редизайн, мы решили им помочь и предоставили ссылку на пошаговые инструкции к процессу.

Идея дизайнера была проста: убрать ссылку на статью с инструкциями и вместо этого сразу в одном окне предоставить пользователю набор конкретных шагов для регистрации доменного имени. Идея казалась настолько логичной и правильной, что хотелось срочно ее реализовать.

Но для этого нужно было скорректировать несколько десятков статей, что занимает много времени. Прежде чем приниматься за переделки, мы решили применить к задаче MVP-подход, — изменить только одну статью о регистраторе и провести A/B-тестирование. Так мы хотели проверить, насколько новый подход поможет нашим пользователям..

Начните с малого

Мы реализовали первое изменение, показали его половине пользователей и стали ждать и отслеживать показатели нашего триумфа. Мы были уверены, что этот шаг приведет к увеличению конверсии, но нас интересовали реальные итоговые цифры. Увеличит ли это воронку в два раза или просто немного улучшит показатель? Или мы ошибаемся и конверсия не изменится вообще?

Мы вновь тотально ошиблись. Конверсия упала на треть, составив в итоге 66% от первоначального значения. Мы были потрясены и даже дважды все перепроверили, но результаты говорили сами за себя. Когда пользователь видел, сколько сложностей ему предстоит преодолеть, он просто капитулировал перед задачей и уходил с сайта.

Хорошо, что мы решили воспользоваться моделью MVP и A/B-тестированием! Это помогло не только сохранить время и усилия, но и узнать пользователей получше.

Что мы узнали

Даже если вы хорошо представляете последствия своих действий, часто бывает полезно все же провести A/B-тестирование. Так можно точно спрогнозировать, к чему приведет изменение продукта. Помните: вы всегда можете ошибаться. Сомнения, тестирование и измерения — ваше все.

Знание — суперсила

Даже если вы думаете, что великолепно знаете пользователей, они в любой момент могут вас удивить. Когда это происходит, появляются новые возможности для улучшения качества продукта.

Важно быть открытым для новых знаний, следить за поведением пользователей и понимать его, обращать внимание на внешние события. Будьте готовы меняться и реагировать на ожидания пользователей — но также будьте готовы совершить ошибку. Продумывайте все действия и тестируйте разные варианты. Больше знаний о пользователе — качественнее продукт.

Популярные статьи
Показать еще
Комментарии отсортированы
как обычно по времени по популярности

На мой взгляд, проблема с «Mail.ru для бизнеса» - не столько в том, что воронки не конверсионные, сколько в том, что подключением ПДД (почты для домена) - занимаются не те люди, кто должен это делать в принципе.

Когда босс говорит: "Валентина Петровна, сделайте нам на лендинг почту info@mysite.ru" и Валентина Петровна начинает читать про NS-записи, смену DNS-адресов и какие-то, о боже, мета-теги...

Вот тут и начинаются проблемы с воронками :)

0

потому телефонный звонок это спасительный круг для Валентины Петровны, что и показал описанный выше опыт

0

Валентина Петровна ловит сисадмина и далее этим вопросом занимается он. Ситуация двоякая, возможно стоит попробовать как в Директе, lite интерфейс и pro. И для каждого доносить инфу в пределах его компетенции.

Мейл не слышал такого, Гугл наше всё с купонами акции дешевле :))
Облако мейл, да ну его есть китайские или селектела
Мейл деньги никогда не заменят вебмани
ВК ой да это клон фейсбука
Снапстер копия инсты
Корпорация придумать может хоть что то новое и за меньшие деньги сервисы предоставлять?

Маркетологи, настоятельно прошу вас, когда расписываете все прелести А/Б тестирования, уточняйте что его эффективность пропорционально зависит от посещаемости ресурса, а то разработчики сайтов теряются когда магазин только открывшийся на этапе запуска требует проводить А/Б тестирование, потому что владельцы начитались как это круто и как увеличивает эффективность.

А как владельцы удивляються слитым бюджетам на тесты и кликандерам с овносайтов.

Когда я впервые узнал о таком явлении как А/B тесты, я подумал что это просто новый "золотой грааль", который позволит выжимать из трафика всё большую и большую конверсию. А потом узнал, что такое "репрезентативность выборки", и понял что в моем маленьком городе, для своих клиентов, с их маленькой посещаемостью сайтов, просто нереально проводить какие-либо А/Б тесты. На этом все и закончилось.

0

о божи, мэйл.ру снизошли до контент-маркетинга. оху*еть.

пишите еще, вроде норм получается.

Вывод статьи - не выёживаться и подходить к вопросам основательно. Есть отклонение - найти причину. И искать везде, а не только в одном месте.

0

Возможность комментирования статьи доступна только в первые две недели после публикации.

Сейчас обсуждают
Artem Agafonov

Аудитория у поисковиков разная. Это примерно как аудитория Одноклассников и Фейсбука.

«Клиенты хотят, чтобы агентство отвечало за прибыль»: что такое performance-маркетинг и как с ним работать
0
Yury Molodtsov

То есть вы еще и с Analytics и Метрикой все успели перепутать?)

«Яндекс» создал платный поисковик информации для бизнеса
0
Антон Лапшин
МИЛИ

а я давно уже говорю, что киберпанк наступил, только не все это ещё приняли

«Добро пожаловать в 2030 год»: член датского парламента о счастливой жизни без приватности и личных вещей
0
Alexander Kholodovitch
Privet Mobile

tjournal.ru/35996-pochemu-kreml-vo-vnukove-grigorii-bakunov-o-moskovskoi-bede-gps

«Яндекс» рассказал о решении проблемы сбоя GPS в районе Кремля
0
Александр Кобзов

Адрес - рабочий?

m@picturer – для рекламодателей

Бывшие сотрудники «Ленты.ру» и «Пикчер» запустили издание для родителей «Нет, это нормально»
0
Показать еще