Как возвращать пользователей в приложение: кейс Яндекс.Маркета

Как онбординг способствует возврату пользователей в приложение и как при помощи команды разработки увеличить эффективность рекламной кампании. О кейсе приложения Яндекс.Маркета расскажет менеджер продукта Дмитрий Зимин.

Все, кто занимается разработкой мобильных приложений, знают, насколько высока конкуренция на этом рынке и как дорого обходятся платные установки приложения. В этой войне за пользователя всё чаще выигрывают не приложения с большим рекламным бюджетом, а с высоким показателем удержания (Retention).

Логика здесь проста:

• Чтобы реклама была эффективна, приложение должно зарабатывать на новом пользователе больше, чем маркетинг потратил на его привлечение (LTV > CAC).
• Чем дольше человек использует приложение, тем выше средний доход на пользователя (LTV).
• Чем выше средний доход на пользователя, тем больше денег можно потратить на его привлечение (CAC).

Рекламная кампания Яндекс.Маркета пришлась на март — апрель 2020 года, в самый разгар пандемии. Чтобы поднять эффективность рекламы, перед продуктовой командой стояла задача оперативно улучшить коэффициент удержания, то есть Retention Rate.

Повышение retention — задача сама по себе небыстрая. Да и в нашем приложении новые пользователи окупаются не сразу, и нам следовало бы ориентироваться на долгосрочное удержание. Но у нас мало времени: рекламная кампания уже идёт, и нет возможности проводить долгие эксперименты.

Но если нет времени наблюдать за долгосрочными изменениями, то, может быть, нам это и не нужно вовсе? Мы решили проверить, насколько коррелируют между собой долгосрочный retention (возврат на второй месяц, M2) и краткосрочный (возврат на следующий день, D1).

Наш аналитик приносит ответ: существует сильная корреляция между возвратами на следующий день после установки и возвратами в следующие два месяца. Значит, наша задача сводится к улучшению возврата на следующий день D1, а это даёт нужную оперативность.

Опыт других компаний подсказывает, что на краткосрочное удержание очень сильно влияет первая сессия: чем быстрее новый пользователь понимает, зачем ему нужно приложение, тем выше вероятность удержать его надолго (см. презентацию от Brian Balfor, слайд 18).

В нашем приложении, как это бывает со многими приложениями, первая сессия пользователя практически не проектировалась — пользователь просто попадал на главный экран, где ему было доступно сразу несколько сценариев и не все из них вели к базовым функциям. Это значит, что точка роста скорее всего лежит именно здесь, на этапе онбординга пользователя.

Наши догадки подтверждались отзывами в магазинах приложений, из которых видно, что часть людей воспринимала Яндекс.Маркет не как агрегатор, а как самостоятельный онлайн-магазин. Это значит, что они искали в приложении совсем другие функции (например, корзину или покупку).

Принцип проектирования онбординга достаточно прост:

1. Выбрать сегмент постоянных пользователей.
2. Выяснить, за что они ценят приложение.
3. Донести эти ценности новым пользователям как можно раньше.

Первый шаг самый простой — выделяем сегмент пользователей, которые пришли на второй месяц и сделали в сумме более четырёх запусков приложения. Будем считать, что это и есть наши постоянные пользователи. Чтобы связаться с этими пользователями, нужен телефон или email. Телефонов у нас нет, да и разрешения на звонки мы от пользователей не получали.

Мы знали e-mail части пользователей, и они давали разрешение на связь, но таких пользователей оказалось мало и после отправки приглашений мы не получили откликов — возможно, наши письма потерялись в забитых почтовых ящиках.

Последний вариант: встроить в приложение окно с выборочным приглашением пользователей на короткое интервью, но разработка и выкладка такой функции на обеих платформах потребует времени.

Однако некоторое время назад в мобильной версии Маркета мы встроили форму оценки клиентской лояльности (NPS), которая была нацелена на вернувшихся пользователей:

А поскольку функции мобильного сайта и мобильного приложения практически идентичны, то и ценности предлагают одинаковые.

Мы решили использовать результаты NPS-опросов: выбрали случайные 100 ответов с оценкой выше среднего и 100 ответов с оценкой ниже среднего и сгруппировали ответы.

В комментариях с высокой оценкой люди чаще всего отмечали:

1. сравнение цен,
2. большой ассортимент,
3. реальные отзывы.

В свою очередь, комментарии с низкой оценкой в основном касались качества поиска. Кажется, Поиск Яндекса задал высокую планку качества для всех сервисов экосистемы.

Теперь последний шаг — донести ключевые ценности до новых пользователей. Для этого мы решаем запустить эксперимент: в контексте мобильных приложений онбординг часто ограничивается показом пользователю нескольких последовательных экранов, в которых отражены основные функции и сценарии использования. Это самый простой и примитивный способ, но в условиях дефицита времени он подходил лучше всего.

Итак, мы сформулировали ключевую гипотезу:

С этой гипотезой дизайнер взялась за проектирование интерфейса.

В процессе она самостоятельно протестировала макеты на пользователях, чтобы убедиться, что люди корректно считывают, воспринимают и запоминают показанную информацию. Кстати, с недавних пор эти инструменты UX-тестирования открыты для публичного использования.

Кроме базовой версии онбординга, мы решили заодно протестировать пару вариантов с порядком и количеством экранов:

С комбинациями тоже важно соблюсти баланс: слишком большое количество вариантов требует большего времени на тестирование.

Практика показывает, что 90% экспериментов не показывают роста метрик, а это значит, что эксперименты нужно уметь проводить быстро и дёшево. В наших iOS и Android приложениях люди ведут себя примерно одинаково, и логично было бы провести эксперимент только на одной из платформ. В этом эксперименте все факторы указывают на потенциально успешный исход. Спринт разработки занимает две недели, сам эксперимент тоже будет длиться две недели, а, значит, первые результаты мы увидим через месяц. И если эксперимент покажет рост метрик, мы запустим разработку под другую платформу, и этот спринт тоже займет две недели, но времени у нас мало.

Мы решили рискнуть, вложив силы, и сделать два параллельных эксперимента. Если всё пойдет так, как мы задумали, то быстрее сможем раскатать на 100% пользователей и быстрее начнём удерживать аудиторию. На фоне значительных расходов маркетинга на рекламу, каждый день имел значение.

«Быстро — дешёво», в целом, прекрасная тактика для экспериментов. Но ситуации бывают разные, и всегда стоит смотреть на шаг вперёд и оценивать совокупный эффект.

Итоги первых двух недель запуска экспериментов были не очень радостными: подсчёт событий в iOS-версии вёлся некорректно и собранные данные не годились для анализа.

Получается, идея запускать параллельные эксперименты в iOS и Android оправдала себя и здесь: мы частично подстраховались от сбоев в экспериментах.

Честно говоря, в Android всё тоже пошло не совсем так, как планировалось: оказалось, что в эксперимент попали не только новые пользователи, но и текущие. Технически нам ничего не мешало выделить на этапе анализа нужную аудиторию, и мы решили не останавливать эксперимент, а использовать это как возможность. Такая "ошибка" позволила нам заодно посмотреть на поведение текущих пользователей, которые увидят онбординг, — вдруг их поведение тоже изменится.

Иногда и ошибки можно обернуть себе в пользу. Подумайте, может, ваш эксперимент можно расширить на какие-то сегменты и таким образом получить максимум информации.

Эксперимент показал рост retention D1 для новых пользователей на 13% в Android и на 5% на iOS.

Однако вместе с этим значительно выросли и другие поведенческие показатели:

• конверсия в клик в первую сессию выросла на 31%.
• конверсия в добавление товара в избранное выросла на 16%.

Образно говоря, приложение получило "общий оздоровительный эффект".

Анализ старых пользователей показал, что их метрики не поменялись. Никаких неожиданностей: они уже знают ключевые ценности продукта, потому и пользуются.

Результаты нам понравились, и мы запустили экраны онбординга на Android и iOS на всю аудиторию.

Высокий Retention означает больший доход с пользователя (LTV), а, значит, ваша рекламная кампания становится эффективнее: вы можете либо привлекать больше пользователей даже по высокой цене, либо привлекать столько же пользователей, но за меньший бюджет.

Если у вас в продукте стоит задача поднять удержание пользователей (retention) или уровень вовлеченности (engagement), то проектирование первой сессии (онбординг) может дать хороший результат. В первой сессии заложен мощный толчок роста, и мы это поняли на собственном опыте.

Очень рекомендую как можно раньше запрашивать у пользователей разрешение на контакт и, по возможности, номер телефона. Это сэкономит вам много времени на решение юридических вопросов, когда вы захотите пообщаться с пользователями и выяснить, что именно удерживает вашу аудиторию в вашем продукте.

Кроме того, иногда даже ошибки можно обернуть в возможности. В нашем случае мы бесплатно проверили влияние онбординга на старых пользователей.

Таким образом, идея сделать два параллельных эксперимента себя оправдала: мы подстраховались от технических ошибок и получили возможность быстро внедрить успешные результаты.