Маркетинг Olga Kovalieva
5 877

Шесть экспериментов от Skyscanner, которые принесли рост мобильному приложению

Главный growth-менеджер в Skyscanner Катерина Тониоло (Caterina Toniolo) рассказала на Epic Growth Conference о том, как команда проверяла гипотезы и проводила эксперименты.

В закладки

Сайт Skyscanner посещают 60 млн уникальных пользователей в месяц, а приложение скачали более 70 млн человек. Продукт позволяет искать авиабилеты на различных устройствах, не только десктопных и мобильных, но и через Cortana, Alexa, Apple Watch.

Главные сложности на пути к Mobile First стратегии

Перед тем как запустить эксперименты, необходимо определиться с главной метрикой в продукте. Для Skyscanner «путеводная метрика» — Total Transaction Value или общая цена сделки сроком в 12 месяцев. Для команды это значит, что необходимо увеличить общую стоимость транзакций за ближайшие 12 месяцев.

В своей практике Skyscanner использует маркетинговую модель AARRR, в которую входят так называемые «пиратские» метрики: привлечение, активация, удержание, рефералы и выручка. Удержание (retention), как и для явного большинства компаний, — важнейшая метрика, которая показывает процент пользователей, которые возвращаются в продукт.

Команда роста Skyscanner максимально сфокусирована на стратегии Mobile First, потому что всё больше пользователей travel-вертикали используют мобильные приложения, а не ноутбуки, для планирования своих путешествий.

Однако на пути к стратегии Mobile First много препятствий. В случае Skyscanner препятствия заключены в самом продукте, который изначально разрабатывался как веб-сайт, а не как приложение. Другие нерешённые вопросы — кроссплатформенность, гало-эффект, атрибуция, диплинки и работа с данными.

Кроссплатформенность и гало-эффект. В первую очередь перед запуском тестов продактам необходимо рассчитать показатель LTV (life-time value, пожизненная ценность клиента). Для этого необходимо понимать поведение пользователей на различных устройствах. Но, если авторизация не обязательна, как в Skyscanner, это становится сложной задачей.

Другой важный момент — понимание гало-эффекта и того, как он влияет на деньги компании, а именно: сколько тратится на привлечение пользователей в приложение и на увеличение органического привлечения. Для этого чрезвычайно важно понимать общее поведение пользователей и показатель LTV.

Атрибуция. Самая популярная модель атрибуции — last-click, атрибуция по последнему клику, но работает она далеко не для всех компаний.

Например, Skyscanner достиг такого масштаба, при котором атрибуция по последнему клику перестала работать. Skyscanner низкомаржинальный продукт, и компания старается выжать максимум из ресурсов. Поэтому команда определила для себя модель мультитач-атрибуции, которая позволяет кратно увеличить масштабы роста.

Диплинки. Крайне важно предоставить пользователю максимальный комфорт как при взаимодействии с сайтом или приложением, так и при переходе между этими платформами. Но работать с диплинками не так просто, как с обычными веб-ссылками.

Данные. С одной стороны, есть рынок приложений, который даёт различные источники и полезные типы данных. С другой, команда должна приложить огромные усилия, чтобы всё обработать и убедиться, что это не разобщённые данные.

Тестирование гипотез и эксперименты роста в Skyscanner

В любой компании рост всегда должен быть поставлен на практику. Чем больше вы тестируете, тем больше открываете для себя возможностей вырасти.

Эксперимент с гало-эффектом

Гипотеза: если на индийском рынке увеличить количество платных установок в день, количество органических установок тоже вырастет.

Метрики: органические загрузки.

Результат: как итог пять итераций теста — удалось добиться оптимального эффекта ореола: одна органическая установка на 1,6 платных установок. Команда тестировала разные варианты расходов в день, чтобы найти тот оптимальный. Начали с 500 платных установок в день, потребовалось пять платных установок, чтобы одна стала органической. Но после того как был найден оптимальный уровень в 2400 платных установок, коэффициент прироста закрепился на уровне 1,6.

Эксперимент по оптимизации приложения в App Store

Эксперимент Skyscanner про возможности роста на российском рынке.

Гипотеза 1: если в iTunes Connect добавить релевантные ключевые слова, то можно увеличить рейтинг этих ключевых слов и в App Store.

Гипотеза 2: ключевые слова в описании приложения в App Store помогут увеличить рейтинг приложения и количество загрузок из России.

Мы проанализировали описание приложения на русском языке и выяснили, что из доступных 100 символов мы использовали только 95. Одно из слов составляло целых 12 символов (14% от всей длины описания!). Мы решили использовать два слова вместо одного.

Использование прилагательных — ещё один потенциал для роста. Благодаря им можно обеспечить намного большее разнообразие ключевых слов. Есть, конечно, такие высокочастотные ключевые слова, как «автомобиль». Однако они сильно конкурировали бы с другими словами и при этом не были бы максимально релевантными. Вдобавок мы начали учитывать ключевые слова, которые автоматически предлагались на iOS.

В итоге команда создала новый список ключевых слов. Основным показателем успеха стало увеличение рейтинга, вторичной метрикой были органические загрузки. Согласно гипотезе, успехом станет увеличение рейтинга путём замены как минимум 50% ключевых слов.

Метод: Skyscanner применил двухвыборочный t-тест и использовал два разных набора данных с уровнем достоверности в 95%, чтобы сравнить их между собой и узнать, какой победит. Первая группа изучала средний рейтинг за три месяца до начала эксперимента. Вторая группа изучала данные, полученные в ходе эксперимента, спустя один месяц после теста.

Результат: команда улучшила рейтинг более 50% ключевых слов.

В результате мы получили ещё один вывод: возможности для оптимизации повсюду, даже там, откуда не ждёшь.

Совет: делайте двухвыборочные t-тесты.

Эксперимент с оптимизацией приложения в Google Play

Гипотеза: если разместить флаг РФ на значке приложения в Google Play, это увеличит количество органических установок из России.

Команда Skyscanner создала нулевую гипотезу — это такая гипотеза, которую исследователь пытается опровергнуть, доказать обратное. Чтобы опровергнуть гипотезу, Skyscanner установил минимальный обнаруживаемый эффект — через 14 дней после запуска теста увидеть увеличение органических установок на 4,25%.

Результат: с флагом на иконке в Google Play количество органических установок локальной версии приложения снизилось на 4,8%. Мы потерпели неудачу, но вынесли важный урок.

Эксперимент с платной оптимизацией для привлечения пользователей

Гипотеза: с помощью платной оптимизации можно повысить конверсию.

Используя анонимные ID в мобильном трекере AppsFlyer, мы отслеживали конверсию в приложении и оптимизировали расходы на те ID, которые показывали лучший перформанс.

Метрика: рост ROI.

Результат: в первой итерации ROI вырос на 3%. В результате дальнейшей оптимизации расходов на анонимный ID с самыми результативными показателями, ROI увеличился ещё на 66%. Этот эксперимент был признан одним из самых эффективных в Skyscanner и теперь практикуется каждый месяц.

Эксперимент с оптимизацией рейтинга

Гипотеза: если предложить пользователям ставить рейтинг прямо в приложении, количество рейтингов в App Store вырастет.

В мобильном приложении Skyscanner оставить отзыв можно было за два шага. На первом этапе пользователей спрашивали, нравится ли им приложение. Тем, кто отвечал положительно, предлагали поставить звёздочки в App Store. Здесь команда решила убрать первый шаг и направить пользователей сразу в App Store. Целью эксперимента было увеличение количества отзывов и органических загрузок. До эксперимента средний рейтинг составлял 4,36 балла.

Метрика: общее количество отзывов, средний рейтинг звезд в приложении и количество органических загрузок.

Результат: средний рейтинг не изменился, зато количество отзывов увеличилось на 48%. После этого решено было повторить тест в масштабах всего мобильного продукта Skyscanner.

Мы также заметили увеличение органических загрузок, но прямую связь с экспериментом не нашли.

Эксперимент с взаимодействием и вовлечением

Гипотеза: если разместить в поисковой строке направление «Звёздные войны», коэффициент вовлечения пользователей увеличится.

Эксперимент проводился в течение одного дня, на Пасху. В строке поиска вместе с рекомендациями и выгодными предложениями были добавлены планеты из вселенной «Звёздных войн» с выдуманными описаниями, иллюстрациями и ценами.

Результат: уровень взаимодействия со строкой для поиска увеличился на 27,5%. Кроме того, были выявлены возможности роста с этим элементом.

Больше докладов по продуктовому росту — в Telegram-канале @epicgrowth.

#маркетинг

Материал опубликован пользователем. Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать
{ "author_name": "Olga Kovalieva", "author_type": "self", "tags": ["\u043c\u0430\u0440\u043a\u0435\u0442\u0438\u043d\u0433"], "comments": 4, "likes": 20, "favorites": 35, "is_advertisement": false, "subsite_label": "marketing", "id": 39367, "is_wide": false, "is_ugc": true, "date": "Tue, 05 Jun 2018 11:13:18 +0300" }
{ "id": 39367, "author_id": 113365, "diff_limit": 1000, "urls": {"diff":"\/comments\/39367\/get","add":"\/comments\/39367\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/39367"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 199113, "possessions": [] }

4 комментария 4 комм.

Популярные

По порядку

3

буду первым, кто скажет "спасибо". интересные ходы

Ответить
0

Платные установки - это мотивированные или установки пришедшие с рекламы?

Ответить

–1

С каких пор на IT-конференциях начали использовать стандартные шаблоны из поверпойнт?

Ответить
0

вы считаете это главным?

Ответить
0
{ "page_type": "article" }

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Нейронная сеть научилась читать стихи
голосом Пастернака и смотреть в окно на осень
Подписаться на push-уведомления
{ "page_type": "default" }