Как увеличить конверсию в установки при помощи экспериментов в сторах

Оптимизация CTI при помощи ASO — Кейс приложения «Везёт».

Оптимизация страниц в сторах (ASO) — один из действенных инструментов увеличения установок, причем недорогих.

Меня зовут Андрей, я из сервиса заказа такси «Везёт», одного из крупнейших в России (мы работаем в более 120 городах России), отвечаю в компании за контекстно-медийную рекламу и ASO. Я набил несколько шишек и съел несколько собак на увеличении конверсии в сторах — и делюсь ими с вами.

У ASO есть две главные функции — рост органического трафика и оптимизация конверсии из просмотров страницы в установки (CTI или Click to Install).

В этой статье подробно рассмотрим второй пункт про CTI, а первый, если вкратце: комплекс мер, направленных на рост органического трафика, в первую очередь работа с ключевыми словами, чтобы приложение оказалось как можно выше по нужными ключевым запросам.

Почему работа над CTI столь важна? Поясню на примере: допустим, в вашем приложении на Google Play 10 тысяч установок в день, вы решили поставить новую иконку — увидели рост CTI на 3%. Казалось бы, всего лишь 3%, это 300 установок в день или 9000 установок за месяц.

Выходит, вы получаете полноценный дневной объем установок в месяц, только обновив один из элементов!

А если представить, что ARPPU365 вашего продукта (средний доход на платящего пользователя за год) 5000 рублей (подставьте свой вариант), CR из установки в клиента 10%, получаем 900 клиентов х 5000 = 4,5 млн рублей дополнительной выручки в следующем году. Только за счёт дополнительно привлечённых благодаря CTI-оптимизации пользователей!

Инструменты для сплит-тестирования

Мы проводили бесконечные эксперименты, чтобы точно понять, как повлияет тот или иной элемент на CTI. Для Google Play использовали родной инструмент экспериментов из консоли, а для App Store — сторонний платный сервис Splitmetrics.

Splitmetrics позволяет тестировать различные элементы на отдельной веб-странице, имитирующей реальную страницу сторов.

В отличие от Google Play, в App Store нельзя протестировать изменения на органическом трафике, но ссылку из Splitmetrics можно поставить в смарт-баннер на сайте (который всплывает вверху). Трафик на iOS мы привлекали при помощи каналов Google Ads (КМС) и Facebook Ads, так как они без проблем воспринимают кастомные ссылки.

Завершение эксперимента происходит, когда он достигает статистической значимости. Это можно понять по рекомендации системы или путем собственного анализа полученных цифр.

Система тестирования ожидает получения нужного количества данных и их значимого распределения между всеми вариантами. Но бывает, что эксперимент настолько неопределённый, что ждать приходится очень долго. Это критично, если вы тратите деньги на тестовый трафик либо если какой-то из вариантов явно хуже, но система этого ещё не видит, а вы тем временем теряете пользователей. В этом случае есть смысл посмотреть текущие цифры и принять решение об остановке эксперимента в пользу наиболее эффективного варианта.

Кстати в Splitmetrics есть возможность перераспределить трафик при помощи метода «многорукого бандита» (Multi-armed bandit routing): больше трафика идет в пользу теста-“победителя”, помогая нарастить статзначимость лучшего варианта для завершения эксперимента.

Элементы для теста

Если вы используете внутренний инструмент Google Play, то протестировать можно:

  • Иконку (значок).
  • Картинку над описанием (только при наличии проморолика).
  • Скриншоты.
  • Проморолик.
  • Краткое описание.
  • Полное описание.

В Splitmetrics для Google Play можно в дополнение к родной консоли также протестировать заголовок, цену и рейтинг с отзывами.

Эксперимент для App Store в Splitmetrics позволяет протестировать практически все элементы:

  • Иконка.
  • Скриншоты.
  • Видеоролик.
  • Рекомендательный баннер.
  • Название.
  • Подзаголовок.
  • Описание.
  • Цена.
  • Рейтинг и отзывы.

Можно тестировать как один элемент в нескольких вариантах, так и сразу несколько элементов (мультивариантное тестирование). Имейте в виду, что чем больше вариантов вы тестируете, тем больше трафика потребуется, и, соответственно, сам тест займёт больше времени.

Успешные эксперименты

Распределение элементов по частоте тестирования продиктовано уровнем влияния на CPI данных этих элементов и разнообразие вариантов креативов. Мы тестировали следующие элементы (по убыванию частоты тестов):

  1. Скриншоты.
  2. Иконки.
  3. Ролики.
  4. Краткое описание.
  5. Рейтинг.

Эксперимент со скриншотами

Для первого теста мы решили использовать варианты с разными посылами и разной стилистикой картинок, чтобы максимально их дистанцировать друг от друга. В последующих тестах мы уже скрещивали посылы и стилистики между собой.

Вариант с машиной
Вариант с телефоном

В результате первого же теста мы увидели, что креатив с машиной оказался заметно эффективнее стандартного варианта с телефоном. В итоге раскатали его на всех пользователей, и CTI вырос почти на 3%!

На скриншоте результата эксперимента видно, что установки росли именно с варианта «с машиной»:

Мы провели еще множество других тестов со скриншотами, но их результаты также были хуже первого победителя. Даже вариант с увеличенным текстом оказался слабее, несмотря на лучшую читаемость текста подзаголовков. Вот смотрите:

Вариант скриншотов с увеличенным шрифтом текста
Результаты эксперимента

Эксперимент со скриншотами в SplitMetrics (App Store)

Для устройств на iOS эксперимент занял несколько итераций, так как результат был не таким очевидным. Начальный тест был с аналогичными вариантами, как в Google Play, и с небольшим отставанием в нем тоже победил вариант с машиной.

Отставание было слишком малым по сравнению с Google Play, поэтому решено было провести ещё ряд экспериментов. Далее мы сравнили нашу скидочную машинку с такой же, но увеличили кегль всех заголовков. И именно вариант с другим текстом выиграл (в отличие от Google Play).

Мы пошли дальше — скрестив лучшее из двух вариантов. Взяли посылы про удобство приложения из первого теста и поместили их в дизайн текущего победителя. В итоге новый вариант выиграл с довольно уверенным опережением — CTI оказался выше на 2,7% по сравнению с прошлым победителем и выше на 4,1% (почти в 2 раза) по сравнению с текущим вариантом в сторе.

Эксперимент с иконками

Второй важнейший элемент — иконка приложения в сторах. Изображение машины на красном фоне себя не оправдало, несмотря на то, что она часто мелькала в рекламных коммуникациях и должна была стать достаточно узнаваемой. Решили попробовать простой вариант иконки с текстовым лого, и это сработало.

Текстовая иконка оказалась заметно эффективнее, чем текущее лого, в среднем CTI вырос на 3,3%.

Мы тестировали ещё 7 вариантов иконок с различными элементами, но никто так и не смог «опрокинуть» текущего победителя.

Ближе к новому году попробовали новогодние иконки в Google Play. Вот такие — под настроение получить установки:

Эксперимент долго не мог определиться с победителем, но прямо в канун праздника стал проявляться явный фаворит — вариант с ёлками.

Неудавшиеся эксперименты

Интересны тесты с таким же уровнем CTI или ниже, потому что именно они делают эксперименты правдивыми.

Видеоролики

Мы подсмотрели как дела с роликами у наших конкурентов. Они размещали ролики на своих страницах сторов, но постоянства их появления не было. Значит, надо проверить самим!

Вначале сделали простой ролик-скринкаст, который показывал преимущества приложения нашего сервиса.

Он нейтрально-отрицательно повлиял на CTI, и остался без размещения.

Результаты теста в Google Play
Результаты теста в App Store (Splitmetrics)

Позже мы попробовали ещё раз покрутить ролики с концепцией «оживших скринов» (анимация первых двух скриншотов). Также укоротили длину роликов с 15 до 5 секунд и сделали ещё по варианту с призывом к действию и без него.

Результаты теста по Google Play
Результаты теста в App Store (Splitmetrics)

Видео в нашем случае пока точно не нужно.

Горизонтальные скриншоты

Мы заметили, что многие из наших коллег по цеху стали переходить на горизонтальные скриншоты в сторах. Мы сделали свои горизонты с тем же наполнением, что и у текущих вариантов.

Результаты теста в Google Play
Результаты теста в App Store (Splitmetrics, отображение горизонта по факту нормальное, это фокус-покус интерфейса)

В итоге горизонтальные скриншоты выступили либо на уровне текущих вертикальных (в Google Play), либо заметно хуже (как в App Store). Так что пока мы прошли мимо «горизонтальной» тенденции.

Рейтинг в сторах

В одно время у нас были проблемы с рейтингом в сторах, и мы решили протестировать, насколько у нас улучшиться CTI при разных оценках. Для этого мы использовали Splitmetrics (даже для Android, так как эксперимент на рейтинг внутри Google Play, как я уже говорил, недоступен).

Результаты теста рейтинга в Google Play
Результаты теста рейтинга в App Store

То есть держатели Apple более чувствительные к оценкам приложений. Что ж — стараемся работать на сервис и улучшаем показатели.

Выводы из наших экспериментов

  • При одинаковом дизайне Android-пользователи лучше отреагировали на ценовые скриншоты (скидка и выгода), в то время как iOS-пользователи больше откликнулись на удобство сервиса (скорость и гибкость).
  • Лучше всего сработала текстовая иконка. Видимо, сила бренда хорошо влияет на отклик (несмотря на дублирование названия бренда в заголовке).
  • Стоит экспериментировать с сезонным фактором (например, с Новым годом), он может дать прирост.
  • Каким бы умным ни был алгоритм определения статзначимости в системе, потерю пользователей он возместить вам не сможет, поэтому надо самостоятельно следить за текущими показателями, а не только за общим статусом.
  • Видео-ролики в описании никак не повлияли на эффективность.
  • Горизонтальные скриншоты, может, у кого-то и работают лучше вертикальных, но не в нашем случае.
  • iOS-пользователи более чувствительны к оценкам (чем выше оценка — тем выше CTI), в то время как Android-пользователи отреагировали на разные оценки без особых изменений.

Вывод для вашего бизнеса

Тестируйте как можно больше элементов, вырабатывайте свою экспертизу в вашей нише.

Помните — изменение любого элемента страницы приложения может ощутимо нарастить входящий трафик.

И что не менее важно, во многих случаях, — бесплатно.

0
22 комментария
Написать комментарий...
Игорь Кравченко

У вас рост конверсии, не из-за машины, а потому что там написано про скидку в 25%  :D

Ответить
Развернуть ветку
Андрей Михайлов
Автор

Игорь, указание скидки конечно повлияло на конверсию в случае с Google Play, что и отражено в выводах.

Ответить
Развернуть ветку
Lina Danilchik

полезная статья, спасибо

Ответить
Развернуть ветку
Andrew Tsaplin

Горизонтальные скрины в appStore отображаются в меньшем физическом размере, текст прочитать становится сложнее, т.е. на них нужно увеличивать шрифт, чтобы компенсировать меньший масштаб картинки.
Статья годная, продолжайте! Про органический рост особенно интересно.

Ответить
Развернуть ветку
Кирилл Беккер

Согласен про малую статистическую выборку, НО! В таргете в соц сетях вообще креативы тестят на бюджетах по 200-300 руб на каждый, и ничего. 
Статья очень хорошая, потому что она не про конкретику а про подход-как делать, как анализировать. Цифры каждый может собирать свои, а вот принцип работы очень толковый. Я никогда рекламой приложений не занимался, но вы дали отличное подспорье для начала, как раз проект подходящий есть. Спасибо!

Ответить
Развернуть ветку
Михаил Савин

При одинаковом дизайне Android-пользователи лучше отреагировали на ценовые скриншоты (скидка и выгода), в то время как iOS-пользователи больше откликнулись на удобство сервиса (скорость и гибкость).

iOS-пользователи более чувствительны к оценкам (чем выше оценка — тем выше CTI), в то время как Android-пользователи отреагировали на разные оценки без особых изменений.

Очень показательное наблюдение)

Ответить
Развернуть ветку
Елизавета Мамочкина

Огромное спасибо за статью с примерами! Чисто из-за статьи установила приложение! Давайте еще такой интересный контент, очень полезно!

Ответить
Развернуть ветку
Евгений Ефимов

"В одно время у нас были проблемы с рейтингом в сторах, и мы решили протестировать, насколько у нас улучшиться CTI при разных оценках." - а как это тестировали? Картинку можно загрузить другую, а рейтинг как показать другой пользователю?

Ответить
Развернуть ветку
Андрей Михайлов
Автор

Евгений, рейтинг мы тестировали в Splitmetrics, там есть такой функционал, где можно сделать полную имитацию страницы в обоих сторах.

Ответить
Развернуть ветку
Евгений Ефимов

А какие тогда это были пользователи? Если живые, вы же им не можете в сторе показать поддельный рейтинг - иначе так бы все себе по 5 звезд сделали. Или можете? Картинки же вы в реальный стор грузили?

Ответить
Развернуть ветку
Андрей Михайлов
Автор

Трафик живой, мы использовали рекламу в Google Ads и Facebook Ads. Суть Splitmetrics в том, что сервис создает веб-страницу, максимально имитирующую сторовскую, по сути это промежуточное звено с гибко настраиваемым контентом, и при нажатии на кнопку установки пользователя перекидывает в настоящий стор, где он уже видит реальную страницу с реальными данными.

Ответить
Развернуть ветку
Евгений Ефимов

Спасибо, теперь понятно, хитрое решение)

Ответить
Развернуть ветку
Andrey Ezhov

Везёт вам

Ответить
Развернуть ветку
Anastasia Sitnikova

ARPPU - это средний доход не просто с пользователя, а с платящего пользователя)

Ответить
Развернуть ветку
Artem Shtanov

Данные же не статзначимы, щас бы детектить +8,9% на 1000 пользователей)

Ответить
Развернуть ветку
Andrew Kozik

По этой штуке проверял? https://vwo.com/tools/ab-test-siginficance-calculator/

Ответить
Развернуть ветку
Artem Shtanov

не проверял, сначала написал коммент, потом подумал что нужно проверить, потом забил)

Ответить
Развернуть ветку
Nikita Kiryanov

Говно статья, делать выводы по 1000 посетителей, это все равно что тыкать пальцем в небо. Скорее статья ради пиара. 

 Наймите нормального аналитика уже 

Ответить
Развернуть ветку
Егор Пономарёв

По теме и не по теме, по факту.

1. Везет как был дном так и остается в плане маркетинга. Хотя вы растете в этом плане, этого нельзя отрицать. Маркетинг этой статьёй расписывается, что он дно.

2. В 2020 году говорить, что вы че-то сделали и улучшили по ASO от имени такого крупного игрока такси, ну такое себе. Вы бы еще в 2025 это написали.

3.Во вторых в сфере такси ASO в том контексте, который вы описали,  слабо влияет на конверсию. Указание 20% скидки - да, про все остальное можно было не расписывать. 

4. Статья как повод пропиарить свой бренд - а вы этого и добивались, -  ну такое себе. 
Мотивация понятна, но не верно выбрана тема статьи. 

5.  Взяли малую выборку - расписались в очередной раз, что вы дно.

P/s/ Элементы критики воспринимать, как мотивацию для своего развития. 

Ответить
Развернуть ветку
Ilya Lapenkov

В первом Аб тесте где у вас стало лучше на 3% - это не  на 3%, а на 1,5%. Почитайте справку по этому параметру, там среднее арифметическое разницы максимального и минимального значения, что-то такое) 

Ответить
Развернуть ветку
Андрей Негодяев

Помню N лет назад заказывал заранее у вас такси в аэропорт на 5 утра, с утра звонок минут за 30 до времени выхода - "знаете мы не сможем подать вам машину, водитель забил, а другие не хотят брать ваш заказ".

Ответить
Развернуть ветку
Andrew Kozik

.

Ответить
Развернуть ветку
19 комментариев
Раскрывать всегда