Лого vc.ru

Как проводить A/B тестирование для описания приложений в AppStore и Google Play

Как проводить A/B тестирование для описания приложений в AppStore и Google Play

Основатель платформы для создания «лэндингов» SparkPage Питер Танэм рассказал в блоге KISSmetrics о том, как проводить A/B тестирование иконки, описания и цены приложения перед его загрузкой в AppStore или Google Play. Редакторы Growth Hacks подготовили адаптированный перевод.

Поделиться

С более чем 600 000 приложений, конкурирующих в каждом магазине мобильных приложений, иконка вашего приложения работает как мини-баннер, так что выбор правильной иконки может сыграть большую роль.

Но когда вы смотрите на 3 варианта иконки, как убедиться, какая из них работает лучше всего? Если вы понизите цену на ваше приложение с 1,99 долларов до 0,99, удвоятся ли продажи? Или утроятся? Или даже более? Нужно ли писать в описании «Топ-3» по продажам приложение про зомби или лучше указать список функциональности? Какой вариант покажет лучшую конверсию?

Кто-то проведет исследование, сравнит с конкурентами и бестселлерами, и ответит на эти вопросы, основываясь на собственном представлении о прекрасном и интуиции.

Apple AppStore и Google Play Store не дают возможности проводить A/B тесты, чтобы выяснить это. Так что приходится прибегать к другому способу.

Как провести микро-тест приложения

Есть лучший путь для принятия таких решений. Знакомьтесь — «микро-тест» — метод, который позволит вам протестировать все перечисленные выше элементы: иконку, цену, описание и прочее. И после этого залить лучший вариант в store.

Хотя некоторые крупные разработчики уже используют подобные методики, большинство о них даже не подозревает.

Ниже мы шаг за шагом расскажем, как используя бесплатные или недорогие инструменты, можно провести микро-тесты и оптимизировать вид приложения в сторе.

Микротестирование основывается на простой идее: раз мы не можем провести A/B тест в AppStore, то мы сымитируем его внешний вид и таким образом проведем тест.

Как найти идеальную иконку

TapTapTap, известная компания-разработчик, выложила историю, как они выбрали неправильную иконку, что погубило запуск продукта.

Во время разработки у них было три варианта иконки. У каждого члена команды было свое мнение, какой дизайн лучше всего и что нужно поменять или улучшить.

К сожалению, у них не было беспристрастных и объективных фактов, на которых можно было бы основывать решение, что вызывало горячие споры.

Эта история показывает, как при нехватке объективных данных «общий дизайн» породил иконку, которая сработала очень плохо. Это тот случай, когда в игру должен был вступить микро-тест. Чтобы помочь вам избежать аналогичных ошибок, мы покажем, как создать первый микро-тест за 3 шага:

  1. создаем лендинги для A/B теста;
  2. отправляем на лендинги трафик, чтобы протестировать ваши лендинги;
  3. анализируем результаты.

Такие же шаги будут использоваться при тестировании остальных элементов (описание, скриншоты). На примере иконки мы детально пройдемся по всем шагам, а потом кратко опишем тесты цены, описания и скриншотов.

Шаг 1: Создаем мобильные лендинги

В нашем случае лендингом будет страница, на которой пользователь увидит все те же элементы, что и в мобильном «сторе»: иконку, описание, скриншоты и кнопку «Купить». Даже если приложение еще не выложено в магазин, необходимо создать посадочную страницу, как будто приложение уже доступно. На странице должна быть большая кнопка одного из сторов:

Здесь наша цель — имитировать, будто ваше приложение уже доступно в магазине, чтобы проверить, как много людей попытаются скачать его в зависимости от иконки, которая будет на странице.

Инструменты для создания лендингов

Есть три варианта, как создать мобильный лендинг:

  • Написать код с нуля или нанять разработчика-фрилансеры. Это самый дорогой вариант, но он даст больше гибкости — при желании вы все сможете поменять. 
  • Использовать шаблон с сайта типа Themeforest. Они стоят около $10 и все равно требуют некоторых познаний в верстке. 
  • Использовать конструктор мобильных лендингов, например Pijnz, Landr, Atmio, Convrrt или SparkPage.

В этом примере мы не будем подробно останавливаться на том, как изменить HTML код страниц или загрузить их на сервер. Мы считаем, что вы либо сами сможете с этим разобраться, либо кого-то найдете.

Создаем лендинг

Настраиваем A/B тест

Теперь, когда уже есть лендинг, необходимо создать несколько его вариаций. У каждой вариации будет своя иконка, но все остальные элементы на странице останутся совершенно идентичными во всех вариантах. На скриншоте ниже можно увидеть четыре разных лендинга, которые будут использоваться для того, чтобы протестировать незначительно отличающиеся друг от друга иконки.

A/B тест случайным образом распределит трафик между страницами. Это поможет определить, какой процент людей на каждой странице кликнет на «Скачать в iTunes».

Если вы сами сверстали страницу на основе шаблона или с нуля, для создания вариаций можно использовать Optimizely или Vizual Website Optimizer.

У Optimizely раньше возможность A/B тестирования была доступна только в дорогих тарифных планах, но сейчас она доступна во всех. Если вы выберете его, то сможете напрямую интегрироваться с KISSmetrics, чтобы отслеживать результаты.

Шаг 2: Приводим пользователей на наши лендинги

Как только ваши вариации будут готовы и распределение трафика настроено, на них нужно будет привести людей. Если вы популярный (микро)блоггер, можете просто расшарить ссылку в своем «ВКонтакте», Facebook или Twitter. Но все-таки лучше купить небольшое количество трафика, чтобы провести тест.

Если правильно настроить кампании, всего на $50 - $100 можно привести достаточное количество трафика для теста.

Есть еще одна причина, по которой трафик все-таки лучше купить. Оптимально тестировать 2-4 иконки, но если вы хотите загнать в тест больше вариантов, трафика тоже понадобится больше, чтоб получить статистически значимые результаты.

Трафик можно купить в AdWords, Таргет@Mail.ru, Facebook. Есть вероятность, что к моменту, когда вы все-таки соберетесь запустить этот тест, рекламу в приложениях запустит «ВКонтакте». Так что вариантов довольно много.

Шаг 3: Получаем результаты

Перед тем, как на ваши лендинги «польется» трафик, необходимо настроить аналитику для подсчета количества нажатий на кнопку «Скачать». Это можно сделать, например, через Events в Google Analytics, отправлять событие каждый раз, когда пользователь нажимает на кнопку. А в Label записывать номер вариации.

Можно использовать KISSmetrics: у них есть страница поддержки, где написано как отправлять события.

Если вы не знакомы с матстатистикой, то лучше использовать простой калькулятор, который покажет, можно ли доверять результатам теста.

Даже небольшие изменения в иконке могут значительно поменять конверсии в установки. Эти дополнительные установки могут помочь попасть в «Топ 10» мобильного магазина или в блок «фичер» (выбор редакции магазина).

Все это еще подхлестнет установки приложения. В отличии от интуиции разработчика, описанный выше подход позволит выбрать лучшую иконку, основываясь на данных. С его же помощью можно протестировать и другие важные части — цену, описание и скриншоты.

Какая цена даст больше всего выручки?

Многие разработчики перед тем как определиться с ценой приложения, проходят такой диалог:

— Я точно тебе говорю, я гораздо охотнее куплю приложение, если оно стоит 99 центов, чем за $1,99.
— Но насколько охотнее? В 2 раза? В три? Или в полтора?
— Чувак, я не знаю!

Это важный вопрос: если вы поставите цену два раза больше, продажи упадут на 50% или сильнее?

Простой пример. Если вы продадите приложение 100 раз по $0,99, то вы заработаете $99. Что произойдет, если вы повысите цену до $1,99?

  • Если продажи упадут на 30%, вы заработаете $139.
  • Если продажи упадут на 45%, вы заработаете $109.
  • Если продажи упадут на 55%, вы заработаете всего $89.

Если вы удвоите цену, насколько упадут продажи? Это типичный вопрос эластичности спроса. Вам повезло, что вы работаете в интернете и узнать эластичность по цене для вашего приложения довольно просто.

Аналогично примеру с иконками, микро-тесты помогут найти самую выгодную цену.

Чтобы протестировать цену, повторите все шаги из примера с иконкой. Единственное изменение — заметная цена. Кроме цены, все остальные элементы на всех вариациях должны быть одинаковыми. То есть, не стоит одновременно тестировать иконку и цену. Сначала проверьте одно, затем второе.

Считаем деньги

Как только тест запустится, вы уже можете начать прикидывать, какой вариант принесет больше всего выручки.

Это можно сделать при помощи KISSmetrics, SparkPage или Optimizely. Либо, вытащив из памяти знания математики за третий класс, посчитать самостоятельно. Формула очень простая: число кликов разделить на число посетителей, умночить на 100 — получается конверсию.

Несмотря на то, что вроде все очевидно, нас могут читать гуманитарии, поэтому рассмотрим на конкретных примерах.

Представьте, что вы тестируете два варианта цены: $0,99 и $1,99. На каждый лэндинг вы отправили по 1000 человек.

  • Страница A ($0,99) дала 250 кликов по кнопке «Скачать». Это дает конерсию в 25%.
  • Страница A ($1,99) дала 150 кликов по кнопке «Скачать». Это дает конерсию в 15%.

Но как это повлияло на выручку? Самый простой способ узнать — это умножить цену на конверсию и посмотреть, что получилось.

Страница A: $0,99 x 25% = 24,7 цента Страница B: $1,99 x 15% = 29,8 цента.

Эти цифры говорят нам о том, что в среднем каждый пользователь со Страницы A приносит нам 24,7 цента. А каждый пользователь со Страницы B приносит нам 29,8 цента.

Таким образом, по результатам этого теста приложение может начать зарабатывать на 20,6% больше.

Обратите внимание: Эти цифры необязательно показывают, какая конверсия у вас будет на самом деле. Она лишь показывает относительные цифры между двумя вариациями. Такое тестирование подходит для определения цены, но не для построения проноза продаж. Use micro testing to pick the optimal price, but not to forecast sales.

Определяем «продающее описание» для приложения

Из всех метаданных в мобильном сторе описание является самым «мутным», несмотря на то, что оно занимает значительную часть экрана.

Если вы посмотрите на популярные приложения, то увидите огромное разнообразие подходов к описанию. Кто-то начинает с рекламного текста, кто-то указывает пользовательские оценки и свои позиции в рейтингах. Другие выводят список всех функций, а кто-то поднимает наверх список фич из последнего обновления.

Как видите, нет единого рецепта, как сделать продающее описание. Это ставит в тупик.

Нужно ли делать длинное описание, чтобы убедить скачать приложение любого, кто захочет его прочитать? Должно ли оно быть коротким? Хватит ли этого, чтобы заинтересовать пользователей? Как насчет списка фич? Вроде, многие их ставят в описание?

Опираясь на данные, принять это решение будет проще.

Запускаем тест для описания

Для этого теста точно так же все делаем, как написано выше. За одним исключением: акцент в лендинге должен быть сделан на текст, картинок должно быть по-минимуму. Нам нужно проверить, как работает описание и его влияние на конверсию.

В отличие от остальных экспериментов здесь кнопку «Скачать» нужно поставить наверху. На первый взгляд, это несколько нелогично, ведь мы хотим пользователям дать возможность прочитать описание. Но все не так просто. Так как мы с вами проверяем, как работает описание в AppStore, нужно чтобы наши лэндинги были как можно сильнее похожи на интерфейс AppStore. Поэтому, как и там, кнопку «Скачать» мы разместим над описанием. Не забудьте, что в отличии от скриншотов, у большинства пользователей уже стоит iOS 7 и AppStore у них выглядит несколько иначе. Нам просто лень было их переделывать.

Как и в предыдущих тестах, не нужно запускать сразу слишком много вариаций текста. Иначе придется отправить много трафика, чтобы получить статистически значимые данные.

Поэтому тестируем описание в два захода. Для начала протестируйте разные стили описаний. Например, на одной вариации у вас будут рейтинги приложения. На второй список функций. А на третьей привлекающее внимание описание.

После того, как тестирование определить лучший стиль, переходите к фазе 2 — проверьте разные варианты текстов в этом стиле. Например, если для вашего приложения лучше всего сработал список функционала, попробуйте расположить список в разном порядке или сделать его разной длины.

Выбираем скриншоты для приложения

Надеемся, к этому шагу вы уже начали выявлять закономерности, как нужно проводить тесты.

Скриншоты часто неооценивают с точки зрения их влияния на установки. Но именно скриншот пользователь видит, когда ваше приложение появляется в результатах поиска. И именно он занимает в AppStore начиная с iOS 7 самую заметную часть в карточке приложения.

Тестирование скриншотов ничем не отличается от примеров выше, за исключением одного момента. Так как мы с вами хотим полностью скопировать интерфейс AppStore, лучше всего реализовать просмотр скриншотов свайпом.

Заключение

Эти советы дают вам базовое представление о том, как тестировать «нетестируемые» элементы в мобильных магазинах. Это невероятно крутой инструмент для улучшения конверсий. Наверняка у вас появится куча идей, как еще можно провести подобные эксперименты. Своими историями, опытом и идеями делитесь в комментариях и присылайте на what@growthhacks.ru.

Статьи по теме
Как Pinterest удается поддерживать устойчивый рост01 июня 2014, 23:39
Как игра Criminal Case собрала столько органического трафика, чтобы стать №2 на Facebook02 июня 2014, 14:58
Популярные статьи
Показать еще
Комментарии отсортированы
как обычно по времени по популярности

Уверен, Питер удивится, увидев скачок траффика из "русского" Гугла на свою главную. Учитывая, неизвестность своей компании, в сравнении с другими игроками рынка лэндингов.

Статье, кажется, года два, но актуальность она не растеряла — возможность провести сплит бесценна до сих пор и будет еще долго. Спасибо за перевод!

Крутая статья, спасибо. Кстати можно не углубляясь в самописные лэндинги протестировать все в фейсбуке, без дополнительных переходов. Туда же и иконку можно поставить и текст и скриншоты.

То есть создавать несколько пабликов с разным содержанием? Есть примеры такой работы на примете?

0

Андрей, я говорил безотносительно пабликов, только про мобильные приложения.

0

Вы про внутренние рекламные форматы? Суть же в рекомендациях на тестах близких к боевым.

0

Любая степень приближения к боевым условиям относительна, если интересует тестирование привлекательности иконки или картинки не обязательно наворачивать вокруг какие-то похожие элементы.

Но используя платформу которая генерит трафик (например Facebook) в качестве платформы тестирования можно сократить потери при переходе с рекламной платформы в платформу тестов что даст более точный результат.

www.quora.com/iOS-App-Store/What-are-some-ways-to-test-an-iOS-App-Icon-before-release/answer/Leonardo-Vergani

Не всегда обязательно изучать аудиторию которая вас интересует через инструмент который вы используете для распространения своего приложения. Важно чтобы иконка привлекала, скрины тащили, а текст был понятен с первого взгляда.

Опять таки - ничего против методов описанных в статье не имею, этот приводил как дополнительный.

Андрей, тогда знаний по A/B тестированию в принципе достаточно, если следовать вашей логике. Я сам сторонник общих и поверхностных анализов(по ссылке - близкий мне метод), но мне кажется, что это скорей мой минус :)

Думаю важнее понимать зачем и из этого строить задачу на тестирование, без лишних инструментов, которые часто влияют на скорость и качество

0

Андрей, спасибо за метод. Порой провести поверхностный (lo-fi) анализ, так чтоб потратить всего да поменьше, но при этом получить какие-то базовые знания, иногда просто не понятно как. Приходится браться за какие-то сложные инструменты и конкретно тратить время. Теперь обязательно протестирую Фейсбук.

0

Возможность комментирования статьи доступна только в первые две недели после публикации.

Сейчас обсуждают
ave ego

Популярным станет когда за ту же цену количество доступного контента сравняется с американским. А то платите также, а смотреть можете в 10 раз меньше.

Роскомнадзор заявил об отсутствии претензий к Netflix из-за «непопулярности сервиса» в России
0
Борис Моренко

Название отличное. Лучше только stalin.tv)

Французский видеосервис Molotov привлёк $22 млн от Михаила Фридмана и других инвесторов
1
Yuriy Belonozhkin

В начале 2016 года мы шифровали как могли (Эзоповым языком и смайликами)

Акционеры Facebook раскритиковали инвестора Андриссена за помощь Цукербергу втайне от совета директоров
1
Yuriy Belonozhkin

Перед перезапуском Secret он решил поразмяться на блог-сервисе)

Сооснователь Secret запустил анонимную блог-платформу IO
0
Николай Анников

Основатель компании владеющей супер защищенным мессенджером не смог сохранить переписку в тайне?

Акционеры Facebook раскритиковали инвестора Андриссена за помощь Цукербергу втайне от совета директоров
0
Показать еще