[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "create", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-158433683", "adfox_url": "//ads.adfox.ru/228129/getCode?p1=bxbwd&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid21=&puid22=&puid31=&fmt=1&pr=" } } ]
{ "author_name": "Rodion Trofimov", "author_type": "self", "tags": ["\u0434\u0438\u0437\u0430\u0439\u043d"], "comments": 5, "likes": 23, "favorites": 16, "is_advertisement": false, "section_name": "blog", "id": "27499" }
Rodion Trofimov
2 308
Блоги

Инструкция: A/B-тестирование иконки приложения в Google Play

Как благодаря правильно подобранному дизайну иконки увеличить конверсию скачиваний — рекомендации от команды сервиса «Фотострана».

Поделиться

В избранное

В избранном

Мы в «Фотостране» решили проверить, можно ли улучшить текущие показатели, и провели А/B-тестирование. Эксперимент проводили с помощью Store Listing Experiments, который встроен в Google Play Developer Console. В этом материале мы расскажем, на что следует обратить внимание при проведении А/B-теста в Google Play и каких результатов можно достичь.

Есть несколько моментов, которые надо учитывать при тестировании иконок в Google Play:

  • Вы можете тестировать иконку только уже опубликованного приложения.
  • Нельзя одновременно тестировать иконку и, например, описание — это самая распространенная ошибка, и Google страхует от нее. Ваш эксперимент должен проверять только одну гипотезу.
  • Google Play предоставляет весьма скромные данные для анализа. Тем не менее вы узнаете, какой вариант в среднем конвертируется лучше, сколько было инсталлов и удалений и сколько в итоге получилось пользователей приложения в каждой тестовой группе.
  • Вы не можете проводить A/B-тесты на определенной аудитории: сегментация ограничивается только геолокацией и страной, в которой вы хотите локализовать иконку или другие элементы.

Аудитория

Тестовую версию иконки вы можете показать не более чем 50% вашей аудитории. Мы проводили эксперимент с аудиторией 50/50, а в нескольких случаях — многовариантное тестирование со следующим распределением: 50% — на текущую иконку, и по 25% — на тестовые варианты.

Срок тестирования и размер выборки

Срок тестирования зависит от количества трафика: чем его меньше, тем дольше будет длиться эксперимент. Каждый вариант мы тестировали семь дней на органическом трафике, так как в разные дни поведение пользователей отличается и значения конверсии «прыгают».

Для получения более достоверных данных эксперимент должен длиться две-три недели, чтобы у вас было четкое понимание того, как день недели влияет на установки. Например, мы четко видим проседание трафика в выходные и праздничные дни. Но этот срок может быть как больше, так и меньше — в зависимости от количества установок.

Если у вас нет органического трафика (или его слишком мало) и вы решили его закупить для А/В-теста, то воспользуйтесь специальным калькулятором, чтобы определить минимальный размер выборки. Однако имейте в виду, что в зависимости от типа платного трафика лучшие результаты могут быть разными. Если в дальнейшем вы планируете закупать такой же трафик, как и на тестах, то смело проводите эксперимент.

В нашем случае рекомендации были следующие:

Рекомендации калькулятора Optimizely по размеру выборки

Обратите внимание, что минимальный эффект указан не в абсолютных, а в относительных величинах. Другими словами, изменение конверсии с 40% на 5% означает получение данных в диапазоне от 38% до 42% (40% +/- (5% * 40%). 7800 — столько раз показывался каждый вариант иконки. Если вы проводите А/В-тест с распределением 50/50, то общая выборка составит 15600.

Во время тестов не меняйте стратегию и источники закупок: конверсия в большей степени зависит от качества трафика.

Интерпретация результатов

На первом этапе мы тестировали следующие варианты:

Так как Google показывает вашу текущую иконку как минимум половине аудитории, а процент показов тестового варианта может быть в разы меньше, то для сравнения результатов он вычисляет взвешенное число установок.

Результат определяется на основе доверительного интервала — 90%. Следовательно, в 90% случаев показатели конверсии будут в диапазоне от +0,4% до +11,6% по сравнению с текущим вариантом. Для сопоставления результатов вычислите среднюю эффективность (в данном случае это 6%).

По мнению Google Play, можно утверждать, что вариант B эффективнее варианта А, только если разница между ними составляет не менее 5%. В противном случае результаты эксперимента считаются недостоверными.

Продолжаем тестировать

По итогам эксперимента иконку В мы установили в качестве основной и продолжили экспериментировать.

Синяя иконка показала лучший результат и потому была поставлена основной. Дальнейшие четыре теста дали отрицательный итог.

Неожиданно хороший результат показал пятый тест с иконкой на зеленом фоне.

Однако мы решили отказаться от нее, так как она не соответствует основным цветам приложения. Поэтому сделали такую же иконку в синих тонах.

К сожалению, этот вариант не сработал: иконка была в среднем на 4,95% менее эффективна, и мы продолжили тесты. Взяли текущую иконку и добавили к ней значки «2017» и «Free».

На скриншоте ниже видно, что при небольшой выборке у нас огромный разброс вариантов: 24,2 для иконки с надписью «2017», и 26,2 для иконки с надписью «FREE». Важно не принимать поспешных выводов, а продолжать тестирование. Чем больше целевых действий сделано, тем меньше будет разброс.

Google поможет определиться и подскажет, когда данные теста можно считать достоверными. Мы остановились на следующих показателях:

По итогам эксперимента была выбрана иконка с надписью «Free», которая оказалась эффективнее на 12,3% по сравнению с предыдущим вариантом.

К сожалению, Store Listing Experiments не дают нам всех данных для более глубокого статистического анализа — при принятии решения мы можем ориентироваться только на среднюю эффективность. Тем не менее это отличный инструмент для тестирования различных элементов, который может значительно увеличить конверсию установок.

#дизайн

Популярные материалы
Показать еще
{ "is_needs_advanced_access": false }

Комментарии Комм.

Популярные

По порядку

0

Прямой эфир

Хакеры смогли обойти двухфакторную
авторизацию с помощью уговоров
Подписаться на push-уведомления