{"id":6989,"title":"\u0418\u0433\u0440\u0430: \u043f\u043e\u0441\u0442\u0440\u043e\u0439\u0442\u0435 \u0431\u0430\u0448\u043d\u044e \u0438 \u0432\u044b\u0438\u0433\u0440\u0430\u0439\u0442\u0435 Xbox","url":"\/redirect?component=advertising&id=6989&url=https:\/\/tjournal.ru\/special\/combo&placeBit=1&hash=627d500a510abab1e3050cd0015144081f494f2e91684708c5c1f136eca35455","isPaidAndBannersEnabled":false}
Дизайн
Rodion Trofimov

Инструкция: A/B-тестирование иконки приложения в Google Play

Как благодаря правильно подобранному дизайну иконки увеличить конверсию скачиваний — рекомендации от команды сервиса «Фотострана».

Мы в «Фотостране» решили проверить, можно ли улучшить текущие показатели, и провели А/B-тестирование. Эксперимент проводили с помощью Store Listing Experiments, который встроен в Google Play Developer Console. В этом материале мы расскажем, на что следует обратить внимание при проведении А/B-теста в Google Play и каких результатов можно достичь.

Есть несколько моментов, которые надо учитывать при тестировании иконок в Google Play:

  • Вы можете тестировать иконку только уже опубликованного приложения.
  • Нельзя одновременно тестировать иконку и, например, описание — это самая распространенная ошибка, и Google страхует от нее. Ваш эксперимент должен проверять только одну гипотезу.
  • Google Play предоставляет весьма скромные данные для анализа. Тем не менее вы узнаете, какой вариант в среднем конвертируется лучше, сколько было инсталлов и удалений и сколько в итоге получилось пользователей приложения в каждой тестовой группе.
  • Вы не можете проводить A/B-тесты на определенной аудитории: сегментация ограничивается только геолокацией и страной, в которой вы хотите локализовать иконку или другие элементы.

Аудитория

Тестовую версию иконки вы можете показать не более чем 50% вашей аудитории. Мы проводили эксперимент с аудиторией 50/50, а в нескольких случаях — многовариантное тестирование со следующим распределением: 50% — на текущую иконку, и по 25% — на тестовые варианты.

Срок тестирования и размер выборки

Срок тестирования зависит от количества трафика: чем его меньше, тем дольше будет длиться эксперимент. Каждый вариант мы тестировали семь дней на органическом трафике, так как в разные дни поведение пользователей отличается и значения конверсии «прыгают».

Для получения более достоверных данных эксперимент должен длиться две-три недели, чтобы у вас было четкое понимание того, как день недели влияет на установки. Например, мы четко видим проседание трафика в выходные и праздничные дни. Но этот срок может быть как больше, так и меньше — в зависимости от количества установок.

Если у вас нет органического трафика (или его слишком мало) и вы решили его закупить для А/В-теста, то воспользуйтесь специальным калькулятором, чтобы определить минимальный размер выборки. Однако имейте в виду, что в зависимости от типа платного трафика лучшие результаты могут быть разными. Если в дальнейшем вы планируете закупать такой же трафик, как и на тестах, то смело проводите эксперимент.

В нашем случае рекомендации были следующие:

Рекомендации калькулятора Optimizely по размеру выборки

Обратите внимание, что минимальный эффект указан не в абсолютных, а в относительных величинах. Другими словами, изменение конверсии с 40% на 5% означает получение данных в диапазоне от 38% до 42% (40% +/- (5% * 40%). 7800 — столько раз показывался каждый вариант иконки. Если вы проводите А/В-тест с распределением 50/50, то общая выборка составит 15600.

Во время тестов не меняйте стратегию и источники закупок: конверсия в большей степени зависит от качества трафика.

Интерпретация результатов

На первом этапе мы тестировали следующие варианты:

Так как Google показывает вашу текущую иконку как минимум половине аудитории, а процент показов тестового варианта может быть в разы меньше, то для сравнения результатов он вычисляет взвешенное число установок.

Результат определяется на основе доверительного интервала — 90%. Следовательно, в 90% случаев показатели конверсии будут в диапазоне от +0,4% до +11,6% по сравнению с текущим вариантом. Для сопоставления результатов вычислите среднюю эффективность (в данном случае это 6%).

По мнению Google Play, можно утверждать, что вариант B эффективнее варианта А, только если разница между ними составляет не менее 5%. В противном случае результаты эксперимента считаются недостоверными.

Продолжаем тестировать

По итогам эксперимента иконку В мы установили в качестве основной и продолжили экспериментировать.

Синяя иконка показала лучший результат и потому была поставлена основной. Дальнейшие четыре теста дали отрицательный итог.

Неожиданно хороший результат показал пятый тест с иконкой на зеленом фоне.

Однако мы решили отказаться от нее, так как она не соответствует основным цветам приложения. Поэтому сделали такую же иконку в синих тонах.

К сожалению, этот вариант не сработал: иконка была в среднем на 4,95% менее эффективна, и мы продолжили тесты. Взяли текущую иконку и добавили к ней значки «2017» и «Free».

На скриншоте ниже видно, что при небольшой выборке у нас огромный разброс вариантов: 24,2 для иконки с надписью «2017», и 26,2 для иконки с надписью «FREE». Важно не принимать поспешных выводов, а продолжать тестирование. Чем больше целевых действий сделано, тем меньше будет разброс.

Google поможет определиться и подскажет, когда данные теста можно считать достоверными. Мы остановились на следующих показателях:

По итогам эксперимента была выбрана иконка с надписью «Free», которая оказалась эффективнее на 12,3% по сравнению с предыдущим вариантом.

К сожалению, Store Listing Experiments не дают нам всех данных для более глубокого статистического анализа — при принятии решения мы можем ориентироваться только на среднюю эффективность. Тем не менее это отличный инструмент для тестирования различных элементов, который может значительно увеличить конверсию установок.

{ "author_name": "Rodion Trofimov", "author_type": "self", "tags": ["\u0434\u0438\u0437\u0430\u0439\u043d"], "comments": 5, "likes": 26, "favorites": 20, "is_advertisement": false, "subsite_label": "design", "id": 27499, "is_wide": true, "is_ugc": true, "date": "Mon, 16 Oct 2017 12:15:00 +0300", "is_special": false }
0
5 комментариев
Популярные
По порядку

Было бы еще интересно напрямую сравнить самый первый вариант и самый последний, какая между ними была бы разница.

3

Хорошая идея :)
Я, честно, думаю, что результат может нас удивить :) судя по всему для нашего проекта регулярная смена иконки на любую другую может сама по себе давать некоторый краткосрочный рост конверсии.

0

Иконка с купальником - огонь =)

0

Я вначале подумал, какая связь между ФС и этой злобной рожей? =)

0

Относитесь к этому инструменту скептически. Протестируйте теперь иконку саму с собой (АА тест). Скорее всего она сама у себя выиграет, возможно даже с большим отрывом.

0
Читать все 5 комментариев
Дефицит цифровых кадров в России и их подготовка

Весь мир переходит в цифровую среду. Пока в ежегодном глобальном рейтинге конкурентоспособности Россия занимает 43-е место, но задерживаться на нем не намерена. Для этого правительство запустило программу «Цифровая экономика РФ», которая будет поддерживать цифровую экономику в стране и подготовку необходимых кадров.

Как я сделал за неделю бесплатный сервис приема чаевых SpasiboZa

Как-то раз, сидя на стрижке у своего барбера, задался вопросом: как было бы здорово отправить ему чаевые, отсканировав QR-код на зеркале, как в ресторанах. Так появился сервис spasiboza.ru

V’TEM-методология продуктового анализа, или почему продукт не продаётся

Почему одни продукты продаются, а другие нет?

Это наша француженка Берта в магазине товаров для собак, для привлечения внимания к статье )))
«Spotify: История продукта». Как мы разработали алгоритмы музыкальных рекомендаций

Из онлайн-библиотеки — в сервис персонализированных рекомендаций.

IKEA не может доставить оплаченный товар

Обожаю товары из IKEA. Простые, стильные, иногда дешевые. Но вот с её доставкой у меня не заладилось c самого начала. Пользовался ей раза три и каждый раз проблема. То не довезут позицию, то перенесут. Но в этот раз всё зашло слишком далеко.

«Российский рынок акций был и остаётся одним из самых привлекательных в мире»

Виталий Исаков, директор по инвестициям УК «Открытие» («Открытие Инвестиции»).

Будущее наступит во вторник на OneRetailConf
Ростелеком. Бардак во всем

Решился опубликовать свою историю тут, потому что служба поддержки уже месяц перекидывает с одного специалиста на другого и не способна решить проблему.

Надоело

Крик души или признание.

Объявлены победители Finlanding
Озонатор опасен для лёгких, а кондиционер не освежает: как разобраться в «гирлянде» гаджетов для воздуха, не теряя денег

И на каких бесполезных устройствах можно сэкономить.

Бризер с увлажнителем и очистителем может решить сразу три проблемы с воздухом. Источник
null