Стоит ли работать с Product Page Optimization (PPO) в App Store?

Собственный инструмент A/B-тестирования Apple, называемый Product Page Optimization (PPO), наконец-то досупен! С момента его анонса специалисты ASO задавались этим вопросом. Будет ли PPO лучше, чем собственный инструмент Play Store?

Стоит ли работать с Product Page Optimization (PPO) в App Store?

Перевод статьи Is Apple’s native A/B testing tool worth it? от Marine Nozerand, Content Manager в Apptamin. Больше переводов и статей про мобайл, ATT, SKAN, SKAdNetwork и privacy 👉 в телеграм канале. Подписаться здесь 👈

Введение в Product Page Optimization

В App Store отсутствовала встроенная функция A/B-тестирования. Специалистам ASO приходилось полагаться на непрямые инструменты для тестирования и продолжать ждать решения от Apple. В июне 2021 года, во время ежегодного WWDC, Apple наконец объявили о выпуске Product Page Optimization (или PPO).

Раньше из-за отсутствия А/Б тестов в App Store:

- чаще всего эксперименты проводились через Google Play Console, чтобы получить результаты, которые в дальнейшем использовались в App Store. Всегда был риск, что пользователи на Google и Apple платформах разные;

- другой вариант использование «фальшивых страниц стора». Что так же было рискованно, т.к. непонятно как к этому относится сам Apple. Плюс сами рекламные платформы могут отправлять разных пользователей на web-to-app и на само приложение

Поэтому никогда не было ясно надежны ли эти подходы.

С помощью PPO вы можете создать несколько страниц для приложения с разными вариациями коммуникации. Короче говоря, вот что вы можете сделать с оптимизацией страницы продукта:

  • Создавайте до 3 вариантов страниц для теста;
  • Измените до 3 элементов в своих вариантах: иконку, скриншоты и предварительный просмотр приложения
  • Запустите тест до 90 дней

Если вы хотите протестировать новый визуал, они должны пройти через Apple Review. Но, если вы только тестируете в каком порядке показывать скриншоты, вы можете немедленно запустить тест (просто изменив порядок ваших текущих скриншотов), не проходя Apple Review.

PPO также обеспечивает согласованность во всем App Store. Если вы тестируете новый значок, пользователи, которые видели значок, увидят один и тот же значок повсюду в App Store (в результатах поиска, а также на вкладках «Сегодня», «Игры» и «Приложения») и на своем устройстве при загрузке приложения.

A/B-тестирование — отличный инструмент, который поможет вам оптимизировать страницу вашего продукта. Благодаря этому вы можете проверить, какая из функций вашего приложения имеет больше преимуществ, когда дело доходит до конверсии в установку, или попробовать выделить контент релевантный для конкретного гео, или сезонный контент в некоторых локализациях.

Следует отметить, что PPO недоступен для custom product pages или страниц для Apple Watch или iMessage. Их также могут видеть только пользователи, установившие iOS 15 (или iPad OS 15) или более поздние версии.

Тестовые страницы также отображаются в поиске (пользователи увидят тестовые скриншоты в результатах поиска), и они должны работать с поисковой рекламой Apple в 2022 году.

А/Б тесты в App Store vs Play Store

Инструменты A/B-тестирования обоих сторов имеют одинаковый доверительный интервал (90%). На этом сходство заканчивается:

  • С помощью Apple PPO вы можете запускать только один тест за раз, Google позволяет вам проводить до 5 одновременных тестов
  • Вам не нужно получать одобрение ваших креативов для экспериментов в Play Store (в отличие от App Store)
  • Вы можете протестировать альтернативные описания (как короткие, так и длинные), в то время как в App Store вы можете протестировать только визуальные элементы (иконка, скриншо на странице, скрины в предварительном просмотре)

Product Page Optimization или большой обман

PPO все еще является довольно свежим инструментом, с момента релиза еще не прошло 90 дней, которые, как он утверждает, необходимы для достижения достаточных результатов. Тем не менее, он был доступен достаточно долго, чтобы разочаровать достаточное количество ASO специалистов.

Вот несколько примеров того, что плохо работает в Product Page Optimization по мнению Phiture:

  • В данный момент времени можно выполнить только один тест за раз;
  • Если вы отправите новое обновление приложения, ваш тест автоматически остановится (и Apple указала, что остановленные тесты нельзя перезапустить);
  • Если вы запускаете тест в нескольких локализациях, вы не сможете разбить их отчеты в аналитике приложений;
  • Вы не можете запустить тест, пока ваши in-app события (IAP) все еще находятся на рассмотрении (отправка IAP остановит ваш тест, если он выполняется в данный момент);
  • Статус вашего приложения должен быть Ready for Sale ("Ready for Sale" означает, что группа проверки Apple одобрила приложение, и к нему можно получить доступ в iTunes Store по прямой ссылке, и приложение становится доступным для поиска)
  • Могут попадаться ошибки в датах и конверсиях в установку;
  • Задержки в результатах.

Все это разочаровывающие ограничения для столь ожидаемого продукта. Одна из основных проблем заключается в том, что запущенный тест автоматически остановится, если вы отправите новую версию приложения. Чтобы A/B-тест показал результаты, вам нужна достаточно длительная временная шкала. Однако некоторые разработчики обновляют свое приложение каждую неделю или каждые две недели, что слишком мало.

В дополнение к этому, доверительный интервал составляет всего 90%, что довольно низко по сравнению с отраслевыми стандартами и часто считается слишком низким, чтобы быть значимым.

Согласно Scribbd, «доверительный интервал — это диапазон значений, в котором, как вы ожидаете, ваша оценка будет находиться в пределах определенного процента времени, если вы снова проведете свой эксперимент или возьмете такую же выборку». Наличие доверительного интервала 90% означает, что в 90 случаях из 100 оценка будет находиться между верхним и нижним значениями, указанными вашим интервалом. В ASO рекомендуется иметь доверительный интервал не менее 95%.

Совет: избегайте использования слова “тест” в вашем тесте.

Вы не можете использовать в названии теста слово "Test". Источник: <a href="https://twitter.com/ilyakuh/status/1468534010892673025" rel="nofollow noreferrer noopener" target="_blank">Twitter</a>
Вы не можете использовать в названии теста слово "Test". Источник: Twitter

Как запустить А/Б-тест

Если вы не можете найти возможность создать A/B-тест в своей учетной записи App Store Connect, возможно, это связано с тем, что вы не подали заявку на обновление App Store Connect (доступно там же где in-app события). Если это так, просто нажмите здесь, чтобы сделать это. Для создания теста вам необходимо иметь одну из следующих ролей: Account holder, Admin, App manager или Marketing.

Как только это будет сделано, вы сможете приступить к работе:

  1. В разделе «Мои приложения» (My apps) выберите свое приложение.
  2. На левой боковой панели нажмите на Product Page Optimization (она должна быть прямо под «Функциями»/Features).
  3. Если это ваш первый тест, нажмите «Создать тест» (Create Test). В противном случае вы можете нажать на кнопку Добавить (+) рядом с Оптимизацией страницы продукта
Источник: <a href="https://help.apple.com/app-store-connect/#/dev811bef199" rel="nofollow noreferrer noopener" target="_blank">Apple</a>
Источник: Apple

4. Выберите имя ссылки (это поможет вам идентифицировать тест в аналитике приложений).

5. Выберите количество вариантов PPO (до 3-х). Будьте осторожны, чем больше процедур вы добавите, тем дольше вам придется ждать окончательных результатов.

Источник: <a href="https://www.apptamin.com/blog/is-apples-native-a-b-testing-tool-worth-it/" rel="nofollow noreferrer noopener" target="_blank">Apptamin</a>
Источник: Apptamin

6. Выберите долю трафика (процент пользователей, которым будет показана тестовая страница вместо исходной, может достигать 75%), выбранная общая доля трафика будет равномерно распределена между всеми страницами теста.

7. Выберите локализации, которые вы хотите включить (по умолчанию включены все локализации).

Источник: <a href="https://www.apptamin.com/blog/is-apples-native-a-b-testing-tool-worth-it/" rel="nofollow noreferrer noopener" target="_blank">Apptamin</a>
Источник: Apptamin

8. Затем нажмите на стрелку рядом с «Estimate Your Test Duration», чтобы оценить продолжительность теста. Выберите на какой % ожидаете рост коэффициента конверсии. Например если ожидаем рост на 5% от текущего, то тест будет проходить в течение 90 дней, если он не будет остановлен ранее.

Источник: <a href="https://www.apptamin.com/blog/is-apples-native-a-b-testing-tool-worth-it/" rel="nofollow noreferrer noopener" target="_blank">Apptamin</a>
Источник: Apptamin

9. Нажмите «Создать тест» (Create Test)

Как только ваш тест будет создан, чтобы запустить его, перейдите на страницу Product Page Optimization, нажмите на название вашего теста, а затем нажмите «Начать тест» (Start Test) в правом верхнем углу. Будьте осторожны, как только вы остановите тест, его нельзя будет перезапустить.

Как настроить страницу для теста?

Будьте осторожны, каждая ваша страница по умолчанию содержит иконку, скриншоты и видео для предварительного просмотра, которые заданы по-умолчанию. Вам придется заменить их на альтернативные метаданные, которые должны быть одобрены App Review до начала тестирования.

Product page может еще называться “treatments". Поэтому в настройках теста и eng статьях часто можно встретить именно treatments, как вариацию страницы продукта.

Источник: https://developer.apple.com/app-store/product-page-optimization/

Скриншоты и предпросмотры страницы приложений могут быть отправлены на рассмотрение приложения независимо от новой версии приложения. Если вы хотите протестировать альтернативный значок приложения, вы должны включить все варианты значков в двоичный файл вашего приложения (который должен быть создан с использованием Xcode 13 или более поздней версии).

Чтобы предоставить альтернативные метаданные для тестовой страницы, у вас должна быть одна из следующих ролей: Account Holder, Admin, App Manager или Marketing. Как только это будет сделано, выполните следующие действия:

  1. Выберите свое приложение в разделе «Мои приложения» (My apps)
  2. Перейдите Product Page Optimization (в разделе Features в панели слева).
  3. Названия тестовых страниц по умолчанию "Treatments A/B/C". Чтобы изменить это, нажмите «Изменить имя» (Edit Name) рядом с названием страницы, которое вы хотите изменить, введите новое имя и нажмите "ОК".
source: <a href="https://help.apple.com/app-store-connect/#/devb53f12312" rel="nofollow noreferrer noopener" target="_blank">Apple</a>
source: Apple

Для скриншотов и видео в предварительном просмотре приложения:

Выберите устройство и добавьте скриншоты, превью, как на обычной странице (product page).

Для иконки:

  1. Перейдите на вкладку App Icon (двоичный файл приложения должен содержать более одной иконки, чтобы вкладка отображалась)
  2. Перейдите к выбранной вами странице
  3. Нажмите "Изменить" под значком, выберите значок в появившемся меню.
Стоит ли работать с Product Page Optimization (PPO) в App Store?

Мониторинг результатов тестируемых страниц

Вы можете следить за текущим тестированием в аналитике приложений. Показатели эффективности (количество показов, коэффициент конверсии, процент улучшения и уровень достоверности) будут доступны на следующий день после начала теста. Если вы запускаете несколько тестов, вы можете сравнить их друг с другом, изменив базовую линию (которая по умолчанию является вашей исходной страницей приложения).

Вы также увидите некоторые индикаторы, которые покажут вам, требуется ли вам время для сбора данных или работает ли одна из ваших страниц лучше или хуже, чем исходная. Чтобы просмотреть все эти данные, выполните следующие действия:

  1. Выберите ваше приложение в App Analytics
  2. Перейдите на вкладку Acquisition
  3. Перейдите в Product Pages (вверху)
  4. Выберите вашу страницу в списке Product Page Optimization (отображаются только последние и текущие тесты)
source: <a href="https://developer.apple.com/app-store/product-page-optimization/" rel="nofollow noreferrer noopener" target="_blank">Apple</a>
source: Apple

Если выбранная вами страница работает лучше и вы хотите ее применить по-умолчанию, выполните следующие действия (для этого вам потребуется одна из следующих ролей: Account Holder, Admin, App Manager, or Marketing):

  1. Выберите ваше приложение в My Apps
  2. Перейдите в Product Page Optimization (в разделе Features в левом сайдбаре)
  3. Выберите ваш тест и выберите страницу, которую вы хотите использовать
  4. Нажмите «Apply Treatment to Original Product Page»
  5. Выберите версию приложения для которой вы хотите применить страницу

Небольшой совет: если вы решите применить страницу, будут использованы только скриншоты и видео предварительного просмотра. Если вы хотите применить новую протестированную иконку, вам придется включить ее в качестве иконки приложения по умолчанию в следующей версии приложения.

👉 Будете ли вы тестировать Product Page Optimization в App Store? Если уже попробовали, как вам? Расскажите в комментариях!

- - - -

Другие полезные материалы по теме PPO (Product page optimization в App Store):

Привет! Меня зовут Герман Капнин
С 2015 года в мобильном маркетинге. Закупал трафик для приложений от Mail.ru, Yandex, Aliexpress, OZON и многих других клиентов. Читайте новые материалы на vc, подписывайтесь на телеграм канал, добавляйтесь в Facebook
44
1 комментарий