Стоит ли работать с Product Page Optimization (PPO) в App Store?

Собственный инструмент A/B-тестирования Apple, называемый Product Page Optimization (PPO), наконец-то досупен! С момента его анонса специалисты ASO задавались этим вопросом. Будет ли PPO лучше, чем собственный инструмент Play Store?

Перевод статьи Is Apple’s native A/B testing tool worth it? от Marine Nozerand, Content Manager в Apptamin. Больше переводов и статей про мобайл, ATT, SKAN, SKAdNetwork и privacy 👉 в телеграм канале. Подписаться здесь 👈

В App Store отсутствовала встроенная функция A/B-тестирования. Специалистам ASO приходилось полагаться на непрямые инструменты для тестирования и продолжать ждать решения от Apple. В июне 2021 года, во время ежегодного WWDC, Apple наконец объявили о выпуске Product Page Optimization (или PPO).

С помощью PPO вы можете создать несколько страниц для приложения с разными вариациями коммуникации. Короче говоря, вот что вы можете сделать с оптимизацией страницы продукта:

• Создавайте до 3 вариантов страниц для теста;
• Измените до 3 элементов в своих вариантах: иконку, скриншоты и предварительный просмотр приложения
  
• Запустите тест до 90 дней
  

Если вы хотите протестировать новый визуал, они должны пройти через Apple Review. Но, если вы только тестируете в каком порядке показывать скриншоты, вы можете немедленно запустить тест (просто изменив порядок ваших текущих скриншотов), не проходя Apple Review.

PPO также обеспечивает согласованность во всем App Store. Если вы тестируете новый значок, пользователи, которые видели значок, увидят один и тот же значок повсюду в App Store (в результатах поиска, а также на вкладках «Сегодня», «Игры» и «Приложения») и на своем устройстве при загрузке приложения.

A/B-тестирование — отличный инструмент, который поможет вам оптимизировать страницу вашего продукта. Благодаря этому вы можете проверить, какая из функций вашего приложения имеет больше преимуществ, когда дело доходит до конверсии в установку, или попробовать выделить контент релевантный для конкретного гео, или сезонный контент в некоторых локализациях.

Следует отметить, что PPO недоступен для custom product pages или страниц для Apple Watch или iMessage. Их также могут видеть только пользователи, установившие iOS 15 (или iPad OS 15) или более поздние версии.

Тестовые страницы также отображаются в поиске (пользователи увидят тестовые скриншоты в результатах поиска), и они должны работать с поисковой рекламой Apple в 2022 году.

Инструменты A/B-тестирования обоих сторов имеют одинаковый доверительный интервал (90%). На этом сходство заканчивается:

• С помощью Apple PPO вы можете запускать только один тест за раз, Google позволяет вам проводить до 5 одновременных тестов
• Вам не нужно получать одобрение ваших креативов для экспериментов в Play Store (в отличие от App Store)
• Вы можете протестировать альтернативные описания (как короткие, так и длинные), в то время как в App Store вы можете протестировать только визуальные элементы (иконка, скриншо на странице, скрины в предварительном просмотре)

PPO все еще является довольно свежим инструментом, с момента релиза еще не прошло 90 дней, которые, как он утверждает, необходимы для достижения достаточных результатов. Тем не менее, он был доступен достаточно долго, чтобы разочаровать достаточное количество ASO специалистов.

Вот несколько примеров того, что плохо работает в Product Page Optimization по мнению Phiture:

• В данный момент времени можно выполнить только один тест за раз;
• Если вы отправите новое обновление приложения, ваш тест автоматически остановится (и Apple указала, что остановленные тесты нельзя перезапустить);
  
• Если вы запускаете тест в нескольких локализациях, вы не сможете разбить их отчеты в аналитике приложений;
  
• Вы не можете запустить тест, пока ваши in-app события (IAP) все еще находятся на рассмотрении (отправка IAP остановит ваш тест, если он выполняется в данный момент);
  
• Статус вашего приложения должен быть Ready for Sale ("Ready for Sale" означает, что группа проверки Apple одобрила приложение, и к нему можно получить доступ в iTunes Store по прямой ссылке, и приложение становится доступным для поиска)
• Могут попадаться ошибки в датах и конверсиях в установку;
• Задержки в результатах.

Все это разочаровывающие ограничения для столь ожидаемого продукта. Одна из основных проблем заключается в том, что запущенный тест автоматически остановится, если вы отправите новую версию приложения. Чтобы A/B-тест показал результаты, вам нужна достаточно длительная временная шкала. Однако некоторые разработчики обновляют свое приложение каждую неделю или каждые две недели, что слишком мало.

В дополнение к этому, доверительный интервал составляет всего 90%, что довольно низко по сравнению с отраслевыми стандартами и часто считается слишком низким, чтобы быть значимым.

Согласно Scribbd, «доверительный интервал — это диапазон значений, в котором, как вы ожидаете, ваша оценка будет находиться в пределах определенного процента времени, если вы снова проведете свой эксперимент или возьмете такую же выборку». Наличие доверительного интервала 90% означает, что в 90 случаях из 100 оценка будет находиться между верхним и нижним значениями, указанными вашим интервалом. В ASO рекомендуется иметь доверительный интервал не менее 95%.

Если вы не можете найти возможность создать A/B-тест в своей учетной записи App Store Connect, возможно, это связано с тем, что вы не подали заявку на обновление App Store Connect (доступно там же где in-app события). Если это так, просто нажмите здесь, чтобы сделать это. Для создания теста вам необходимо иметь одну из следующих ролей: Account holder, Admin, App manager или Marketing.

Как только это будет сделано, вы сможете приступить к работе:

1. В разделе «Мои приложения» (My apps) выберите свое приложение.
2. На левой боковой панели нажмите на Product Page Optimization (она должна быть прямо под «Функциями»/Features).
   
3. Если это ваш первый тест, нажмите «Создать тест» (Create Test). В противном случае вы можете нажать на кнопку Добавить (+) рядом с Оптимизацией страницы продукта
   

4. Выберите имя ссылки (это поможет вам идентифицировать тест в аналитике приложений).

5. Выберите количество вариантов PPO (до 3-х). Будьте осторожны, чем больше процедур вы добавите, тем дольше вам придется ждать окончательных результатов.

6. Выберите долю трафика (процент пользователей, которым будет показана тестовая страница вместо исходной, может достигать 75%), выбранная общая доля трафика будет равномерно распределена между всеми страницами теста.

7. Выберите локализации, которые вы хотите включить (по умолчанию включены все локализации).

8. Затем нажмите на стрелку рядом с «Estimate Your Test Duration», чтобы оценить продолжительность теста. Выберите на какой % ожидаете рост коэффициента конверсии. Например если ожидаем рост на 5% от текущего, то тест будет проходить в течение 90 дней, если он не будет остановлен ранее.

9. Нажмите «Создать тест» (Create Test)

Как только ваш тест будет создан, чтобы запустить его, перейдите на страницу Product Page Optimization, нажмите на название вашего теста, а затем нажмите «Начать тест» (Start Test) в правом верхнем углу. Будьте осторожны, как только вы остановите тест, его нельзя будет перезапустить.

Будьте осторожны, каждая ваша страница по умолчанию содержит иконку, скриншоты и видео для предварительного просмотра, которые заданы по-умолчанию. Вам придется заменить их на альтернативные метаданные, которые должны быть одобрены App Review до начала тестирования.

Скриншоты и предпросмотры страницы приложений могут быть отправлены на рассмотрение приложения независимо от новой версии приложения. Если вы хотите протестировать альтернативный значок приложения, вы должны включить все варианты значков в двоичный файл вашего приложения (который должен быть создан с использованием Xcode 13 или более поздней версии).

Чтобы предоставить альтернативные метаданные для тестовой страницы, у вас должна быть одна из следующих ролей: Account Holder, Admin, App Manager или Marketing. Как только это будет сделано, выполните следующие действия:

1. Выберите свое приложение в разделе «Мои приложения» (My apps)
2. Перейдите Product Page Optimization (в разделе Features в панели слева).
3. Названия тестовых страниц по умолчанию "Treatments A/B/C". Чтобы изменить это, нажмите «Изменить имя» (Edit Name) рядом с названием страницы, которое вы хотите изменить, введите новое имя и нажмите "ОК".

Для скриншотов и видео в предварительном просмотре приложения:

Выберите устройство и добавьте скриншоты, превью, как на обычной странице (product page).

Для иконки:

1. Перейдите на вкладку App Icon (двоичный файл приложения должен содержать более одной иконки, чтобы вкладка отображалась)
2. Перейдите к выбранной вами странице
3. Нажмите "Изменить" под значком, выберите значок в появившемся меню.

Вы можете следить за текущим тестированием в аналитике приложений. Показатели эффективности (количество показов, коэффициент конверсии, процент улучшения и уровень достоверности) будут доступны на следующий день после начала теста. Если вы запускаете несколько тестов, вы можете сравнить их друг с другом, изменив базовую линию (которая по умолчанию является вашей исходной страницей приложения).

Вы также увидите некоторые индикаторы, которые покажут вам, требуется ли вам время для сбора данных или работает ли одна из ваших страниц лучше или хуже, чем исходная. Чтобы просмотреть все эти данные, выполните следующие действия:

1. Выберите ваше приложение в App Analytics
2. Перейдите на вкладку Acquisition
3. Перейдите в Product Pages (вверху)
4. Выберите вашу страницу в списке Product Page Optimization (отображаются только последние и текущие тесты)

Если выбранная вами страница работает лучше и вы хотите ее применить по-умолчанию, выполните следующие действия (для этого вам потребуется одна из следующих ролей: Account Holder, Admin, App Manager, or Marketing):

1. Выберите ваше приложение в My Apps
2. Перейдите в Product Page Optimization (в разделе Features в левом сайдбаре)
3. Выберите ваш тест и выберите страницу, которую вы хотите использовать
4. Нажмите «Apply Treatment to Original Product Page»
5. Выберите версию приложения для которой вы хотите применить страницу

Небольшой совет: если вы решите применить страницу, будут использованы только скриншоты и видео предварительного просмотра. Если вы хотите применить новую протестированную иконку, вам придется включить ее в качестве иконки приложения по умолчанию в следующей версии приложения.

👉 Будете ли вы тестировать Product Page Optimization в App Store? Если уже попробовали, как вам? Расскажите в комментариях!

- - - -

Другие полезные материалы по теме PPO (Product page optimization в App Store):

• iOS 15 and Product Page Optimization: A Crash Course in Launching A/B Testing on the App Store https://phiture.com/asostack/ios15-product-page-optimization/
• How to prepare your App Store custom product pages (CPPs) for iOS 15 ASO? https://asoworld.com/blog/how-to-prepare-your-app-store-custom-product-pages-cpps-for-ios-15-aso/
  
• iOS 15: AB testing (finally) arrives on iTunes with Product Page Optimization https://www.youtube.com/watch?v=dJqyky1Pq08
  
• Как запустить А/Б-тест в App Store? https://www.youtube.com/watch?v=w5fW-L_tIiQ