Стоит ли работать с Product Page Optimization (PPO) в App Store?

Собственный инструмент A/B-тестирования Apple, называемый Product Page Optimization (PPO), наконец-то досупен! С момента его анонса специалисты ASO задавались этим вопросом. Будет ли PPO лучше, чем собственный инструмент Play Store?

Перевод статьи Is Apple’s native A/B testing tool worth it? от Marine Nozerand, Content Manager в Apptamin. Больше переводов и статей про мобайл, ATT, SKAN, SKAdNetwork и privacy 👉 в телеграм канале. Подписаться здесь 👈

В App Store отсутствовала встроенная функция A/B-тестирования. Специалистам ASO приходилось полагаться на непрямые инструменты для тестирования и продолжать ждать решения от Apple. В июне 2021 года, во время ежегодного WWDC, Apple наконец объявили о выпуске Product Page Optimization (или PPO).

С помощью PPO вы можете создать несколько страниц для приложения с разными вариациями коммуникации. Короче говоря, вот что вы можете сделать с оптимизацией страницы продукта:

Если вы хотите протестировать новый визуал, они должны пройти через Apple Review. Но, если вы только тестируете в каком порядке показывать скриншоты, вы можете немедленно запустить тест (просто изменив порядок ваших текущих скриншотов), не проходя Apple Review.

PPO также обеспечивает согласованность во всем App Store. Если вы тестируете новый значок, пользователи, которые видели значок, увидят один и тот же значок повсюду в App Store (в результатах поиска, а также на вкладках «Сегодня», «Игры» и «Приложения») и на своем устройстве при загрузке приложения.

A/B-тестирование — отличный инструмент, который поможет вам оптимизировать страницу вашего продукта. Благодаря этому вы можете проверить, какая из функций вашего приложения имеет больше преимуществ, когда дело доходит до конверсии в установку, или попробовать выделить контент релевантный для конкретного гео, или сезонный контент в некоторых локализациях.

Следует отметить, что PPO недоступен для custom product pages или страниц для Apple Watch или iMessage. Их также могут видеть только пользователи, установившие iOS 15 (или iPad OS 15) или более поздние версии.

Тестовые страницы также отображаются в поиске (пользователи увидят тестовые скриншоты в результатах поиска), и они должны работать с поисковой рекламой Apple в 2022 году.

Инструменты A/B-тестирования обоих сторов имеют одинаковый доверительный интервал (90%). На этом сходство заканчивается:

PPO все еще является довольно свежим инструментом, с момента релиза еще не прошло 90 дней, которые, как он утверждает, необходимы для достижения достаточных результатов. Тем не менее, он был доступен достаточно долго, чтобы разочаровать достаточное количество ASO специалистов.

Вот несколько примеров того, что плохо работает в Product Page Optimization по мнению Phiture:

Все это разочаровывающие ограничения для столь ожидаемого продукта. Одна из основных проблем заключается в том, что запущенный тест автоматически остановится, если вы отправите новую версию приложения. Чтобы A/B-тест показал результаты, вам нужна достаточно длительная временная шкала. Однако некоторые разработчики обновляют свое приложение каждую неделю или каждые две недели, что слишком мало.

В дополнение к этому, доверительный интервал составляет всего 90%, что довольно низко по сравнению с отраслевыми стандартами и часто считается слишком низким, чтобы быть значимым.

Согласно Scribbd, «доверительный интервал — это диапазон значений, в котором, как вы ожидаете, ваша оценка будет находиться в пределах определенного процента времени, если вы снова проведете свой эксперимент или возьмете такую же выборку». Наличие доверительного интервала 90% означает, что в 90 случаях из 100 оценка будет находиться между верхним и нижним значениями, указанными вашим интервалом. В ASO рекомендуется иметь доверительный интервал не менее 95%.

Если вы не можете найти возможность создать A/B-тест в своей учетной записи App Store Connect, возможно, это связано с тем, что вы не подали заявку на обновление App Store Connect (доступно там же где in-app события). Если это так, просто нажмите здесь, чтобы сделать это. Для создания теста вам необходимо иметь одну из следующих ролей: Account holder, Admin, App manager или Marketing.

Как только это будет сделано, вы сможете приступить к работе:

4. Выберите имя ссылки (это поможет вам идентифицировать тест в аналитике приложений).

5. Выберите количество вариантов PPO (до 3-х). Будьте осторожны, чем больше процедур вы добавите, тем дольше вам придется ждать окончательных результатов.

6. Выберите долю трафика (процент пользователей, которым будет показана тестовая страница вместо исходной, может достигать 75%), выбранная общая доля трафика будет равномерно распределена между всеми страницами теста.

7. Выберите локализации, которые вы хотите включить (по умолчанию включены все локализации).

8. Затем нажмите на стрелку рядом с «Estimate Your Test Duration», чтобы оценить продолжительность теста. Выберите на какой % ожидаете рост коэффициента конверсии. Например если ожидаем рост на 5% от текущего, то тест будет проходить в течение 90 дней, если он не будет остановлен ранее.

9. Нажмите «Создать тест» (Create Test)

Как только ваш тест будет создан, чтобы запустить его, перейдите на страницу Product Page Optimization, нажмите на название вашего теста, а затем нажмите «Начать тест» (Start Test) в правом верхнем углу. Будьте осторожны, как только вы остановите тест, его нельзя будет перезапустить.

Будьте осторожны, каждая ваша страница по умолчанию содержит иконку, скриншоты и видео для предварительного просмотра, которые заданы по-умолчанию. Вам придется заменить их на альтернативные метаданные, которые должны быть одобрены App Review до начала тестирования.

Скриншоты и предпросмотры страницы приложений могут быть отправлены на рассмотрение приложения независимо от новой версии приложения. Если вы хотите протестировать альтернативный значок приложения, вы должны включить все варианты значков в двоичный файл вашего приложения (который должен быть создан с использованием Xcode 13 или более поздней версии).

Чтобы предоставить альтернативные метаданные для тестовой страницы, у вас должна быть одна из следующих ролей: Account Holder, Admin, App Manager или Marketing. Как только это будет сделано, выполните следующие действия:

Для скриншотов и видео в предварительном просмотре приложения:

Выберите устройство и добавьте скриншоты, превью, как на обычной странице (product page).

Для иконки:

Вы можете следить за текущим тестированием в аналитике приложений. Показатели эффективности (количество показов, коэффициент конверсии, процент улучшения и уровень достоверности) будут доступны на следующий день после начала теста. Если вы запускаете несколько тестов, вы можете сравнить их друг с другом, изменив базовую линию (которая по умолчанию является вашей исходной страницей приложения).

Вы также увидите некоторые индикаторы, которые покажут вам, требуется ли вам время для сбора данных или работает ли одна из ваших страниц лучше или хуже, чем исходная. Чтобы просмотреть все эти данные, выполните следующие действия:

Если выбранная вами страница работает лучше и вы хотите ее применить по-умолчанию, выполните следующие действия (для этого вам потребуется одна из следующих ролей: Account Holder, Admin, App Manager, or Marketing):

Небольшой совет: если вы решите применить страницу, будут использованы только скриншоты и видео предварительного просмотра. Если вы хотите применить новую протестированную иконку, вам придется включить ее в качестве иконки приложения по умолчанию в следующей версии приложения.

👉 Будете ли вы тестировать Product Page Optimization в App Store? Если уже попробовали, как вам? Расскажите в комментариях!

- - - -

Другие полезные материалы по теме PPO (Product page optimization в App Store):