Недельный опыт A/B-тестирования креативов для игры на площадке Яндекс.Игры

В рамках данной статьи рассматриваем опыт использования инструмента A/B-тестирования креативов на площадке Яндекс.Игры для игры "Последний Блочный Ниндзя Паркур История" на платформе Яндекс Игры. Эта игра, входящая в жанр "мидкор", представляет собой 3D-action от первого лица с увлекательным сюжетом, озвучкой и возможностью играть за ниндзя.

Исходные версии иконки и обложки игры вызывали положительные эмоции у нашей команды. Однако, с целью оптимизации визуального представления и привлечения большего числа игроков, мы решили проверить гипотезу о том, что изменения в дизайне креативов могут положительно сказаться на их восприятии аудиторией.

Для иконки мы предположили, что увеличение яркости и уменьшение количества персонажей на изображении может привлечь больше внимания.

В случае с обложкой игры, мы изменили концепцию, отражая на ней уровни из игры с биомами вместо персонажей, исходя из предположения, что такой подход может лучше соответствовать интересам и ожиданиям потенциальных игроков.

В данной статье мы представляем результаты A/B-тестирования, проведенного в течение недели, с целью оценки влияния внесенных изменений на ключевые метрики игры, такие как привлечение новых игроков, время игры и CTR иконки и обложки.

Прежде чем приступить к анализу результатов, важно отметить, что информация о тестировании в консоли стала доступна только начиная с третьего дня эксперимента. Это означает, что первые два дня данных не было доступно для анализа, что может повлиять на полноту и точность интерпретации результатов.

Теперь перейдем к анализу полученных результатов за неделю тестирования:

Количество игроков в экспериментальной группе (эксперимент) увеличилось по сравнению с контрольной группой (контроль) на 16%, 7%, 1%, и 3% соответственно в каждый из дней тестирования. Это позитивный результат, свидетельствующий о том, что изменения в креативах положительно сказываются на привлечении игроков.

Общее время игры в экспериментальной группе увеличилось на 14-74% по сравнению с контрольной группой на протяжении всего тестирования. Однако к завершению эксперимента наблюдалось снижение этой метрики на 3%, что может указывать на то, что изменения в креативах начали терять свою эффективность.

Среднее время игры на игрока также увеличилось в экспериментальной группе на 13-42% по сравнению с контрольной группой на протяжении всего тестирования. Однако, как и с общим временем игры, к завершению эксперимента наблюдалось снижение этой метрики на 6%, что может свидетельствовать о насыщении аудитории или о потере интереса к измененным креативам.

CTR (Click-Through Rate) иконки и обложки в экспериментальной группе изменялся в течение теста. Изменение в иконке привело к увеличению CTR на 31% в начале, но затем снижение на 12% к завершению теста. В то же время, изменение обложки привело к увеличению CTR на 17%, затем снижение на 15% и 18% в разные дни. Это указывает на то, что изменения в креативах могут влиять на вовлеченность игроков, но эффект может быть временным или неоднозначным.

Изменения в креативах влияют на ключевые метрики, такие как привлечение игроков и их уровень вовлеченности. Однако, эффект изменений может быть временным или требует более детального анализа. Для более точных выводов может потребоваться продолжение тестирования или дополнительные исследования, чтобы понять долгосрочные последствия изменений в креативах на игровой опыт и поведение игроков.

На основании результатов проведенного A/B-тестирования креативов для игры "Последний Блочный Ниндзя Паркур История" на платформе Яндекс Игры, мы пришли к решению оставить старые креативы. Несмотря на наблюдаемые увеличения в ключевых метриках, таких как привлечение игроков и увеличение времени игры на начальных этапах тестирования, к концу эксперимента мы отметили снижение эффективности внесенных изменений. Это свидетельствует о необходимости учитывать динамику изменений метрик во времени и продолжать мониторить и анализировать результаты для принятия обоснованных решений в развитии игрового продукта. В данном случае, статистические данные говорят в пользу сохранения старых креативов.

P.S. Заинтересованным читателям также рекомендуется присоединиться к нашему Telegram-каналу "FAMSTUDIO", где мы рассказываем о процессе разработки наших инди игр, делимся эксклюзивными материалами, концепт-артом: https://t.me/famstudiogames