Как устроен софт-лонч: разбор от Zorka.Mobi и Nitro Games

Каждый разработчик однажды понимает, что пришло время показать свой продукт будущим пользователям. Софт-лонч — первая проверка приложения на выживаемость, именно тестовый запуск раскрывает его сильные и указывает на слабые стороны. В этой практической статье опытом софт-лончей делятся Алексей Адамович (руководитель отдела медиабаинга в Zorka.Mobi) и Микко Кахара (директор по маркетингу, Nitro Games).

Будем реалистичны: не все разработчики могут позволить себе содержать полноценный QA-отдел.

Алексей Адамович,

Руководитель отдела медиабаинга, Zorka.Mobi

У компании-разработчика может быть сколько угодно девайсов и тестировщиков, но реальные пользователи зачастую делают такие вещи, о которых даже профессионалы не подумают. Да, живые люди могут сто раз кликать на одно и то же место в интерфейсе или просто на одну и ту же кнопку. И в этот момент “полностью готовое приложение” может сломаться. Кроме того, софт-лонч помогает протестировать несколько вариантов in-app решений (например, модели монетизации, тип регистрации, настройку UX и т.п.).

Будем реалистичны: не все разработчики могут позволить себе содержать полноценный QA-отдел, а отдавать тестирование на аутсорс все же накладно. Если упростить: пользователи делают работу тестировщиков от души, “с погружением”. Поэтому технический софт-лонч так же правильно называть, к примеру, “QA-лонч”. К тому же, аутсорс-команды не знают продукт так хорошо, как разработчик, и у них все равно ограничен ресурс (кол-во итераций, период тестирования и пр.).

Технический софт-лонч лучше делать на дешевом трафике — в Индии, Пакистане, Иране. Средний CPI в этом случае составит примерно $0,05. А чтобы проверить стабильность приложения, вполне хватит 1 000 установок. То есть примерный бюджет такой кампании составит порядка $50. Немного сложнее будет с локализованными приложениями. Их не стоит софт-лончить на дешевом трафике, потому что они привязаны к определенному рынку и пользователи ничего не поймут. А вы получите кучу “мусора” вместо обратной связи. Кроме того, это решение позволит избежать лишних расходов на покупку тестовых девайсов.

Если говорить про девайсы на Android, то для софт-лонча нужно выбрать только флагманские модели. Обычно это порядка 10-ти топовых девайсов. Такой шаг позволит получить максимально релевантную обратную связь, исключив проблемы самого “железа”. Старые модели лучше сразу отключать или ограничивать в панели разработчика. В целом, при закупке трафика следует прописывать все необходимые ограничения, чтобы уменьшить долю негативного и некорректного фидбэка.

Все это касается, в первую очередь, неигровых приложений. С игровыми немного сложней: к софт-лончу нужно в обязательном порядке подключать геймдизайнеров, аналитиков, специалистов по монетизации. Ведь метрик обратной связи и оценки приложения в этом случае гораздо больше.

Мы выбираем ряд стран на основе аудитории и бизнес-модели игры, чтобы оценить масштабируемость и результативность маркетинга.

Микко Кахара,

Директор по маркетингу, Nitro Games

— Что Вы вкладываете в понятие “софт-лонч”?

— Для меня софт-лонч — период времени, в который мы знакомим ограниченный круг аудитории с игрой. В первую очередь чтобы узнать, нравится ли пользователям геймплей. Внимательно отслеживаем данные о производительности игры, отзывы игроков, эффективность маркетинга и, параллельно с этим, продолжаем разработку. Ведь наша цель — подарить игрокам максимально приятный опыт взаимодействия с игрой к моменту ее публикации в магазине приложений. А также убедиться, что проект станет удачным кейсом.

— От чего зависит выбор страны для софт-лонча?

— Мы выбираем ряд стран на основе аудитории и бизнес-модели игры, чтобы оценить масштабируемость и результативность маркетинга. Поскольку мы делаем игры с синхронным мультиплеером, то и проводим тесты в странах, где можем получить наибольшее количество одновременных игроков за адекватную стоимость. Это также помогает проверить на практике возможности нашего бэк-энда.

— Правда ли, что самые популярные страны это Канада и Австралия?

— По отрасли — да. Они дают правильное представление об эффективности на западных рынках. Правда, из-за того что сегодня издатели часто тестируют игры в этих странах, картина уже не так точна. И это понятно: если страна постоянно выступает в роли подопытного кролика для софт-лонча, то это неизбежно влияет на поведение пользователей, и особенно первых игроков.

— Фиксируете ли вы стоимость установки для каждого из источников перед началом софт-лонча?

— Обычно мы тестируем сразу несколько способов привлечения пользователей и типов кампаний, а также оптимизируем кампании на основе событий. Мы работаем со свободными ставками и стремимся достичь приемлемого уровня CPI с учетом ограничений.

Как устроен софт-лонч: разбор от Zorka.Mobi и Nitro Games

— Есть ли смысл отказаться от покупного трафика из социальных сетей и привлекать игроков только через поисковый из сторов?

— Да, он может оказаться эффективным, но я не знаю случаев, когда его доля составляла бы 100%. К примеру, поиск нельзя оптимизировать на основе событий и стоимости — а это важные метрики, которые могут повысить результативность кампании.

— При закупке трафика вы ориентируетесь на узкий таргетинг или на широкую аудиторию?

— Поскольку у каждого метода есть преимущества, мы миксуем оба подхода. Также мы научились работать со схожими аудиториями: с помощью алгоритмов Facebook мы создаем их на основе групп игроков с высоким вовлечением.

— Что, с вашей точки, важнее: технически протестировать билд или проверить игровые механики и монетизацию?

— Механика игры и эффективность монетизации. В основном мы фокусируемся на показателях удержания и жизненной ценности клиентов, а параллельно с этим продолжаем тестирование и оптимизацию пользовательского опыта. Но с серьезными багами, конечно, следует разобраться задолго до софт-лонча.

— Перечислите пять ключевых метрик, которые вы отслеживаете при софт-лонче.

— Удержание, ARPDAU, ARPU за определенный период, оценки пользователей и ключевые маркетинговые метрики (CPI, CPE и т.д.).

— Приходилось ли вам сокращать онбординг в игре после тестового запуска?

— Онбординг и первый пользовательский опыт (FTUE) — это важные игровые процессы, которые постоянно дополняются и дорабатываются. Как в сторону сокращения, так и наоборот: ведь важен не технический объем, а обратная связь.

— С каким количеством контента можно выводить игру на софт-лонч?

— Базовые требования: в игре должен функционировать основной цикл (core loop) и, конечно же, присутствовать задуманное количество элементов метагейма. Само собой, важно настроить и рабочую схему монетизации.

Надеемся, что этот материал поможет начинающим разработчикам избежать наиболее распространенных ошибок тестового запуска.

4141
3 комментария

Будучи не один год в индустрии и участвуя в софтлончах, больно читать каждую строчку статьи. У других может сложиться впечатление, что все разработчики считают нормальным тестировать игры на своих пользователях.

Да, живые люди могут сто раз кликать на одно и то же место в интерфейсе или просто на одну и ту же кнопку. И в этот момент “полностью готовое приложение” может сломаться

Да как-то и похер, такие баги даже в глобале половина ценящих время и деньги разработчиков завернут, а уж в софтлончах это вовсе не является проблемой.

Кроме того, софт-лонч помогает протестировать несколько вариантов in-app решений (например, модели монетизации, тип регистрации, настройку UX и т.п.).

Тут бы вообще рассказать о всех плюсах софтлонча, как он помогает в умелых руках делать конфетку и при глобале получать те самые миллионы прибыли.
Вот намного интереснее все это сделали в Zeptolab - https://apptractor.ru/develop/oleg-yakubenkov-zeptolab-ot-idei-do-10-millionov-skachivaniy-king-of-thieves.html

Будем реалистичны: не все разработчики могут позволить себе содержать полноценный QA-отдел, а отдавать тестирование на аутсорс все же накладно.

В этот момент становится понятным, что авторы приравнивают софтлонч к публичному бета-тесту, а это блин не одно и то же! Софтлонч - запуск законченной версии продукта для ограниченной территории. Позже для версии проводятся эксперименты на основе полученного фидбека, и все повторяется.

Нет, это так не работает. Если экономить на QA и выпустить на ограниченную аудиторию багованную версию, на этом софтлонч и закончится.

К тому же, аутсорс-команды не знают продукт так хорошо, как разработчик, и у них все равно ограничен ресурс (кол-во итераций, период тестирования и пр.)

Какая-то совсем отвлеченная от действительности херня. Что мешает аутсорс команде узнать продукт как разработчик? Аутсорс QA тут сводится к каким-то гастарбайтерам

Если говорить про девайсы на Android, то для софт-лонча нужно выбрать только флагманские модели. Обычно это порядка 10-ти топовых девайсов. Такой шаг позволит получить максимально релевантную обратную связь, исключив проблемы самого “железа”. Старые модели лучше сразу отключать или ограничивать в панели разработчика

Картинка с Джеки чаном. От такого ограничения у всех игроков сразу появятся флагманские модели? Как это вообще можно ограничить для софтлонча девайсы сверху, белый список? Для кого этот совет?
И сколько 1 и полезной обратной связи вы получите после такого ограничения?

Далее статья скатывается до интервью с туманными ответами, которые не дают ответа на главный вопрос в заголовке "Как устроен софт-лонч"

2

Мы согласны с тем, что подходов к тестированию игр может быть несколько. Именно эту статью мы старались адаптировать для начинающих разработчиков, у которых нет достаточного количества средств на полноценное тестирование. Об этом мы и упомянули в начале материала.

Для некоторых софт-лонч - это действительно хороший выход, чтобы протестировать игру на популярных девайсах за небольшие деньги, при этом получив адекватный фидбэк пользоваталей.