AB-тесты, плоская земля и «три в ряд»: что делает игровой аналитик
Герой нашего очередного подкаста Василий Сабиров — ведущий аналитик и сооснователь компании devtodev. В новом выпуске New.HR Podcast он подробно рассказал все тонкости профессии, о том, какими навыками нужно обладать, чтобы в неё попасть и с какими задачами предстоит столкнуться.
Чем занимаются игровые аналитики
Основные задачи и измерение эмоций
Если говорить кратко и просто — игровой аналитик получает в работу игру, которую должен сделать лучше по определённым показателям. Его специальность почти ничем не отличается от продуктовой аналитики: и там, и там задача — увеличить поток денег через улучшение различных параметров. Однако игра — это эмоциональный продукт, но специальной метрики удовольствия не существует. Поэтому приходится работать с чем-то максимально приближённым к этому параметру.
Измерять фан можно разными способами. Например, если это игры типа «три в ряд», то можно смотреть на сложность уровня в соотношении успешных и неуспешных попыток игрока. Так, если на сто попыток приходится сто успешных — слишком легко. Но если на сто приходится лишь одна удачная — это суперсложно.
Ещё можно измерять FUUU-показатель (он так называется по мему, где чувак бесится и кричит «FUUU!»). Это доля попыток, когда игрок почти прошёл уровень, но ему не хватило совсем чуть-чуть. Например, ему надо уложиться в 25 шагов, чтобы пройти, а он всё время заканчивает на 26 шаге. FUUU-фактор должен быть положительным, он должен вызывать чувство азарта, а не раздражения.
Измерять эмоцию можно разными способами в зависимости от жанра. Задача игрового аналитика — попытаться создать набор показателей, которые опишут то, что чувствует игрок или сегмент игроков, во время игры.
Ключевые метрики
Основные показатели, на которые надо ориентироваться — это пользователи, ретеншн первого, седьмого и тридцатого дня. Важно также измерять долю платящих игроков.
Другие метрики — это доход с игроков (ARPU), доход с платящих игроков (ARPPU), life time value и метрики трафика. В зависимости от жанра и сложности игры, можно придумать несколько сотен метрик, которые нужно отслеживать. Если говорить про те же «три в ряд», то можно взять долю успешных/неуспешных попыток, поделить всё это на платящих и неплатящих игроков. Можно посчитать долю успешных с использованием бустеров и без них, сколько на уровне потрачено монеток, сколько их потрачено на успешные попытки и так далее. В итоге получается несколько десятков, а то и сотня дополнительных метрик.
Игровой аналитик часто работает в связке с гейм-дизайнерами. Они предлагают новые механики, а задача аналитика — их оценить. В этой ситуации игровой аналитик представляет сторону данных, прикидывает, что пойдёт, а что не пойдёт на основе экспериментов.
При проведении AB-тестов важно быть готовым к тому, что твоя гипотеза провалится. Важно придумывать такие гипотезы, которые будут серьёзно работать над увеличением больших метрик, а не над улучшением на полпроцента какого-то одного параметра. Не стоит забывать и про статистическую значимость — например, если результат показывает, что 51 больше чем 50, то это ещё ничего не значит. Еще одна проблема — проблема подглядывания: если вы видите, что тест ещё не закончен, но явный победитель есть — не стоит прерывать тестирование. Вспомните, сколько мячей в Лиге Чемпионов-2019 забили на последних минутах.
И последнее про метрики — их следует делить на биномиальные и не биномиальные. Первые — это орёл или решка, есть динозавр на улице или нет. Конверсия в платёж — это биномиальная метрика. Вторые — которые измеряются в деньгах или, например, в минутах: там используются другие статистические инструменты, потому что там иначе выглядят гистограммы итоговых распределений.
Зависимость метрик от жанра игры
Если вновь возвращаться к жанру «три в ряд», то там основная сущность — это уровни. Есть определённая кривая сложности — когда игрок первые несколько уровней проходит легко, потом ему становится сложнее, а потом задача вновь упрощается. В зависимости от того, как сбалансирована эта кривая, игра конвертирует в платёж.
Если говорить про MMO типа Warcraft-like игр, там всё завязано на внутренней экономике. Уровни там тоже есть — но это показатель именно уровня игрока (те самые «эльфы 80 lvl» из мемов). В таких играх важны балансы валют — как игрок накапливает, что и на каком уровне ему доступно и так далее.
Если это азартные игры типа social casino, в них вырабатывается стратегия подтасовки результатов для удержания игрока. Например, сколько раз надо дёрнуть рычаг однорукого бандита, чтобы получить успешный результат.
Ещё есть разновидность гиперказуальных игр — это игры с очень простыми механиками. Яркий пример — волк, который ловил яйца в «Электронике». В топе AppStore сейчас большинство игр гиперказуальные. В них аналитика сводится к совершенно другим сущностям — нужно сделать так, чтобы игрок как можно больше раз зашёл в игру, потому что монетизируется всё за счёт рекламы.
Отдельно стоит выделить аналитику в премиальных, не free-to-play проектах. Например, «Ведьмак 3» — игрок просто покупает Playstation, саму игру за 4000 рублей и больше от него ничего не требуется. В таких играх никто не станет заботиться об удержании или показывать рекламу.Но в этих проектах требуется аналитика на этапе разработки — например, play-тесты. У некоторых компаний есть целые лаборатории, где они тестируют игры: на человека надевают датчики, которые отслеживают его взгляд, считывают уровень пота, а специальные аналитики за стеклом, как в фильмах про ФБР, следят за его игрой, за каждым его движением.
Работа в игровой аналитике
Как попасть в профессию
В геймдеве есть один важный ключ, который поможет преодолеть проблему отсутствия опыта (без которого, как правило, никуда не берут, а взять опыт бывает негде) – это любовь к играм и умение в них разбираться.
У людей на собеседованиях часто спрашивают, в какие игры они играют. В Riot Games, которые сделали League of legends, например, не берут на работу сотрудников, у которых недостаточный уровень в игре. Таким же образом фильтруют персонал в World of tanks.
А если есть необходимый уровень аналитического навыка, то уже можно сконвертироваться в аналитика. Если вы фанат какой-то игры и очень хотите над ней поработать, то просто свяжитесь с разработчиками.
Какими навыками должен обладать игровой аналитик
Как мы уже писали выше, в первую очередь это любовь к играм. Есть такой жанр анализа — deconstruction, когда игру полностью раскладывают по полочкам. С его помощью как раз можно проверить этот параметр. Какие в игре есть механики удержания, какие там присылают пуши, какие делают ежедневные квесты — чем всё это лучше, чем в других играх, какие есть предложения по улучшению. Так проверяется подкованность в игровой тематике.
Второе — это знание SQL. Это нужно всем аналитикам без исключения. Это самый важный технический навык, он должен быть выше среднего.
Третье — нужно уметь визуализировать свои отчёты. Есть много сервисов, например, Power BI или Tableau. Отчёты можно делать и в Excel, там есть куда улучшать визуализацию, и если аналитик умеет это делать — это хорошо.
Четвёртое — R или Python. Это не самый обязательный скилл, но он, безусловно, очень полезный. Если аналитик хорошо соображает, но работает в Excel, то обучить его R или Python не составит труда.
А пятое — работающая голова и общая адекватность. Важно уметь фильтровать свои гипотезы. То есть человек, проанализировав игру, может представить десятки улучшений. Но часть из них нужно уметь отфильтровывать, так как это, скорее всего, борьба за ничтожные доли процента.
Как оценить игрового аналитика
Отличие мидла от джуна, а сениора от мидла в линейном росте владения техническими навыками. А ключевое здесь — это как раз способность фильтровать и приоритизировать.
На собеседованиях иногда бывают люди, которые на вопрос «в какие игры вы сейчас играете» отвечают «ни в какие». С такими лучше сразу прощаться. Бывает, что у человека полностью отсутствуют базовые знания.
Первый тест — это деконстракшн игры. Кандидата просят сначала разложить игру по полочкам, а потом предложить свои гипотезы. Дальше человека оценивают в зависимости от того, что он предложил и как он это защищает. Важно, чтобы аналитик умел отключать свою интуицию и работал только с данными, не держась за свою гипотезу, если он не может внятно её доказать. Допустим, на деконстракшн можно дать три дня, а потом попросить письменно защитить свою гипотезу.
Третье — базовая проверка SQL. Можно описать структуру данных и попросить кандидата построить некий запрос. Например, как получить из этих таблиц значение ретеншна седьмого дня за последние десять дней.
А дальше идёт проверка на общую адекватность. Например, задаём вопрос: «Сколько денег компания Blizzard на рынке мобильных игр в 2017 году?». Это открытая информация, её легко найти.
Уволить человека можно, например, за отсутствие динамики. Обычно на три месяца испытательного срока у человека есть некий план достижений. Если по окончании трёх месяцев он ничего не достигает, или его постоянно нужно пинать, то это плохо.
У игрового аналитика должен быть здоровый скепсис — в том числе и по отношению к своим гипотезам.
Есть такое упражнение — предложить кандидату защитить гипотезу о том, что земля плоская. Он сам должен в это поверить, сходить в гугл, найти нужные аргументы, да просто провести эксперимент и выглянуть в окно, чтобы увидеть, что земля не скругляется. Это хорошее упражнение на развитие критического мышления.
Какое развитие у игрового аналитика
После того как игровой аналитик стал хэдом, дальше ему никуда не двинуться. В некоторых компаниях есть должность chief analytics officer — он стоит над всеми аналитиками. Чаще всего из аналитики уходят в сам продукт. Это, как правило, называется «продюсер».
Что происходит в игровой индустрии
Инди-игры — это двигатель всего рынка. Если бы не они, рынок бы заполонили клоны успешных игр. Индики ищут новые механики, новые сеттинги, новый визуал. С появлением сервиса Arcade от Apple у таких игр появится больше возможностей, хотя для начала надо пройти определённый эппловский фильтр. С другой стороны, чем больше крутых инди-игр, тем быстрее гиганты рынка скупят их идеи, а значит инди-игр останется меньше. Сам рынок вырастет, но доля инди останется прежней.
Существуют и определённые тренды в игровой аналитике. Внедрение машинного обучения и AI привело к появлению трёх:
- возможность предсказывать окупаемость трафика. Например, игроки прожили в игре три дня, а аналитику надо предсказать, сколько он принесёт денег за три месяца.
реклама. До сих пор не решён вопрос, как посчитать, сколько получит разработчик конкретной игры за показ конкретного рекламного баннера конкретному игроку. Если аналитика научится предсказывать такие вещи, то можно будет быстро принимать решения по игроку. Например, если он платящий — то рекламу ему показывать не надо. А если нет — то пусть хотя бы принесёт деньги за её просмотр.
- динамическое управление путём пользователей. Здесь мы прогнозируем, что пользователь будет делать дальше. Пройдёт ли уровень или нет. Если не пройдёт — расстроится ли? Покинет игру или останется? Получается динамическая кастомизация игры под конкретного игрока.
Что почитать
По теме можно почитать:
книгу самого Василия Сабирова. Она уже есть, но пока не издана. Рабочее название — «Игра в цифры», ожидается в апреле этого года. Василий обещает много текста и картинок;
образовательный центр devtodev, про который мы уже писали выше. Там есть и вебинары, и статьи (среди них, в том числе, и список литературы, который будет полезно прочитать игровому аналитику);
- «Голая статистика» Чарльза Уилана;
- «Думай медленно, решай быстро» Даниеля Канемана;
- «Статистика и котики» Владимира Савельева;
- «Кровь, пот и пиксели» Джейсона Шрейера.
- "Исследование рынка аналитиков" от New.HR
- "Как искать работу начинающим аналитикам?" Подкаст и статья.
- Телеграм-канал с вакансиями для аналитиков и дата сайнтистов.