Герой нашего очередного подкаста Василий Сабиров — ведущий аналитик и сооснователь компании devtodev. В новом выпуске New.HR Podcast он подробно рассказал все тонкости профессии, о том, какими навыками нужно обладать, чтобы в неё попасть и с какими задачами предстоит столкнуться.
Чем занимаются игровые аналитики
Основные задачи и измерение эмоций
Если говорить кратко и просто — игровой аналитик получает в работу игру, которую должен сделать лучше по определённым показателям. Его специальность почти ничем не отличается от продуктовой аналитики: и там, и там задача — увеличить поток денег через улучшение различных параметров. Однако игра — это эмоциональный продукт, но специальной метрики удовольствия не существует. Поэтому приходится работать с чем-то максимально приближённым к этому параметру.
Ну то есть, например, есть такая сущность как фан (fun) — то самое веселье. И в принципе аналитик в игре — это как раз менеджер фана в том числе. Потому что его задача путём цифр, путём анализа данных просчитать, как можно оптимизировать фан, но не просто оптимизировать, а чтобы фан впоследствии конвертировался в лояльность, которая будет выражена в платеже. Один из ресурсов, который высоко ценится мной и моими коллегами, называется deconstructoruffun.com. То есть как бы раскладываем фан по полочкам.
Измерять фан можно разными способами. Например, если это игры типа «три в ряд», то можно смотреть на сложность уровня в соотношении успешных и неуспешных попыток игрока. Так, если на сто попыток приходится сто успешных — слишком легко. Но если на сто приходится лишь одна удачная — это суперсложно.
Ещё можно измерять FUUU-показатель (он так называется по мему, где чувак бесится и кричит «FUUU!»). Это доля попыток, когда игрок почти прошёл уровень, но ему не хватило совсем чуть-чуть. Например, ему надо уложиться в 25 шагов, чтобы пройти, а он всё время заканчивает на 26 шаге. FUUU-фактор должен быть положительным, он должен вызывать чувство азарта, а не раздражения.
Измерять эмоцию можно разными способами в зависимости от жанра. Задача игрового аналитика — попытаться создать набор показателей, которые опишут то, что чувствует игрок или сегмент игроков, во время игры.
Ключевые метрики
Основные показатели, на которые надо ориентироваться — это пользователи, ретеншн первого, седьмого и тридцатого дня. Важно также измерять долю платящих игроков.
Есть исследование, ему уже несколько лет, возможно, ситуация изменилась. Медианное значение этого показателя — это 1%. То есть на 99 игроков 1 платящий. Поэтому, если вдруг усилиями аналитика получится сделать не одного платящего на 100, а два – выручка увеличивается в два раза.
Другие метрики — это доход с игроков (ARPU), доход с платящих игроков (ARPPU), life time value и метрики трафика. В зависимости от жанра и сложности игры, можно придумать несколько сотен метрик, которые нужно отслеживать. Если говорить про те же «три в ряд», то можно взять долю успешных/неуспешных попыток, поделить всё это на платящих и неплатящих игроков. Можно посчитать долю успешных с использованием бустеров и без них, сколько на уровне потрачено монеток, сколько их потрачено на успешные попытки и так далее. В итоге получается несколько десятков, а то и сотня дополнительных метрик.
Игровой аналитик часто работает в связке с гейм-дизайнерами. Они предлагают новые механики, а задача аналитика — их оценить. В этой ситуации игровой аналитик представляет сторону данных, прикидывает, что пойдёт, а что не пойдёт на основе экспериментов.
В каких-то компаниях пишут: «поиск гейм-дизайнера/аналитика». То есть это одна и та же роль. И это прикольно. В других кампаниях аналитики сидят и получают на выходе то, что дал им гейм-дизайнер. Они получают это уже в виде метрик игры, из которой всё это выкачано. А в каких-то играх гейм-дизайнер с аналитиком вместе прорабатывают баланс механики этой игры. Гейм-дизайнеру не обязательно знать SQL и иметь математический бэкграунд. Будет здорово, если он понимает, как работает математика. У нас в devtodev даже есть курс «Математика в гейм-дизайне». Но если гейм-дизайнер не знает, чем отличается распределение Пуассона от распределения Гаусса, то это нормально. Его задача знать, чем отличается одна механика удержания от другой. Связаны они должны быть плотно, просто один — за механики, а второй — за данные.
При проведении AB-тестов важно быть готовым к тому, что твоя гипотеза провалится. Важно придумывать такие гипотезы, которые будут серьёзно работать над увеличением больших метрик, а не над улучшением на полпроцента какого-то одного параметра. Не стоит забывать и про статистическую значимость — например, если результат показывает, что 51 больше чем 50, то это ещё ничего не значит. Еще одна проблема — проблема подглядывания: если вы видите, что тест ещё не закончен, но явный победитель есть — не стоит прерывать тестирование. Вспомните, сколько мячей в Лиге Чемпионов-2019 забили на последних минутах.
И последнее про метрики — их следует делить на биномиальные и не биномиальные. Первые — это орёл или решка, есть динозавр на улице или нет. Конверсия в платёж — это биномиальная метрика. Вторые — которые измеряются в деньгах или, например, в минутах: там используются другие статистические инструменты, потому что там иначе выглядят гистограммы итоговых распределений.
Зависимость метрик от жанра игры
Если вновь возвращаться к жанру «три в ряд», то там основная сущность — это уровни. Есть определённая кривая сложности — когда игрок первые несколько уровней проходит легко, потом ему становится сложнее, а потом задача вновь упрощается. В зависимости от того, как сбалансирована эта кривая, игра конвертирует в платёж.
Если говорить про MMO типа Warcraft-like игр, там всё завязано на внутренней экономике. Уровни там тоже есть — но это показатель именно уровня игрока (те самые «эльфы 80 lvl» из мемов). В таких играх важны балансы валют — как игрок накапливает, что и на каком уровне ему доступно и так далее.
Если это азартные игры типа social casino, в них вырабатывается стратегия подтасовки результатов для удержания игрока. Например, сколько раз надо дёрнуть рычаг однорукого бандита, чтобы получить успешный результат.
В мобильных играх цикл игрока довольно короткий. Редко когда игрок проживает в игре дольше месяца. Есть такая волшебная формула «40/20/10». 40 — оптимальное значение ретеншн первого дня, 20 — оптимальное значение 7-го дня, 10 — оптимальное значение ретеншн 30-го дня. 90% игроков покидают игру по истечении первого месяца. Недели неактивности достаточно, чтобы игрока пометили, как не вернувшегося. Получается, если вы вытерпите неделю не заходить в игру, то в игре, которая хорошо работает над этими показателями удержания, вы получите и бонус, и какой-нибудь подарок, и скидку, и наверняка какой-нибудь успешный результат, если речь касается каких-то вероятностных штук.
Ещё есть разновидность гиперказуальных игр — это игры с очень простыми механиками. Яркий пример — волк, который ловил яйца в «Электронике». В топе AppStore сейчас большинство игр гиперказуальные. В них аналитика сводится к совершенно другим сущностям — нужно сделать так, чтобы игрок как можно больше раз зашёл в игру, потому что монетизируется всё за счёт рекламы.
Отдельно стоит выделить аналитику в премиальных, не free-to-play проектах. Например, «Ведьмак 3» — игрок просто покупает Playstation, саму игру за 4000 рублей и больше от него ничего не требуется. В таких играх никто не станет заботиться об удержании или показывать рекламу.Но в этих проектах требуется аналитика на этапе разработки — например, play-тесты. У некоторых компаний есть целые лаборатории, где они тестируют игры: на человека надевают датчики, которые отслеживают его взгляд, считывают уровень пота, а специальные аналитики за стеклом, как в фильмах про ФБР, следят за его игрой, за каждым его движением.
Работа в игровой аналитике
Как попасть в профессию
В геймдеве есть один важный ключ, который поможет преодолеть проблему отсутствия опыта (без которого, как правило, никуда не берут, а взять опыт бывает негде) – это любовь к играм и умение в них разбираться.
Часто бывает, особенно у вчерашних банковских сотрудников: им не важно, где работать, не важно, что анализировать, лишь бы была табличка, были данные. Но я всегда объясняю, что на одной табличке далеко не уедешь, нужно именно чувствовать игру, понимать, что прикольно, что нравится, что не нравится. Чтобы это понимать, нужна некая экспертность, которая может быть достигнута просто уровнем игрока.
У людей на собеседованиях часто спрашивают, в какие игры они играют. В Riot Games, которые сделали League of legends, например, не берут на работу сотрудников, у которых недостаточный уровень в игре. Таким же образом фильтруют персонал в World of tanks.
А если есть необходимый уровень аналитического навыка, то уже можно сконвертироваться в аналитика. Если вы фанат какой-то игры и очень хотите над ней поработать, то просто свяжитесь с разработчиками.
Я знаю нескольких CEO, у которых есть маленькие чатики с «китами». «Киты» – это такие игроки, которые в играх платят много денег. Такой чатик — это хороший срез текущего настроения аудитории, платящей в игру. Из этих «китов» тоже можно просто попасть в игровую индустрию. А можно не платить, а просто быть очень лояльным и адекватно, не срываясь в жёсткую критику, предлагать улучшения в игре и так постепенно начать работать в той или иной области в игре.
Какими навыками должен обладать игровой аналитик
Как мы уже писали выше, в первую очередь это любовь к играм. Есть такой жанр анализа — deconstruction, когда игру полностью раскладывают по полочкам. С его помощью как раз можно проверить этот параметр. Какие в игре есть механики удержания, какие там присылают пуши, какие делают ежедневные квесты — чем всё это лучше, чем в других играх, какие есть предложения по улучшению. Так проверяется подкованность в игровой тематике.
Второе — это знание SQL. Это нужно всем аналитикам без исключения. Это самый важный технический навык, он должен быть выше среднего.
Третье — нужно уметь визуализировать свои отчёты. Есть много сервисов, например, Power BI или Tableau. Отчёты можно делать и в Excel, там есть куда улучшать визуализацию, и если аналитик умеет это делать — это хорошо.
Четвёртое — R или Python. Это не самый обязательный скилл, но он, безусловно, очень полезный. Если аналитик хорошо соображает, но работает в Excel, то обучить его R или Python не составит труда.
А пятое — работающая голова и общая адекватность. Важно уметь фильтровать свои гипотезы. То есть человек, проанализировав игру, может представить десятки улучшений. Но часть из них нужно уметь отфильтровывать, так как это, скорее всего, борьба за ничтожные доли процента.
Как оценить игрового аналитика
Отличие мидла от джуна, а сениора от мидла в линейном росте владения техническими навыками. А ключевое здесь — это как раз способность фильтровать и приоритизировать.
Если рассмотреть абстрактного джуна в вакууме, то, скорее всего, он предложит все свои идеи, которые у него появились. Возможно он прицепится к одной идее, в которую особенно верит, не предоставив нужных доказательств, что она сработает хорошо. Чем выше уровень специалиста, тем идеи будут более здравые, отвечающие требованиям бизнеса. Для меня это наиболее важно.
На собеседованиях иногда бывают люди, которые на вопрос «в какие игры вы сейчас играете» отвечают «ни в какие». С такими лучше сразу прощаться. Бывает, что у человека полностью отсутствуют базовые знания.
Первый тест — это деконстракшн игры. Кандидата просят сначала разложить игру по полочкам, а потом предложить свои гипотезы. Дальше человека оценивают в зависимости от того, что он предложил и как он это защищает. Важно, чтобы аналитик умел отключать свою интуицию и работал только с данными, не держась за свою гипотезу, если он не может внятно её доказать. Допустим, на деконстракшн можно дать три дня, а потом попросить письменно защитить свою гипотезу.
У нас в devtodev есть образовательный центр. Там мы агрегируем все наши статьи, вебинары, книги, курсы, всё, что мы делаем по игровой аналитике. И там есть бесплатный 16-часовой курс по игровой аналитике, который веду я. И я раньше просил кандидатов этот курс пройти и скинуть мне на сколько баллов из 20 они сдали итоговый тест. Сейчас эту штуку я изъял, просто потому что долго. Но говорят, что в некоторых компаниях этот самый тест является входным порогом для позиции Junior-аналитика.
Третье — базовая проверка SQL. Можно описать структуру данных и попросить кандидата построить некий запрос. Например, как получить из этих таблиц значение ретеншна седьмого дня за последние десять дней.
А дальше идёт проверка на общую адекватность. Например, задаём вопрос: «Сколько денег компания Blizzard на рынке мобильных игр в 2017 году?». Это открытая информация, её легко найти.
Уволить человека можно, например, за отсутствие динамики. Обычно на три месяца испытательного срока у человека есть некий план достижений. Если по окончании трёх месяцев он ничего не достигает, или его постоянно нужно пинать, то это плохо.
Мне очень не нравится в аналитиках пассивность. Отсутствие проактивности, реактивности. Я считаю, что если тебе поручили какой-то отчёт, например, проанализируй удержание в конкретной игре, то ты обязан предложить какие-то изменения по улучшению. Тебя об этом не просили, но ты должен что-то предложить.
У игрового аналитика должен быть здоровый скепсис — в том числе и по отношению к своим гипотезам.
Есть такое упражнение — предложить кандидату защитить гипотезу о том, что земля плоская. Он сам должен в это поверить, сходить в гугл, найти нужные аргументы, да просто провести эксперимент и выглянуть в окно, чтобы увидеть, что земля не скругляется. Это хорошее упражнение на развитие критического мышления.
Какое развитие у игрового аналитика
После того как игровой аналитик стал хэдом, дальше ему никуда не двинуться. В некоторых компаниях есть должность chief analytics officer — он стоит над всеми аналитиками. Чаще всего из аналитики уходят в сам продукт. Это, как правило, называется «продюсер».
Часто из игровых аналитиков уходят в неигровые. И дальше моя связь с ними теряется, и я не знаю, что с ними становится дальше. Мало кто оттуда возвращается. То же самый банк. Но я верю, что им там скучно!
Что происходит в игровой индустрии
Инди-игры — это двигатель всего рынка. Если бы не они, рынок бы заполонили клоны успешных игр. Индики ищут новые механики, новые сеттинги, новый визуал. С появлением сервиса Arcade от Apple у таких игр появится больше возможностей, хотя для начала надо пройти определённый эппловский фильтр. С другой стороны, чем больше крутых инди-игр, тем быстрее гиганты рынка скупят их идеи, а значит инди-игр останется меньше. Сам рынок вырастет, но доля инди останется прежней.
Существуют и определённые тренды в игровой аналитике. Внедрение машинного обучения и AI привело к появлению трёх:
- возможность предсказывать окупаемость трафика. Например, игроки прожили в игре три дня, а аналитику надо предсказать, сколько он принесёт денег за три месяца.
реклама. До сих пор не решён вопрос, как посчитать, сколько получит разработчик конкретной игры за показ конкретного рекламного баннера конкретному игроку. Если аналитика научится предсказывать такие вещи, то можно будет быстро принимать решения по игроку. Например, если он платящий — то рекламу ему показывать не надо. А если нет — то пусть хотя бы принесёт деньги за её просмотр.
- динамическое управление путём пользователей. Здесь мы прогнозируем, что пользователь будет делать дальше. Пройдёт ли уровень или нет. Если не пройдёт — расстроится ли? Покинет игру или останется? Получается динамическая кастомизация игры под конкретного игрока.
В некоторых играх это уже возможно за счёт управления сложностью. В тех же самых Social Casino, если ты 5 раз дёрнул за ручку и тебе не выпало ничего, ты уходишь из игры, но через 2 недели ты приходишь в игру, и они такие «2 недели, вау, это долго в мобильных играх». И ты дёрнешь за ручку и у тебя, скорее всего, все будет хорошо.
Что почитать
По теме можно почитать:
книгу самого Василия Сабирова. Она уже есть, но пока не издана. Рабочее название — «Игра в цифры», ожидается в апреле этого года. Василий обещает много текста и картинок;
образовательный центр devtodev, про который мы уже писали выше. Там есть и вебинары, и статьи (среди них, в том числе, и список литературы, который будет полезно прочитать игровому аналитику);
- «Голая статистика» Чарльза Уилана;
- «Думай медленно, решай быстро» Даниеля Канемана;
- «Статистика и котики» Владимира Савельева;
- «Кровь, пот и пиксели» Джейсона Шрейера.
- "Исследование рынка аналитиков" от New.HR
- "Как искать работу начинающим аналитикам?" Подкаст и статья.
- Телеграм-канал с вакансиями для аналитиков и дата сайнтистов.