Лого vc.ru

Руководители Wargaming об исследовании поведения игроков в World of Tanks и других играх

Руководители Wargaming об исследовании поведения игроков в World of Tanks и других играх

Руководители компании Wargaming (создатель World of Tanks) — вице-президент Андрей Яранцев и директор по исследованию и анализу данных в компании Сергей Кадомский — рассказали редактору рубрики Growth Hacks о том, как работает команда аналитиков, какие игровые показатели они отслеживают и какие приемы используются для стимулирования игроков.

Поделиться

Как осуществляется аналитика в играх, какие инструменты и для чего вы используете? У нас ещё не было материалов об аналитике именно в играх, поэтому нашим читателям будет очень интересно получить развернутый ответ на этот вопрос.

Андрей Яранцев: В работе аналитика (любого, игрового в том числе) всегда есть две составляющие. Первое — это рутина. Изучение отчетов, выявление проблем (а иногда и поиск их решений), негативных трендов. Второе — это работа по заказу. Например, приходит к вам клиент с конкретной аналитической задачей и говорит: «Было так, а стало вот так. Почему?». Специалист анализирует, изучает и объясняет причины изменений с точки зрения аналитики.

Андрей Яранцев, вице-президент Wargaming

Если говорить про гейм-индустрию, то аналитику можно разбить на два больших блока — один для паблишинга (маркетинговая аналитика, с помощью которой добиваются высокого ROI), другой — для разработки (внутриигровая аналитика, для повышения LT/LTV).

Главный инструмент любого аналитика — голова и логика. И всё. Это применимо к абсолютно любой сфере. C приемами уже сложнее: в Wargaming, как во всей игровой индустрии, их много — сегментация (новички, core, платящие и неплатящие), классификация по определенным признакам (назначение статуса во внутренних CRM-системах), кластеризация (выделение групп со схожими характеристиками) и так далее.

Вообще, вся аналитическая работа сводится к построению моделей, которые не только облегчают планирование, но и помогают своевременно реагировать на поведение игрока. Например, модель предсказания ухода игроков (одна из таких моделей была построена в сотрудничестве с Yandex Data Factory в декабре 2014 года) превентивно «напрягает» CRM-систему компании по поводу игроков, оказавшихся в «зоне риска».

Какие данные собирает эта внутренняя система аналитики и почему она для вас удобнее, чем внешние инструменты? На какие из внешних инструментов части вашей аналитики похожи?

А. Я.: Самые первые аналитические системы мы сделали еще в 2010 году. Серверная часть разрабатывалась на базе движка BigWorld, а фронтенд писали на Python. Постепенно подключали информацию от систем мониторинга Nagios, Cacti. Они все opensource, мы их не дописывали, а настраивали под себя, а потом смотрели на эффективность. Так в руках аналитиков появились данные о работе серверов и много других нужных параметров.

В то время для обработки данных Wargaming активно использовала MongoDB и Memcached: показатели считались оперативнее и при этом не сильно нагружали игровую базу данных. Первый год проекта в пиковое время серверам приходилось нелегко, а если мы бы ещё и реалтайм-аналитику туда привязали, то легло бы всё. Часть данных собиралась с периодичностью раз в пять минут. Контрольный сбор был раз в сутки, во время самого низкого PCCU: можно было безболезненно выкачивать всё, что можно.

Офис Wargaming

Со временем к этому добавлялись различные обвесы на Java, менялись модели представления данных. Но в какой-то момент (примерно в 2013 году) вся эта система потребовала настолько много усилий по поддержанию, что решили перейти на связку Hadoop, Oracle и Tableau. По этому сценарию работаем до сих пор: туда выгружается очень большой объём данных со всех игр.

В каждом из проектов есть стандартный, состоящий примерно из 20 показателей, набор метрик (DAU, Reg, ARPPU, %pU) и уникальный набор метрик, необходимых сотрудникам паблишера, гейм-дизайнерам и другим специалистам.

В целом, система похожа на любую современную аналитическую систему, которая обеспечивает сегментацию пользователей, отображает KPI, умеет делать data mining и предикшены.

Что вы знаете об игроках, какие именно цели и события собираете?

А. Я.: Один бой — это примерно 2-3 МБ различной информации, которой сервер обменивается с клиентом. В среднем человек играет 20–25 боев. При DAU (daily active users) в несколько миллионов человек получаются сотни терабайт данных в сутки только на RU-кластере. В теории нам известно про игрока всё, но чтобы обработать эту информацию, потребуется система в разы сложнее самой игры. Тем не менее, большой набор данных логгируется и собирается с серверов.

Анализируя внутриигровые показатели, мы можем отследить скорость прокачки техники и экипажей, моменты социализации (игра во взводе, роте, вступление в клан), баланс техники и карт, токсичность, поведение в чатах, покупки, потребительскую корзину игрока и так далее.

Плюс, не будем забывать про маркетинг, который собирает информацию по каждому этапу воронки: от показа баннера и регистрации до входа в игру и покупки первого танка. Конверсия перехода на новые уровни тщательно анализируется, и даже малейшие недостатки должны быть устранены.

Ежедневная сводка. Есть какие-то показатели, на которые вы смотрите каждый день, и в соответствии с ними принимаете оперативные решения? Что это за показатели?

А. Я.: Утро начинается с цифр. Первым делом отсматриваю статистику и изучаю графики онлайна серверов, регистрации и платежи, траты. Если есть какой-то спад или непонятные колебания, то к ответу призываются руководители проектов. Чаще всего причинами нетипичной картинки являются какие-то наши технические активности — здесь актуализация статистики на игровых аккаунтах, там — перезагрузка серверов или начисление «плюшек», а тут дело в push-уведомлениях.

Чаще всего в паттернах царит стабильность, а при малейших изменениях — разбор полетов и вопрос «почему?». Утро является самым подходящим для этого временем: ответственный человек получил задачу, проанализировал, пофиксил, если нужно, а потом с чистой совестью приступил к другой работе.

Изучение графиков на этом не заканчивается: в течение дня проводится анализ проекта, который на данный момент вызывает наибольшее количество вопросов. В этом случае углубляемся более серьезно: берётся статистика по конкретным регионам, за определённый отрезок времени и начинаем «копать» — изучать различные представления данных, строить и проверять гипотезы такого поведения.

Несмотря на огромное количество тонкостей и специфику индустрии ММО, здесь ты на оперативном уровне отталкиваешься от показателей CCU (concurrent users), Regs (регистрации), Payments (платежи), а на стратегическом — от стоимости привлечения игрока CPI (cost per install) и того, сколько он тратит LTV (life time value).

Ты говоришь, что у вас есть разные группы пользователей. Как они специфично себя ведут и какой подход вы применяли для выделения этих групп?

А. Я.: На момент запуска World of Tanks в 2010 году деление пользователей было очень простое: ядро, потенциальное ядро и новички. Плюс группы платящих и неплатящих игроков. Постепенно учились проводить анализ более сложных вещей, например, как ведёт себя неплатящая часть ядра, какое влияние на них оказывают акции, скидки или, скажем, вступление в клан.

Исследовали феномен платящих новичков, искали оптимальный уровень ежемесячных трат, экспериментировали с внутриигровой монетизацией, пока не сформулировали четко принцип free-to-win.

Примерно в 2012 году пришло время более серьезной сегментации аудитории. Выделили шесть ключевых групп игроков. Вот здесь уже деление было максимально подробным и основывалось на различных признаках: любовь к истории, возраст, образ жизни, выбор игровой платформы, а также социальный статус. Это был ощутимый вклад именно в маркетинговую аналитику, и с тех пор все рекламные и брендинговые активности мы строим с учетом модели поведения этих групп.

Сергей Кадомский: Есть несколько типов разделений, основанных на различных признаках. Социально-демографическая сегментация, например, интересна как маркетологам для продвижения, так и гейм-дизайнерам, чтобы понимать, для кого они делают продукт.

Деление по платёжным характеристикам тоже важно. Необходимо знать, что покупают игроки, в каком количестве и на каких этапах. Это такая своеобразная группировка пользователей по их потребительским корзинам. Сегментация по вовлеченности делит геймеров на хардкорных и казуальных: кто-то играет каждый день и много, а кто-то по два боя только по выходным.

Интересным подходом является изучение аудитории при взгляде с нескольких точек зрения. Например, совмещение сегментации по вовлеченности с популярностью режимов и техники. Это позволяет понять, какие фичи и контент будут пользоваться большим спросом.

Расскажите о приемах, которые вы используете для стимулирования, удержания, вовлечения, и которые основаны на этой сегментации?

А. Я.: Для того чтобы ответить на этот вопрос, давайте представим аудиторию «Танков» в виде трех пирамид. Верхушка первой — клановые войны. Сюда идут все, кем движет желание побеждать и вести за собой армию. Вторая пирамида — киберспорт. Здесь находятся те игроки, которые смотрят на виртуальные сражения через призму заработка и самореализации. Третья пирамида — рандомщики. Вот как раз они идут за фаном. Есть свободное время — поиграю в «Танки», отвлекусь.

Для каждой пирамиды есть разные методы стимулирования, удержания и вовлечения. Взять, к примеру, киберспорт. Стараемся мотивировать игроков расти до настоящего прогейминга. За все время существования игры, World of Tanks воспитала не одно поколение топовых танкистов. Разумеется, начинается все с малого: мини-турниры, региональные соревнования и, наконец, международная арена. Игрок (кому это на самом деле интересно) проходит путь от дворового киберспорта до вершины.

Аналогично с кланами: стимулируем тех, кто играет во взводе, начать играть в ротах, качаться и вступать в кланы. От малого к большему. Социализация хорошо удерживает людей, а с добавлением функциональности укрепрайонов мотивация объединяться стала еще сильней.

В рандоме все решают мини-игры, скидки, акции, ивенты и конкурсы (один только «Танковик» чего стоит).

Здорово удерживает, да и вообще доставляет много фана и отлично выполняет информационную функцию, весь создаваемый вокруг игры контент: UGC (user generated content), десятки тысяч пользовательских каналов на YouTube, радио и группы в социальных сетях.

А есть ли какие-то активности у вас, которые направлены на стимулирование покупок внутри приложения?

А. Я.: Стимулировать к совершению покупок должна в первую очередь сама игра. Она должна подвести человека к мысли о том, что ему нужен, например, премиум-аккаунт. Мотивируем также с помощью специальных акций и предложений. Но и здесь есть проблема: если снижать цены слишком часто, то люди привыкают и ждут скидок. Поэтому здесь стараемся привязываться к каким-то знаковым событиям или делать их случайными, чтобы разрушить миф о некой системе, которая снижает цены ровно два раза в месяц — в дни аванса и зарплаты.

У Wargaming есть также свое ноу-хау: мы неплохо стимулируем пользователя к покупкам с помощью обучающих видео. Не все игроки понимают, каким должен быть стиль игры и боевое применение у того или иного танка, а полагаться на свою интуицию и тратить деньги впустую боятся. Продающие ролики объясняют, как освоить машину и играть в своё удовольствие.

Бывают акции, инициированные уже самими платёжными системами. В этом случае мы заранее обсуждаем размер бонуса с «платёжками» и запускаем по договоренности. О крупных акциях иногда рассказываем в ТВ-рекламе. Речь идет именно о масштабных ивентах, таких как Новый год.

Как используете различные исследования в связке с аналитикой для понимания поведения пользователей?

С. К.: Хороший и удобный способ — это комбинация качественного, количественного исследований и аналитики. На начальном этапе мы выявляем проблему (иногда она видна из статистики) путем проведения плей-тестов, тестов на юзабилити и интервью с пользователями. Здесь участвует не более 15 игроков.

Затем берем полученные данные и устраиваем масштабный опрос среди игрового коммьюнити, чтобы подтвердить, либо наоборот — опровергнуть выведенную нами теорию. Методом опроса можно отследить, как разные группы игроков реагируют на тот или иной вопрос. Параллельно ведем аналитическое исследование в числах: фактически, проверяем гипотезу.

Расскажите о какой-то новой фиче — как тестировали, как смотрели на поведение, как себя пользователи вели, что вы в результате решили изменить?

А. Я.: Попытаюсь ответить на ваш вопрос на примере танкового киберспорта. Мы с нуля подняли World of Tanks как мировую eSports-дисциплину, несмотря на то, что изначально «Танки» под киберспорт все же не затачивались. Если посмотреть на ключевых eSports-гигантов — это минимум вариаций в балансе, одна изъезженная вдоль и поперек локация и бои пять на пять максимум. В «Танках» же разнообразие карт и техники значительно выше, 15 игроков в команде, из обновления в обновление меняются характеристики засвета, бронепробития и так далее.

Толчком к развитию eSports послужил первый танковый турнир «Стальной шторм», который состоялся еще во время ЗБТ (закрытого бета-теста — прим. ред.) в июле 2010 года. Киберспорт как игровая фича на этом этапе выглядел непрезентабельно. Играли в традиционном режиме с двумя базами, команда 14 человек и «чемпионские» 90 очков на технику (формат 7/42 появился позднее).

Вначале это были просто представители сильных кланов, но постепенно в игре появились первые прогеймеры, чей фидбек стал основой для доработок. Стало понятно, что боям не хватает зрелищности, на полях сражений царит пассивность и идет игра от обороны. Началась долгая и кропотливая работа — турнир, сбор фидбека, правки, снова турнир и так далее.

Настоящий прорыв сделали в 2014 году, когда привлекли к фокус-тестам команды прогеймеров. Так оказалось намного продуктивнее. Поэкспериментировали с картами, количеством баз, скоростью захвата, ограничениями на типы техники и так далее. В итоге стало понятно, как должен выглядеть подходящий для «Танков» киберспортивный режим («Атака/Оборона» выходит в обновлении 9.7). Параллельно велась большая работа с комментаторами, стримерами, организаторами финалов, чтобы финалы киберспортивной лиги World of Tanks выглядели как настоящее шоу.

У вас были приемы, которые не приносили ожидаемых улучшений показателей, то есть вы вводили какую-то новую фичу, а показатели падали?

А. Я.: Было и такое. В случае с «Историческими боями» значительно переоценили тот сегмент аудитории, который интересуется (по-настоящему) историей. Формат просто не пошел. Главной причиной стал баланс и отсутствие гаражных войн.

Больным вопросом стала графика в обновлении 9.0. Здесь мы сильно переоценили желание к «апгрейду железа» у игроков. Изначально была уверенность, что около 30–50% игроков перейдут на улучшенную графику, но на деле таких оказалось максимум 5%.

В первую очередь пользователи хотят хороший и сбалансированный геймплей, а потом уже все остальное. Несмотря на промах, от идеи исторических боев не отказались. На ошибках учатся, и проблем первой попытки во второй раз не будет: формат уже пересмотрен.

Так, а всё-таки расскажите про неожиданную информацию, которую вы узнавали о своих пользователях?

А. Я.: Неожиданной оказалась живучесть некоторых мемов. Например, на бета-тесте в World of Tanks была будка, в которую прошили характерный «собачий» звук. Когда будку с очередным апдейтом убрали, Wargaming завалили просьбами о возвращении собаки в игру. А наши олдскульные игроки часто спрашивают на встречах: «Когда вы вернете собаку?».

Вообще, таких примеров хватает. Есть исследования, которые доказывают, что большая часть игроков до прихода в World of Tanks совсем не интересовалась историей. Если судить по результатам опросов, то до 70% пользователей утверждают, что «Танки» поменяли отношение к истории: игроки стали читать больше книг о военной технике и интересоваться легендарным прошлым своей страны.

Но настоящей неожиданностью стало то, что настоящих (хардкорных) любителей истории в игре немного, всего несколько процентов. Это значит, что для многих увлечение историей — это скорее «диванное» занятие, чем готовность взять кисточку в руки и идти красить танк в музее своего города.

Дайте нашим читателям интересный и важный совет, касающийся аналитики в играх.

А. Я.: Используйте по возможности не одну систему аналитики, а несколько (как минимум одну от Google, Facebook или Yahoo, а одну свою собственную). Выбор позволяет: на рынке сейчас появилось большое количество бесплатных или недорогих систем.

Обязательно сделайте информацию о ключевых метриках проекта доступной всем членам команды. Каждый сотрудник должен иметь представление о CPI и LTV своего проекта и, как минимум, иметь перед глазами свежие показатели CCU, Reg, % Payers, ARPPU.

Благодаря доступу к аналитике вы и ваши сотрудники сможете принимать не только более взвешенные и разумные решения, но и снизить количество споров («против фактов не попрешь») и повысить мораль в команде.

С. К.: Хорошо развитая аналитическая экспертиза даёт большое конкурентное преимущество на рынке, поэтому мало кто торопится поделиться своими секретами и ноу-хау в открытом доступе. Поэтому нужно постоянно штудировать базы научных статей (например, scholar.google.com), интересоваться достижениями в аналитике и «поселиться» на специализированных сайтах.

Важны знакомства. Налаживайте связи с представителями отрасли, общайтесь с аналитическим коммьюнити и старайтесь посещать конференции по игровой аналитике.

Делитесь знаниями и обменивайтесь опытом. Здесь можно привести в пример Wargaming: мы создали аналитическое коммьюнити Data Talks, где выступаем сами и приглашаем для участия экспертов индустрии. Следите за трендами, и не бойтесь подсматривать у других аналитических сервисов.

Статьи по теме
Опыт Wargaming: как с помощью A/B-тестов увеличить просмотры на YouTube14 января 2015, 17:38
Даниил Шулейко, Delivery Club: Больше половины наших заказов мы получаем через мобильные приложения16 декабря 2014, 23:00
Виталий Крылов и Алексей Куличевский, GetTaxi: «Мы — традиционный е-коммерс»09 декабря 2014, 10:52
Популярные статьи
Показать еще
Комментарии отсортированы
как обычно по времени по популярности

Команда Wargaming по праву одна из лучших на рынке, уважаю

Мастерство ухода от ответа 80 lvl, льет воду на уровне pro. 10 экранов текста ни о чем. Настоящей неожиданностью для отдела аналитики стала стала очевидная банальность, известная всем. Про геймеров привлекли не на основании исследований, а потому что игроки выли в один голос о том, что режим командных боев скучен, а Т1 - это просто извращение.
В общем, все ясно отдел аналитики Wargaming, сочувствую ребятам.

Хак от Wargaming от которого их техподдержка открещивается:

Чтобы загонять в минуса сильных игроков, которые постоянно выигрывают и мотивировать покупать золото - нужно попросту почаще закидывать с бои с слабыми игроками. Profit!

0

КРутой текст, молодцы

Интересно есть такая метрика, которая дает информацию о том, сколько клиенты не провели транзакций опасаясь того, что из их кармана дополнительно вытащат произвольную сумму +10-15% от заявленной на сайте. Исходя из ответа ЦПП стало ясно, что WG мало интересует удовлетворенность клиентов, которые заходят отдохнуть после работы и готовы платить за развлечение.

WG толкается плечами с Близзард и действительно одна из лучших. Успехов.

0

@Lem @Миша Крылов из ответов WG понятно только то, что они рассказали то что хотели рассказать.

ключевая фраза в конце многое объясняет "Хорошо развитая аналитическая экспертиза даёт большое конкурентное преимущество на рынке, поэтому мало кто торопится поделиться своими секретами и ноу-хау в открытом доступе."

Пацаны, пробуем Генералов! Классная игруля от WG

к сожалению, статья просто вода (

А я хотел конкретных цифр. Например, сколько игроков успешно играют на 10-м уровне, не имея према, как влияет вступление в клан на вложения денег в игру, есть ли зависимость "чем лучше игрок, тем больше вероятность вложений"...

0

Но как они узнают информацию об игроке? "любовь к истории, возраст, образ жизни, выбор игровой платформы, а также социальный статус"
Я к примеру всегда при регистрации на форумах или в играх ставлю дату рождения 1939 год, 1 Апреля, пол женский.

0

В брачном агентстве менеджер предлагает клиентке:
- Вот хорошая кандидатура. Мужчина, 38 лет, рост 184 см, вес 85 кг, брюнет.
- О! Интересно!
- Не курит. Мастер спорта по плаванию.
- Прекрасный вариант!
- Свой бизнес: завод, автосервис, сеть заправок. Особняк за городом, дом на море, два автомобиля, яхта...
- Просто прелесть!
- Из увлечений - играет в танчики.
- Давайте следующего.

0

Возможность комментирования статьи доступна только в первые две недели после публикации.

Сейчас обсуждают
Дмитрий Лимонов

потому что ресторан не означает "дорого, бохато", как привыкли в РФ. Это всего лишь пункт общественного питания. Да, есть элитные рестораны, а есть в формате закусочных. Мир не кончается там, где ваши представления о нём не совпадают с реальностью.

«Будьте нашим гостем»: кому McDonald's даёт право бесплатно есть в своих ресторанах
0
Владимир Тихомиров

Похоже, пора на собеседовании в Яндекс спрашивать, в самом конце: вилкой в глаз или в жопу раз? И оценивать креативность процесса поиска правильного ответа... Будем перенимать международный опыт с адаптацией под наши условия, так сказать

Бывший глава Google затруднился ответить на один из традиционных вопросов компании на собеседованиях
0
Александр Васильев

Тогда и накопления пойдут больше и быстрее - мы же одинаковые условия считаем, если при ипотеке зп выросла, то берем что и при вкладе зп растет. Разница безусловно будет, но не на порядок.

«Никому не выгодно, чтобы у вас скапливались деньги»
0
Artem Zinnatullin
Juno

Не собираюсь оправдывать ролик сбера, но если вы про вот это видео с футболистом youtu.be/VGEfNcvntno, то оно ничем не лучше, тк там блин оператор(ы) по полю бегают, сверху съемка ведется и рядом с полем люди явно не на телефон снимают. Всем участникам было понятно, что это какой-то прикол. Была бы скрытая съемка — без вопросов.

Так можно и в сбере снять реального инвалида, но с кучей операторов, камер и режиссером рядом, понятное дело, его будут обслуживать максимально хорошо.

Видео: Герман Греф в «костюме инвалида» в отделении «Сбербанка»
0
Artem Zinnatullin
Juno

Я может не понимаю, но в чем большая разница между "в имитирующем инвалида костюме" и "под видом инвалида"?

Не вижу "небо и земля" на скриншоте. У всех одинаково желтушные заголовки.

Видео: Герман Греф в «костюме инвалида» в отделении «Сбербанка»
0
Показать еще