Лого vc.ru

Разработка игр при помощи нейроисследований

Разработка игр при помощи нейроисследований

Руководитель UX-лаборатории Mail.Ru Group Ксения Стернина и сооснователь нейромаркетинговой лаборатории Brain Company Андрей Кислов написали для игрового издания DTF статью, в которой рассказали, как анализ активности мозга помогает в пользовательских исследованиях.

Удовлетворение от использования развлекательного продукта должно превосходить ожидания пользователя, но возникает вопрос — как можно его измерить? Опросников в этом случае недостаточно. Стремясь к получению объективных данных, исследователи начинают применять более тонкие инструменты, позволяющие определить биологические реакции организма человека на стимул, например, с использованием нейрофизиологии.

Пользовательские исследования, основанные на биометрии — не открытие в своей области, но в России ещё не имеют широкого применения.

Что такое нейроисследования игр

Нейроисследования игр подразумевают регистрацию сердцебиения, движения глаз, дыхания и различных ритмов мозга пользователя во время игры. Измеренные физиологические показатели можно связать с психологическими изменениями — например, частота сердечных сокращений увеличится, а зрачки расширятся, если человек испугался.

Нейрофизиологические данные помогают выделить моменты геймплея, на которые реагировали игроки, и проанализировать характер реакции — испытали ли они радость, скуку, вовлечение или раздражение.

В этой статье расскажем о том, как мы продвинулись в анализе нейроданных человека во время игры: выделили критерии вовлечённости и раздражённости игрока, научились определять эмоции игрока в каждый момент времени, а затем протестировали и дали рекомендации для MOBA-игры Planet of Heroes.

Исследуемая игра

Planet of Heroes разрабатывается при активном участии игрового комьюнити. Каждый этап разработки сопровождался исследованиями с пользователями, в том числе с использованием методов нейрофизиологии.

Planet of Heroes — это мобильная MOBA, оптимизированная для смартфонов. В игре сохранены главные особенности жанра: динамичные сражения двух команд, тактические решения, герои с уникальными наборами умений. Игровая сессия длится около семи минут. Для более глубокого погружения в тактику существуют система рун и улучшения снаряжения, которыми можно заняться в спокойном режиме между матчами. Руны и смайты позволяют создавать собственный билд и выбирать его в зависимости от состава команды.

В игре также присутствуют сюжетные кампании — выполняя задания по спасению Вселенной, герои получают опыт и предметы для повышения уровня снаряжения. В режиме тренировки можно протестировать сразу трёх героев в одном матче против искусственного интеллекта.

С 12 января 2017 года игра находится в стадии софт-лонча.

Исследования с пользователями

В процессе разработки игры много внимания уделялось исследованиям с участием самих игроков. Фокус-группы и плейтесты мы начали использовать ещё на ранних этапах исследования, когда нужно было решить, как и для кого делается игра.

Фокус-группы

Разработчики считали, что их потенциальная целевая аудитория — это повзрослевшие активные игроки League of Legends. Они уже не могут уделять хобби по несколько часов в день, но с радостью бы поиграли по пути на работу или в обеденный перерыв.

Исследователи должны были проверить, действительно ли этой аудитории потенциально может быть интересна мобильная игра жанра MOBA. Кроме того, надо было понять, какие именно фичи делают «мобу» «мобой» и должны остаться в игре, а без каких можно обойтись — ведь игра должна работать на мобильном устройстве.

После проведения фокус-групп мы окончательно утвердились в том, на какую целевую аудиторию рассчитываем, а также выработали гипотезы по различным особенностям игры, которые в дальнейшем проверяли на плейтестах.

Плейтесты и интервью

После фокус-групп у нас собрался список фич игры и особенностей их реализации, которые хотелось верифицировать. Для этого мы провели 100 плейтестов в четырёх подгруппах, где пользователи тестировали игры-референсы (Vainglory, West Arena, Dawn of Titans, Darkness Reborn). По ходу плейтеста мы фиксировали поведение и комментарии игроков, а также провели с некоторыми игроками глубинное интервью, что помогло определиться с тем, какие фичи и каким образом будут реализованы в нашей игре.

Онлайн-опросы

Для того, чтобы «угодить» целевой аудитории с визуальной составляющей игры, мы провели онлайн-опрос потенциальных пользователей в нескольких странах. Для начала мы собирали информацию об игроках: демографию и географию, как часто и как долго они играют, на каких устройствах, в каких ситуациях, какие предпочитают жанры, игры и героев в них.

После этого мы просили игроков представить себе идеальную MOBA на смартфоне и выбрать из нескольких вариантов визуальное представление нескольких типов героев, арены, лобби. Затем просили выбрать для каждого из представленных артов несколько характеристик, которые наиболее точно его отражают, например, для героев:

  • Высокодетализированная графика.
  • Реалистичные пропорции.
  • Ожидаемые элементы снаряжения и так далее.

Опрос помог понять, как аудитория воспринимает разработанных командой героев, арену и лобби.

Юзабилити-тестирование с трекером глаз

В тот момент, когда часть геймплея уже можно было показывать игрокам, мы подключили к разработке юзабилити-тесты. Дизайнеры прописали около сотни гипотез того, что нужно было проверить — это и проверка заметности и понятности элементов интерфейса (например, замечают ли пинг на мини-карте, понимают ли, как сбросить каст способности), и сбор обратной связи по визуальной составляющей (например, нравится ли прорисовка монстров в лесу), непосредственно геймплей (победил ли второго босса в PvE, и было ли это легко) и другие важные нюансы (например, продолжительность матча по ощущениям и её комфортность).

После первого теста у игроков были проблемы в некоторых гипотезах, мы выделяли и превращали эти пункты в задачу на доработку в следующий спринт. К моменту следующего теста остались проблемные гипотезы для проверки, а также появились новые, поскольку добавился набор функций и немного изменился геймплей. Таким образом, было пройдено несколько итераций, пока игра не вышла в бету, и команда не стала собирать фидбек от игроков вне лабораторных условий.

Исследование с использованием нейрофизиологии

Предпосылки к исследованию

Во время юзабилити-тестирования мы наблюдали за тем, как люди играют в Planet of Heroes. Благодаря данным айтрекера, мы легко понимали, замечают ли они нужные элементы и нажимают ли на них. Но перед нами стоял более сложный вопрос: интересен ли пользователям игровой процесс. Несмотря на проведённые интервью и полученные ответы, нельзя быть уверенным в объективности данных.

Во-первых, потому что «все лгут»: кто-то не хочет обидеть модератора или сказать «что-то не то», кому-то сложно провести самоанализ и ответить на вопрос. Во-вторых, невозможно давать опросник и оценивать состояние игрока каждую секунду, в то время как нейрометоды позволяют это делать.

Совместная работа UXlab Mail.Ru и Brain Company

Летом 2016 года сотрудники UX-лаборатории Mail.Ru Group посетили Центр нейроэкономики и когнитивных исследований НИУ ВШЭ, на базе которого работает нейромаркетинговое агентство Brain Company, чтобы разобраться, смогут ли нейрофизиологические исследования помочь понять ощущения людей во время игры. Несмотря на то, что задача была для коллег в новинку, они с удовольствием взялись за проект.

Первый этап исследования: методология и проблемы

Когда мы только начали разбираться в методах исследования, стало понятно, что сами по себе значения нейрофизиологических показателей не могут дать полезной информации. Поэтому мы решили сравнить Planet of Heroes с двумя другими проектами: успешным китайским аналогом League of Kings и самой скучной, на наш взгляд, игрой — «симулятором камня», в котором ты можешь только разглядывать камень с разных сторон.

Planet of Heroes
League of Kings
Stone Simulator

Пользователям предлагалось сыграть по два PvP-боя (против других игроков) в каждой из игр жанра MOBA и посмотреть на камень в течение двух минут.

Во время игры наши респонденты были обвешаны нейрофизиологическими датчиками.

Датчики позволяли замерять нейрофизиологические показатели участников эксперимента:

  • Биопотенциалы головного мозга — ритмы мозга, замеряемые методом электроэнцефалографии.
  • Кожно-гальваническую реакцию (изменение электропроводимости кожи, другими словами, насколько потеют руки), показатель общего напряжения.
  • Частоту сердечных сокращений.
  • Сокращения мимических мышц. Часть мышц на лице сокращается во время переживания положительных эмоций (улыбка), часть — при негативных (человек хмурится). Наши датчики позволяли фиксировать их активацию.

Во время первого этапа исследования мы обнаружили ряд подводных камней. Некоторые из них, конечно, можно было предсказать, но о существовании некоторых проблем мы узнали после завершения работы:

  1. Установка датчиков занимала огромное количество времени — около двух часов на человека. Позже мы поняли, что некоторые из них не дают нам никакой полезной информации.
  2. Для того, чтобы снизить влияние ощущений человека от одной игры на ощущения от другой, необходимо чередовать порядок игр в ходе исследования. Мы не меняли порядок игр для респондентов — каждый из них начинал с Planet of Heroes. Это было сделано специально, поскольку у нас было всего четыре участника, и смена очерёдности нам бы не помогла.
  3. Айтрекер постоянно «терял» взгляд игроков. Это было связано с местом проведения исследования — в нём не оказалось стула с регулировкой высоты. Мобильный айтрекер — чувствительный прибор, который записывает движения глаз только в определённом диапазоне. Часть игроков из-за своего роста в него не вписалась.
  4. В подобных исследованиях перед тем, как показывать стимульные материалы, необходимо определить baseline каждого респондента — условный ноль, с которым сравниваются остальные результаты. Респондент должен был смотреть в одну точку в течение одной-двух минут. Мы отказались от процедуры для экономии времени.
  5. Мы не смогли посмотреть данные в секундном разрешении — у нас не было таких технических возможностей.

Осознав свои ошибки, мы существенно доработали методологию. В первую очередь, было решено выделить корреляты раздражения и вовлечения в игровой процесс. Нужно было выяснить, как увидеть вовлечение и раздражение человека на базе нейрофизиологических данных.

Мы использовали популярный гоночный симулятор, в котором меняли условия игры от максимально интересных до максимально скучных. Например, заставляли испытуемых проехать десять кругов с минимальной скоростью и без соперников. Поверьте, это фантастически раздражает.

Затем мы научились обрабатывать данные в посекундном разрешении и получили возможность фиксировать уровень вовлечения и раздражения в каждый конкретный момент времени.

Кроме этого, мы существенно «облегчили» процедуру подготовки к тесту, отказавшись от нескольких датчиков — она стала занимать 15 минут.

Поскольку наша основная задача — принести пользу проекту, а не просто поупражняться в сложных задачах, необходимо было сократить анализ данных до минимума, ведь бизнесу всегда необходимы результаты очень срочно. Мы автоматизировали обработку данных и значительно сократили время проведения проекта. На проведение исследования, обработку данных и формирование отчёта мы потратили всего три рабочих дня.

Второй этап исследования: методология и результаты

Мы снова взяли три игры — исследуемую Planet of Heroes и два конкурента в том же жанре — Mobile Legends и League of Kings. При этом каждый из респондентов получал свой порядок игр, таким образом нивелировался эффект от порядка.

В каждой из игр пользователям предлагался туториал, режимы PvP и PvE.

Так выглядит электроэнцефалограмма игрока.

На электроэнцефаллограмме отражается изменение биоэлектрической активности мозга по времени в разных участках скальпа (каждая кривая соответствует своему электроду). Данные, представленные в таком виде, не дают нам никакой полезной информации. Поэтому следующим шагом было превращение этих графиков в метрики, которые мы разработали ранее, — вовлечение, раздражение и полюс эмоции.

Основные результаты

В целом получилось, что Planet of Heroes вызывает высокое вовлечение, и наименьшее, по сравнению с конкурентами, раздражение. Кроме этого, мы получили достаточно большое количество информации по поводу реакции игроков на различные элементы интерфейса и части геймплея. Некоторыми из них мы с вами поделимся.

Обучение игре

В туториале всё было иначе — он вызывал отрицательные эмоции, в то время как аналогичные этапы у других игр вызывали положительные.

Вовлечение
Эмоции

На этих диаграммах представлены средние значения наших метрик. Числа по оси ординат — это нормированные значения различных ритмов мозга, измеряемые в милливольтах в квадрате.

Мы решили определить, чем отличаются туториалы, и разобраться, что может вызывать негативные реакции в Planet of Heroes и позитивные в играх-конкурентах.

Для того, чтобы понять, что происходило в конкретный момент времени, мы построили посекундную динамику изменения наших метрик.

Здесь по оси абсцисс — секунды, по оси ординат — нормированные значения метрик. Каждое из полученных абсолютных значений метрик мы делили на максимальное в этом ряду. Таким образом, «1» показывает самое большое значение в этом ряду, «0» — самое маленькое.

То есть в каждый временной промежуток можно сказать, каков был уровень вовлечения, раздражения и эмоции.

После этого мы выделили максимальные и минимальные значения. При анализе нас интересовали только максимальные — мы хотели понять, что в нашей игре сделано не оптимально по сравнению с конкурентами.

Затем мы просмотрели запись того, как респонденты проходили обучение. И соотнесли то, что происходило с игроком, с тем, что получалось по нашим метрикам.

Мы обнаружили, что одни и те же этапы геймплея могут вызывать противоположные реакции в нашей исследуемой игре и игре-конкуренте. Например, завершение боя в Planet of Heroes вызывает сильное раздражение и отрицательную эмоцию, а в игре-конкуренте — сильное вовлечение. Мы выделили моменты сильного раздражения и вовлечения, проанализировали видеозаписи с тестов и выделили отличия в играх, которые и могли быть причиной различной реакции.

Рекомендация. Логичной рекомендацией является разделение «victory» и звёзд на два экрана и добавление музыки.

Рекомендация. Мы рекомендовали сделать сражение один на один с героем на большем пространстве.

Кроме этого, мы выявили наличие низкого вовлечения и отрицательной эмоции на диалогах игрока и других героев во время прохождения обучения (у конкурента они отсутствуют) и порекомендовали сократить их количество.

PvP — сражение с реальными игроками в онлайн

В режиме PvP Planet of Heroes продемонстрировала хорошие показатели вовлечения и в целом позитивный отклик, но уровень эмоций был всё-таки ниже, чем в играх-конкурентах.

Вовлечение
Эмоции

Также следует учитывать, что на графике представлены средние значения наших метрик, которые складываются как из позитивных моментов, так и из негативных.

Мы решили посмотреть, что именно могло вызвать снижение вовлечения и формирование негативных эмоций. Анализируя это, мы выяснили, что наименее вовлекающими моментами в игре являются время ожидания респауна и время, когда игрок идет от базы.

Диаграмма отражает основные элементы, вызвавшие низкое вовлечение. Размер секторов диаграммы соответствует вкладу каждого из элементов в минимальные значения низкого вовлечения.

Как и при работе с туториалом, мы проанализировали реакции на схожий элемент геймплея во время игры в проекты-конкуренты.

Мы выяснили, что во время респауна в Planet of Heroes игроки испытывают слабое вовлечение и негативные эмоции. Во время респауна у конкурентов игрок также ощущает слабое вовлечение, однако наряду с этим присутствуют положительные эмоции и меньшее раздражение. Можно сказать, что респаун в играх-конкурентах — комфортное времяпрепровождение.

Мы предположили, что такое различие по метрикам может быть связано с тем, что счетчик времени до респауна занимает большую часть экрана и оттягивает на себя всё внимание так, что следить за боем становится сложно. Мы рекомендовали уменьшить его размер и перенести его вниз или наверх.

Схожие результаты показал путь от базы. В Planet of Heroes он вызывает наименьшее вовлечение, наибольшее раздражение и наиболее отрицательные эмоции, в то время как у конкурента он вызывает сильное вовлечение со слабым раздражением.

Рекомендация. В Planet of Heroes путь от базы занимает 25 секунд, а в League of Kings — 12. Предполагаем, что следует ускорить этот путь или сделать его более интересным. Это может быть способность персонажа кувыркаться, чтобы было интереснее идти, или увеличение скорости перемещения, или добавление ускорения с базы в самом начале матча и после респауна, которого бы хватило для того, чтобы добежать до первой башни.

Для чего разработчикам могут пригодиться нейрофизиологические исследования

Мы собираем информацию о том, что люди говорят, наблюдаем за тем, что они делают и фиксируем, что они ощущают во время игры — в совокупности эта информация позволяет приоритезировать, какие изменения следует произвести в первую очередь, а какие позже.

За счёт инструментов нейрофизиологического исследования удаётся извлекать объективную информацию — запись изменений во времени, и конкретную — реакция на отдельные элементы. При этом есть возможность видеть картину в целом — анализ общего эмоционального состояния на протяжении всего геймплея.

Непрерывная запись изменения ощущений игрока в связи с тем или иным элементом игры (интерфейс, геймплей, анимация) позволяет более точно судить о впечатлениях — нравится ли он, раздражает ли, замечают ли его вообще. Понимая, как люди реагируют на различные элементы игры, геймдизайнеры могут изменять их и проверять, насколько их изменения были удачными.

Нельзя сказать, что существует единое универсальное решение для любой игры любого жанра. Игра в социальной сети не должна занимать более пяти минут и выиграть матч в ней должно быть гораздо проще, чем в шутере с часовым геймплеем. Однако анализ нейрофизиологических показателей может помочь при разработке игр любого жанра.

Если вы хотите написать материал для рубрики «Рынок игр», рассказать о разработке своей игры или кейсе её роста, присылайте материал на games@vc.ru.

А каким образом получилось связать данные ЭЭГ с заданными метриками?

0

До этого мы их выделяли в ходе следующего эксперимента: респонденты должны были играть в Need For Speed Underground 2, при этом было 3 заезда:
1) С оптимальным уровнем сложности, трафиком и соперниками, соответственно, это вызывало максимальное вовлечение
2) 10 кругов без соперников и трафика, что вызывало скуку
3) То же, только на первой передаче без возможности ее переключить - поверьте, это всех очень раздражает.
После этого мы проанализировали полученные данные и выделили корреляты состояниям игроков.

0

Спасибо за ответ. Но не до конца понятно - предварительные гипотезы о вовлечении/скуке/раздражении делались исходя из ожиданий/предположений или по интерпретации показаний других физиологических параметров?

Мы изначально предположили, что заезд 1 будет вовлекающим, 2 - скучным, 3 - раздражающим, кроме этого давали опросник, где просили оценить уровень своего вовлечения, раздражения, скуки и пр. На базе этих данных мы выделели физиологические параметры, которые наиболее соответствовали нашим психологическим состояниям.

0

Дядя Гейб смеется над вами...

0

Честно я дочитал до выбора ЦА и дальше не увидел в этом смысла, почему объясню ниже.
Изначально не верю в MOBA игры на мобильных платформах, т.к. девайс не позволяет реализовать и десятой части того контроля, который нужен для полноценной игры. МОВА это ПК формат, все остальное фрикции.
Более того, я не верю в ЦА повзрослевших игроков LoL. Люди с возрастом остывают к играм, теряют погружение и концентрацию - это реальный опыт. Если у меня нет 2-х часов в день на полноценную игру, то зачем мне казуальный клон, на платформе которая не позволяет мне играть, как я привык?
Поэтому я считаю, что вы ошиблись с выбором ЦА изначально. Если на этой основе вы выбирали фокус группы, то в этом уравнении неверные вводные.

"Мне 30 и я динозавр" - сказал бы я в клубе анонимных игроков. Я в этой теме с пеленок, а сейчас это моя работа, у меня есть планшет и смартфон 5.5', и я не скачаю вашу игру.

Если вдруг, совершенно случайно, вам нужен competitive gaming, то вы не туда смотрите. еSports.mail.ru, не дает индустрии ничего кроме ссылки на трансляцию major league.

0

Так это комментарий в стиле "не читал, но осуждаю".
Основная тема статьи - не о ЦА. Но спасибо за ваше мнение.

0

Скажите, насколько выбор первоначальной ЦА влиял на подбор респондентов для фокус-групп? Вы же не брали первых попавшихся?

0

Конечно влиял, мы брали игроков из своей потенциальной ЦА с некоторым разбросом. Если есть сомнения по поводу формата "мобильная моба", обратите внимание на мобильную мобу League of Kings от Tencent - у игры много пользователей и зарабатывает она неплохо: www.ft.com/content/cb77ac42-ccff-11e6-864f-20dcb35cede2
venturebeat.com/2016/06/30/45-of-top-100-android-game-revenues-in-china-belong-to-tencent/

0

На ft к сожалению у меня нет подписки.

Для Tencent - это понятный кейс, они финансируют Riot и имеют доступ к технологиям с полноценной платформы. Вообще пути Китайцев "неисповедимы", т.к. этой другой рынок и совсем другой бизнес. В данном случае они могут вложить кучу денег, только для того чтобы понять потенциал платформы. Они могут купить мертвые технологии АН-225, чтобы развивать свою космическую программу. Короче они варятся в своем рынке и своих капиталах за счет чего проводят "интервенции" в мировую экономику.
В Китае есть сотня лагерей для реабилитации геймеров. Культ гейминга в Китае - почти религия, это другая реальность для 1.5 млрд жителей с большой степенью идентичности, говорящих на одном языке.

0

интересная статья, теперь можно с другой стороны посмотреть на ситуацию.

Прямой эфир
Приложение-плацебо скачали
больше миллиона раз
Подписаться на push-уведомления