Шесть экспериментов для проверки гипотез поведенческой экономики, которые можно применить в монетизации игр Статьи редакции

Опыт аналитической компании devtodev — в материале DTF.

На конференции DevGAMM в мае 2019 года компанию devtodev пригласили провести аналитический трек, в котором приняли участие представители компаний Playkot, NX Studio, Mail.Ru Group, Crazy Panda, Belka Games, Kefir, SkyEng, AIC и Azur Games.

Организацией занимался ведущий аналитик и сооснователь сервиса devtodev Василий Сабиров. В своей статье для DTF он рассказал о том, в какие эксперименты (в том числе и тайные) аналитики вовлекли посетителей трека, какие гипотезы им удалось подтвердить и как результаты могут помочь в монетизации игр.

Мы подготовили программу из нескольких докладов и круглых столов, а также заготовили небольшой сюрприз. Весь день на сцене стоял чемодан с конфетами, всем желающим было предложено угадать, сколько в нём конфет (мы заранее их посчитали). И тот, кто угадает или окажется ближе всего к истине, должен был забрать с собой и чемодан, и конфеты. Для ответа на вопрос необходимо было заполнить Google-форму, доступную по QR-коду. Так это выглядело снаружи.

На самом же деле всё было несколько хитрее.

• Во-первых, QR-кодов было два, и это был A/B-тест. Чем отличались формы, я расскажу чуть позже.
• Во-вторых, в обеих версиях формы, помимо вопроса о чемодане конфет, расположенного в списке последним, было ещё несколько вопросов, основная часть из которых была обязательной. Таким образом, мы хотели попутно протестировать ещё несколько интересных гипотез.

В итоге в конце дня мы прочли доклад, в который вставили результаты опроса. Почти все гипотезы, которые мы проверяли, были подтверждены.

Но сначала несколько технических моментов. Мы сразу понимали, что никакой речи о статистической значимости и быть не может. Мы ориентировались на 100 респондентов (и почти угадали), а на таких масштабах едва ли можно рассчитать t-тест, z-тест и все прочие тесты.

Чтобы в каждой из групп теста было примерно одинаковое число респондентов, нам пришлось потрудиться. Мы разместили в зале два роллапа, на каждом из которых был указан свой QR-код. Флаеры, которые раздавались публике, были тоже двух видов.

По истечении нескольких часов мы увидели, что число респондентов в группе «A» значительно превосходит группу «B», и было принято решение поменять роллапы местами, а также заменить флаеры на новые. Это немного выровняло статистику, однако пришлось привести нескольких людей буквально за руку и дать им нужный флаер.

В конечном счёте, всё получилось, и сейчас самое время рассказать об этом.

Всего у нас было 103 респондента, из которых 77 — мужчины, а 26 — женщины. У нас был ещё вариант «предпочитаю не указывать», но его никто не выбрал. 51 респондент оказался в группе «A», 52 — в группе «B».

Из поведенческой экономики известен так называемый «эффект приманки» (decoy effect). Суть его в том, что, совершая выбор между двумя вариантами, респондент встает перед проблемой выбора и часто выбирает более дешёвый. Тогда вводится третий, заведомо невыгодный вариант. Отвергая его, респондент с большей вероятностью принимает решение в пользу одного из двух других вариантов. Притом можно добиться того, чтобы в среднем выбирали более дорогой вариант. Подробнее о классическом примере эффекта приманки с подписками на журнал можно прочесть здесь.

Дело в том, что наш ленивый мозг, выбирая между вариантами «A» и «B», слишком далекими друг от друга, чтобы их сравнивать, будет очень сильно напрягаться. А напрягаться он не особо любит. И чтобы ему помочь, к вариантам «A» и «B» добавляется вариант «-A». Между «A» и «-A» выбор делается легко в пользу «А», при этом по инерции «A» выигрывает сразу и у «B».

Мы решили проверить эффект приманки следующим образом. Группе «B» было предложено выбрать, кто из мужчин кажется им более симпатичным, Крис Хемсворт или Райан Гослинг (для того, чтобы выбрать, какие именно мужчины попадут в опрос, пришлось «гуглить» "top sexiest men 2019", и я никогда бы не подумал, что это придётся делать по работе). В итоге голоса распределились вот так.

Крис Хемсворт победил. Вероятно, это как-то связано с тем, что в мае в прокате как раз были последние «Мстители», где он снимается.

Ну а в группе «A» мы добавили ещё один вариант, и выбор был из трёх картинок: Райан Гослинг, «помятый» Райан Гослинг и Крис Хемсворт. И вот, что у нас получилось.

Как мы видим, «помятый» Гослинг позволил обычному Гослингу занять первое место в опросе. Нашлись, конечно, и те, кто проголосовал за «помятого», ну да бог им судья.

Кстати говоря, попутно мы выяснили, что мужчинам больше нравится Гослинг, а женщинам — Хемсворт.

Как же применить этот метод для монетизации? Этому был посвящён наш следующий эксперимент.

Группе «А» было предложено выбрать один из двух стаканов попкорна: маленький за 100 рублей и большой — за 200.

Для группы «B» был выбор из трёх позиций:

• маленький — 100 рублей;
• средний — 180 рублей;
• большой — 200 рублей.

Как видим, средний вариант по цене ближе к большому, его задача — оттенить внимание в большую сторону.

Видим, что средний вариант со своей задачей вполне справился. Его добавление позволило поднять средний чек со 136,5 рубля до 161,9 рубля, то есть на 19%. Ещё раз: мы просто добавили один price point, и чек только от этого вырос на 19%.

Далее, мы хотели проверить эффект якоря. Его суть заключается в том, что если заранее установить респонденту «якорь» на некоем численном значении, то в будущем при какой-либо численной оценке респондент будет отталкиваться от «якоря». Подробнее об эффекте можно прочитать здесь (обратите особое внимание на классический эксперимент с долей африканских стран в ООН).

Чтобы проверить эффект якоря в нашем эксперименте, мы задавали следующий вопрос.

Для группы «A». По данным progamedev.net, медианный показатель удержания первого дня (day 1 retention) у игр жанра Trivia — 35%, World — 38%, Casino — 34%. Как бы вы оценили медианный показатель day 1 retention у игр жанра Racing?

Для группы «B». По данным progamedev.net, медианный показатель удержания первого дня (day 1 retention) у игр жанра Simulation — 22%, Action — 24%, Adventure — 24%. Как бы вы оценили медианный показатель day 1 retention у игр жанра Racing?

Как видите, у группы «B» «якоря» стояли на более низких значениях, чем у группы «A». Повлияло ли это на оценку day 1 retention у игр жанра Racing?

А что, если респондент сам установит себе «якорь»? Для этого мы попросили респондентов сначала указать последние две цифры их номера телефона (по сути, случайное двузначное число). А затем мы попросили их оценить стоимость одной и той же бутылки вина (в долларах). И вот, что получилось.

То есть те, кто ранее написал меньшее значение (от 00 до 20), имели тенденцию более низко оценивать стоимость бутылки, чем те, кто ранее написал значение от 80 до 99.

Наконец, мы решили проверить работу закона больших чисел. Мы рассчитывали, что если попросим респондентов оценить некое значение, то средняя оценка по выборке будет близка к фактическому значению.

Для начала мы попросили оценить год рождения Исаака Ньютона. Ньютон родился в 1643 году, но респондентов мы очень попросили не «гуглить» это.

В целом, видно, что средняя оценка начала приближаться к факту. И, вполне вероятно, что если бы респондентов было больше, то она бы приблизилась ещё сильнее.

Наконец, вернёмся к нашему чемодану с конфетами. И это единственный эксперимент, который нам не удался. По непонятной нам причине средняя оценка в определённый момент взяла устойчивый тренд на рост.

В чемодане было 544 конфеты, и нашёлся человек, который угадал это с точностью до одной конфеты (девушка по имени Алина назвала число «543»). Чемодан нашёл своего владельца, конфеты — тоже. Поздравляем Алину ещё раз!

В конце мне хочется сказать, что законы поведенческой экономики, кажется, работают. Мы видим в ней ещё один ракурс, под которым стоит рассматривать работу над продуктами и их монетизацию. При правильном применении этих законов можно повысить средний чек, не меняя лояльности пользователей. Так что используйте поведенческую экономику во благо, но всё же будьте аккуратны — лояльность может оказаться дороже.