Личный опыт Albert Khabibrakhimov
7299

Шесть экспериментов для проверки гипотез поведенческой экономики, которые можно применить в монетизации игр

Опыт аналитической компании devtodev — в материале DTF.

В закладки
Аудио

На конференции DevGAMM в мае 2019 года компанию devtodev пригласили провести аналитический трек, в котором приняли участие представители компаний Playkot, NX Studio, Mail.Ru Group, Crazy Panda, Belka Games, Kefir, SkyEng, AIC и Azur Games.

Организацией занимался ведущий аналитик и сооснователь сервиса devtodev Василий Сабиров. В своей статье для DTF он рассказал о том, в какие эксперименты (в том числе и тайные) аналитики вовлекли посетителей трека, какие гипотезы им удалось подтвердить и как результаты могут помочь в монетизации игр.

План эксперимента

Мы подготовили программу из нескольких докладов и круглых столов, а также заготовили небольшой сюрприз. Весь день на сцене стоял чемодан с конфетами, всем желающим было предложено угадать, сколько в нём конфет (мы заранее их посчитали). И тот, кто угадает или окажется ближе всего к истине, должен был забрать с собой и чемодан, и конфеты. Для ответа на вопрос необходимо было заполнить Google-форму, доступную по QR-коду. Так это выглядело снаружи.

На самом же деле всё было несколько хитрее.

  • Во-первых, QR-кодов было два, и это был A/B-тест. Чем отличались формы, я расскажу чуть позже.
  • Во-вторых, в обеих версиях формы, помимо вопроса о чемодане конфет, расположенного в списке последним, было ещё несколько вопросов, основная часть из которых была обязательной. Таким образом, мы хотели попутно протестировать ещё несколько интересных гипотез.

В итоге в конце дня мы прочли доклад, в который вставили результаты опроса. Почти все гипотезы, которые мы проверяли, были подтверждены.

Пара дисклеймеров

Но сначала несколько технических моментов. Мы сразу понимали, что никакой речи о статистической значимости и быть не может. Мы ориентировались на 100 респондентов (и почти угадали), а на таких масштабах едва ли можно рассчитать t-тест, z-тест и все прочие тесты.

Чтобы в каждой из групп теста было примерно одинаковое число респондентов, нам пришлось потрудиться. Мы разместили в зале два роллапа, на каждом из которых был указан свой QR-код. Флаеры, которые раздавались публике, были тоже двух видов.

По истечении нескольких часов мы увидели, что число респондентов в группе «A» значительно превосходит группу «B», и было принято решение поменять роллапы местами, а также заменить флаеры на новые. Это немного выровняло статистику, однако пришлось привести нескольких людей буквально за руку и дать им нужный флаер.

В конечном счёте, всё получилось, и сейчас самое время рассказать об этом.

Общие данные

Всего у нас было 103 респондента, из которых 77 — мужчины, а 26 — женщины. У нас был ещё вариант «предпочитаю не указывать», но его никто не выбрал. 51 респондент оказался в группе «A», 52 — в группе «B».

Эффект приманки

Из поведенческой экономики известен так называемый «эффект приманки» (decoy effect). Суть его в том, что, совершая выбор между двумя вариантами, респондент встает перед проблемой выбора и часто выбирает более дешёвый. Тогда вводится третий, заведомо невыгодный вариант. Отвергая его, респондент с большей вероятностью принимает решение в пользу одного из двух других вариантов. Притом можно добиться того, чтобы в среднем выбирали более дорогой вариант. Подробнее о классическом примере эффекта приманки с подписками на журнал можно прочесть здесь.

Дело в том, что наш ленивый мозг, выбирая между вариантами «A» и «B», слишком далекими друг от друга, чтобы их сравнивать, будет очень сильно напрягаться. А напрягаться он не особо любит. И чтобы ему помочь, к вариантам «A» и «B» добавляется вариант «-A». Между «A» и «-A» выбор делается легко в пользу «А», при этом по инерции «A» выигрывает сразу и у «B».

Эксперимент первый: Крис Хемсворт и Райан Гослинг

Мы решили проверить эффект приманки следующим образом. Группе «B» было предложено выбрать, кто из мужчин кажется им более симпатичным, Крис Хемсворт или Райан Гослинг (для того, чтобы выбрать, какие именно мужчины попадут в опрос, пришлось «гуглить» "top sexiest men 2019", и я никогда бы не подумал, что это придётся делать по работе). В итоге голоса распределились вот так.

Крис Хемсворт победил. Вероятно, это как-то связано с тем, что в мае в прокате как раз были последние «Мстители», где он снимается.

Ну а в группе «A» мы добавили ещё один вариант, и выбор был из трёх картинок: Райан Гослинг, «помятый» Райан Гослинг и Крис Хемсворт. И вот, что у нас получилось.

Как мы видим, «помятый» Гослинг позволил обычному Гослингу занять первое место в опросе. Нашлись, конечно, и те, кто проголосовал за «помятого», ну да бог им судья.

Кстати говоря, попутно мы выяснили, что мужчинам больше нравится Гослинг, а женщинам — Хемсворт.

Эксперимент второй: цена на попкорн

Как же применить этот метод для монетизации? Этому был посвящён наш следующий эксперимент.

Группе «А» было предложено выбрать один из двух стаканов попкорна: маленький за 100 рублей и большой — за 200.

Для группы «B» был выбор из трёх позиций:

  • маленький — 100 рублей;
  • средний — 180 рублей;
  • большой — 200 рублей.

Как видим, средний вариант по цене ближе к большому, его задача — оттенить внимание в большую сторону.

Видим, что средний вариант со своей задачей вполне справился. Его добавление позволило поднять средний чек со 136,5 рубля до 161,9 рубля, то есть на 19%. Ещё раз: мы просто добавили один price point, и чек только от этого вырос на 19%.

Эффект якоря

Далее, мы хотели проверить эффект якоря. Его суть заключается в том, что если заранее установить респонденту «якорь» на некоем численном значении, то в будущем при какой-либо численной оценке респондент будет отталкиваться от «якоря». Подробнее об эффекте можно прочитать здесь (обратите особое внимание на классический эксперимент с долей африканских стран в ООН).

Эксперимент третий: удержание в гоночных играх

Чтобы проверить эффект якоря в нашем эксперименте, мы задавали следующий вопрос.

Для группы «A». По данным progamedev.net, медианный показатель удержания первого дня (day 1 retention) у игр жанра Trivia — 35%, World — 38%, Casino — 34%. Как бы вы оценили медианный показатель day 1 retention у игр жанра Racing?

Для группы «B». По данным progamedev.net, медианный показатель удержания первого дня (day 1 retention) у игр жанра Simulation — 22%, Action — 24%, Adventure — 24%. Как бы вы оценили медианный показатель day 1 retention у игр жанра Racing?

Как видите, у группы «B» «якоря» стояли на более низких значениях, чем у группы «A». Повлияло ли это на оценку day 1 retention у игр жанра Racing?

Повлияло, и более чем.

Эксперимент четвёртый: оцениваем стоимость вина

А что, если респондент сам установит себе «якорь»? Для этого мы попросили респондентов сначала указать последние две цифры их номера телефона (по сути, случайное двузначное число). А затем мы попросили их оценить стоимость одной и той же бутылки вина (в долларах). И вот, что получилось.

То есть те, кто ранее написал меньшее значение (от 00 до 20), имели тенденцию более низко оценивать стоимость бутылки, чем те, кто ранее написал значение от 80 до 99.

Закон больших чисел

Наконец, мы решили проверить работу закона больших чисел. Мы рассчитывали, что если попросим респондентов оценить некое значение, то средняя оценка по выборке будет близка к фактическому значению.

Эксперимент пятый: когда родился Ньютон?

Для начала мы попросили оценить год рождения Исаака Ньютона. Ньютон родился в 1643 году, но респондентов мы очень попросили не «гуглить» это.

В целом, видно, что средняя оценка начала приближаться к факту. И, вполне вероятно, что если бы респондентов было больше, то она бы приблизилась ещё сильнее.

Эксперимент шестой: чемодан конфет

Наконец, вернёмся к нашему чемодану с конфетами. И это единственный эксперимент, который нам не удался. По непонятной нам причине средняя оценка в определённый момент взяла устойчивый тренд на рост.

В чемодане было 544 конфеты, и нашёлся человек, который угадал это с точностью до одной конфеты (девушка по имени Алина назвала число «543»). Чемодан нашёл своего владельца, конфеты — тоже. Поздравляем Алину ещё раз!

В конце мне хочется сказать, что законы поведенческой экономики, кажется, работают. Мы видим в ней ещё один ракурс, под которым стоит рассматривать работу над продуктами и их монетизацию. При правильном применении этих законов можно повысить средний чек, не меняя лояльности пользователей. Так что используйте поведенческую экономику во благо, но всё же будьте аккуратны — лояльность может оказаться дороже.

{ "author_name": "Albert Khabibrakhimov", "author_type": "editor", "tags": [], "comments": 21, "likes": 59, "favorites": 205, "is_advertisement": false, "subsite_label": "life", "id": 76162, "is_wide": false, "is_ugc": false, "date": "Sun, 21 Jul 2019 12:54:39 +0300" }
{"average":28211,"one":95,"ten":76}
Сколько денег вы откладываете в месяц?
Ответьте и узнаете, сколько копят другие.
0 ₽
70 000+ ₽
0 ₽
{ "id": 76162, "author_id": 53259, "diff_limit": 1000, "urls": {"diff":"\/comments\/76162\/get","add":"\/comments\/76162\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/76162"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 199123, "last_count_and_date": null }
21 комментарий

Популярные

По порядку

Написать комментарий...
24

Ну вот, нормальный контент. А не это все про Сбер, Яндекс и Тиньков.

Ответить
8

Насколько же тухло на выходных на виси, что ваш комментарий с тремя (!) лайками стал комментарием дня.

Ответить
4

тухляки мы с вами, потому что нормальные люди чем-то другим занимаются в хорошую погоду в выходные

Ответить
4

Так летние выходные же. Все стартаперы-инвесторы попрыгали в первый класс и сейчас пьют Моёт в прибрежной полосе от Канн до Ментона.

Ответить
1

Это правда смешно. Не знал, что стал комментатором дня :)))

Ответить
3

Не совсем понял какая цель этих экспериментов? Уже давно доказаны эти все эффекты. Зачем тратить ресурсы и повторно доказывать их.

Ответить
2

Какие конкретно эффекты доказаны, и кем? Про половину этих парадоксов еще Канеман писал в своей книге, и после того как другие ученые перепроверили его исследования и не смогли их повторить, он сам признался в том, что там многое надумано и не работает на самом деле (в тч прайминг, про который тут написано).

Другое дело, что если очень нужно подтвердить какой-то интересный эффект, то имея небольшую выборку из однородных людей (посетители аналитической конференции задачи по подсчету условных конфет в коробке скорее всего решают не первый раз), на основе полученных данных можно "доказать" практически все что угодно.

Тем страннее, что последний эксперимент с усредненным мнением толпы людей не удался, по-моему он тут единственный, который должен сработать.

Ответить
1

Какие именно ЕГО исследования? Вы скорее всего говорите про книгу "Думай медленно, решай быстро". В ней ЕГО эксперименты - это теория перспектив, за которую он и получил нобелевскую премию. А по другим когнитивным искажениям он ссылался на другие исследования, которые проводили еще десятки лет до его работ.

Следовательно, вы говорите, что исследования не подтвердили теорию перспектив. Забавно, наверно надо нобелевскую премию у него забрать)

Ответить
0

То есть эйчары хантят в диджитал аналитиков/продуктологов, которые должны знать эти, заведомо не всегда рабочие методики?)))

Ответить
0

Омг. Тут больше Ариели, это раз, а во-вторых кинь ка пруф, где Канеман признается в надуманности, и третье - то есть это пост является доказательством, в отличие от исследований в поведенческой экономике и думай медленно ... ? 🤦🏻‍♂️

по-моему он тут единственный, который должен был сработать

Компетентность подвезли

Ответить
–3

Вот вот

Можно ещё доказать гравитацию

Ответить
1

после опроса 1000 человек на улице, средний ответ оказался "скорее не существует"

Ответить
0

Ну в заголовке из назвали гипотезами, а гипотезы подлежат проверке %)

Ответить
0

Слямзено у Олега Якубенкова (Go Practice)

Ответить
2

И Канеман с Талером, наверное, книги после go practice написали

Ответить
0

Интересная статья!
P.S. так какой в итоге day retention у гонок?

Ответить
0

Неясно, зачем снова доказывать гипотезы, которые сто раз доказаны

Идет в разрез с тем, насколько хороший сам сервис devtodev

Ответить
0

Это только для мобилок работает?

Ответить
0

Хорошая статья!

Ответить
0

Статья конечно очень интересная, но ведь это же все уже доказали сто раз. Так зачем еще раз доказывать?..

Ответить
0

Статья годная. Интересная. Спасибо.

Ответить
0
{ "page_type": "article" }

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Нейронная сеть научилась читать стихи
голосом Пастернака и смотреть в окно на осень
Подписаться на push-уведомления
{ "page_type": "default" }