Лого vc.ru

Когнитивные искажения в аналитике: как уже имеющиеся данные мешают эффективно оценивать игру

Когнитивные искажения в аналитике: как уже имеющиеся данные мешают эффективно оценивать игру

Ведущий аналитик компании devtodev Василий Сабиров написал для рубрики «Рынок игр» колонку о том, каким когнитивным искажениям подвержены специалисты в его сфере. Сабиров разобрал основные отклонения и показал, как они мешают работать аналитикам.

Поделиться

Вы как аналитик можете быть сколь угодно прокачаны в сборе данных и методах анализа, однако миновать «большой эмоциональный рандомайзер» бывает очень трудно: вы в любом случае пропускаете данные и результаты анализа через свою голову, а значит, принимаете решения, основанные на эмоциях, незакрытых гештальтах, предыдущем опыте. Таким образом, вы подвергаете данные когнитивным искажениям (КИ).

Когнитивные искажение — это научное понятие, означающее систематические отклонения в поведении, восприятии и мышлении, обусловленные субъективными предубеждениями и стереотипами, социальными, моральными и эмоциональными причинами, сбоями в обработке и анализе информации.

Особо отмечу те когнитивные искажения, которые могут вести к ошибочным решениям именно в области аналитики. Я приведу примеры, а вы уже сами решайте, подвержены ли вы им или нет, бороться с ними или оставить как есть.

Предвзятость подтверждения — тенденция искать или интерпретировать информацию таким образом, чтобы подтвердить имевшиеся заранее концепции. Пожалуй, это самое распространённое КИ среди аналитиков. Проводя анализ, специалист заранее формирует какие-то свои идеи относительно его результатов (ставит внутри себя ставку на исход), а затем трактует результаты анализа, исходя из этих идей, порой подгоняя результаты под свой ответ.

Пример: недельный показатель удержания вашего продукта после запуска оказался неожиданно низким (возьмём 5%). Незадолго до запуска вы предлагали поменять иконку, но никто не согласился. В итоге вы анализируете причины низкого удержания и начинаете видеть, что пользователи не заинтересованы вашим продуктом как-то сразу, с первых же событий, с обучения.

Вы идёте в отдел разработки и ставите задачу на исправление иконки. А на самом деле причины могут быть абсолютно разными: от неудачного дизайна всего приложения или неуместного сеттинга до непонятного туториала или просто плохого баланса игры.

Частным случаем предвзятости подтверждения можно назвать эффект привязки — особенность принятия численных решений, вызывающая иррациональные смещения ответов в сторону числа, попавшего в сознание перед принятием решения.

Вы только что посмотрели фильм «47 ронинов», и он очень запал вам в душу. Настолько, что число 47 просто отпечаталось в вашем мозгу. И среди огромной таблицы вы видите лишь те показатели, в численной записи которых есть «47», не обращая внимание на другие метрики. Или, скажем, предлагаете добавить в игру АК-47 и персонажа игровой серии Hitman (агент 47).

Проклятие знания — затруднения у информированных людей при попытке рассматривать какую-либо проблему с точки зрения людей менее информированных. Разработчики приложений склонны переоценивать, насколько другие люди (среди которых и драгоценные пользователи) разбираются в их приложениях.

Ведь это же очевидно, что здесь нажать надо именно на зелёную кнопку, а здесь танк должен прыгнуть. Нет, не очевидно. В вашей голове уже есть понимание, сформированы соответствующие структуры и шаблоны, вы видите свой продукт каждый день (а также ночью во сне), а пользователь видит всё это впервые. Что нужно сделать, чтобы пользователь понимал продукт так же, как и вы? Правильно. Всё ему объяснить и разжевать.

Чтобы понять, правильно ли пользователь воспринимает то, что вы ему даёте, есть несколько способов:

  • Плейтесты. Прекрасное изобретение человечества, которое как раз и необходимо для того, чтобы избавляться от проклятия знания. Слушайте, что говорят пользователи, прислушивайтесь к обратной связи от каждого конкретного пользователя, и вы станете лучше понимать свой продукт.
  • Анализ профилей пользователей. Вы можете увидеть последовательность действий каждого конкретного пользователя, не проводя отдельных дорогих плейтестов. Современные системы аналитики позволят вам увидеть продукт глазами конкретных людей.

Ещё одним примером проклятия знания можно назвать коммуникацию между аналитиком и другими отделами. Аналитик говорит на своём языке и предполагает, что его все понимают. На самом же деле, поверьте, большая часть ваших коллег не знает, что такое ARPU и LTV, и уж тем более они никогда не слышали про модели ARMA или ARIMA.

Пример: когда-то мне пришлось презентовать математическую модель прогнозирования городским чиновникам. Я со страстью рассказывал про то, как хорошо работает эта регрессионная модель, как долго мы её разрабатывали и тестировали. А потом меня спросили: «Мы ведь прогрессивный город, почему у вас модель регрессионная?»

Иллюзия прозрачности. Люди переоценивают способность других людей понимать их. Вопрос исключительно в коммуникации — вы уверены, что вас правильно поняли? Вы уверены, что вы правильно поняли? Может быть, есть смысл побеседовать ещё?

Допустим, вы продюсер, и вы придумали новую классную игру. Вы собрали совещание и говорите: «Делаем игру про Соника Супер Ёжика. Ну, ты же играл в неё, вот. Делаем точно такую же». И вы уходите в полной уверенности в том, что геймдизайнер вас понял. А теперь зайдите на сайт и ответьте на вопрос, какую из этих игр вы имели в виду?

Ретроспективные искажения. Имеются в виду искажение в восприятии сделанного выбора (тенденция помнить свои выборы как более правильные, чем они были на самом деле) и эффект знания задним числом (склонность воспринимать прошлые события предсказуемыми). Оба искажения можно описать фразой «Ну я же говорил».

Яркий пример: шквал заявлений от представителей игровой индустрии, которые сразу после успешного выхода игры Pokemon Go стали говорить, что это именно они придумали эту игру ранее. Хорошим ответом на эти заявления стала колонка Сергея Бабаева «Нет, вы не придумали Pokemon Go несколько лет назад».

Чтобы избежать таких искажений, я рекомендую вести подробный анализ всех изменений в проекте, желательно от самого его запуска. Вы будете знать, как каждое изменение повлияло на проект, какие метрики оно изменило, как это сработало на итоговые показатели (чаще всего — доход, реже — аудитория). Основывая последующие решения на результатах анализа предыдущих, вы сможете более точно выбирать наиболее эффективную гипотезу из нескольких вариантов. И никакое «Ну я же говорил» уже не прокатит.

Есть ещё похожее КИ — эффект вклада. Это склонность переоценивать стоимость объекта, к созданию которого вы были причастны. Чтобы его избежать, опять же, ориентируйтесь на статистику, имейте под рукой чёткий лог всех изменений и детальный их анализ.

Ошибка меткого стрелка из Техаса — выбор или подстройка гипотезы после того, как данные собраны. Мешает проверить гипотезу честно. Думаю, вы все знаете пример, когда стрелок стреляет по амбару, а затем в месте, где больше всего пробоин, рисует мишень. Часто, говоря про это КИ, ещё упоминают Нострадамуса, пророчества которого подгоняются под свершившиеся события.

В аналитике такая ошибка встречается повсеместно. Допустим, вы делаете модель прогнозирования выручки и тестируете её на тех же данных, на которых и обучали. По незнанию или по корыстному умыслу — это уже другой вопрос. Но факт в том, что результаты такого тестирования будут просто отличные, хотя модель вполне может оказаться неработоспособной.

Ошибка выжившего — по одной группе («выжившим») есть много данных, а по другой («погибшим») — практически нет. И исследователи пытаются искать общие черты среди «выживших», забывая о том, что не менее важная информация скрывается среди «погибших».

Чаще всего эта ошибка иллюстрируется отличным примером: «Слухи об уме и доброте дельфинов основаны на рассказах уставших пловцов, которых они толкали к берегу, но мы лишены возможности услышать рассказ тех, кого они толкали в другую сторону».

Если же говорить про аналитику, то неверно делать выводы только на основании данных о пользователях, которые уже активны в вашем проекте. Нужно также взять в расчёт и тех, кто покинул проект. Вполне возможно, они тоже дадут вам достаточно информации для развития проекта. И вот хороший пример, как можно оптимизировать активацию пользователей на основании сопоставления данных о «выживших» и «погибших».

Селективное восприятие заключается в том, что за основу для анализа берутся не все данные, а лишь какая-то заранее выбранная их часть. Разумеется, такой анализ будет нерелевантен, хотя и выглядеть будет достаточно хорошо. Просто аналитик не станет рассказывать о том, какие данные он не взял для анализа.

Допустим, вы выпускаете бета-версию проекта, собираете фидбек, но обращаете внимание лишь на положительные отзывы (ну потому что те, кто пишет негативные отзывы, они ничего не понимают и вообще тролли, верно?). В итоге получается, что значительная часть фидбека проходит мимо, и продукт не изменяется так, как должен был. Похожая ситуация, кстати, возникла в сериале «Кремниевая долина», и в одной из предыдущих статей я разбирал их кейс.

Как ни странно, но упорство — это тоже когнитивное искажение, и заключается оно в продолжении работы над тем, что уже потеряло свою ценность. Скажем, вы всё ждёте, когда же продукт взлетит только на виральном трафике. Идут месяцы, а он всё не взлетает, а вы всё ждёте, вот сейчас-сейчас.

Уклон в сторону поиска информации — тенденция искать информацию даже тогда, когда она не влияет на действия. Часто роль аналитика в компании достаточно широка, и ему поручают как количественные, так и качественные исследования. Аналитик чувствует себя достаточно вольготно: есть время, сиди себе и гугли нужную информацию. Вполне может возникнуть ситуация, когда при решении какой-то задачи чисто инстинктивно аналитик возьмёт себе несколько дней на исследования, на R&D.

Но прежде чем отправиться в путешествие по глубинам интернета на несколько дней, задайте себе вопрос: вы точно не можете приступить к решению задачи прямо сейчас? Вы точно найдете ту информацию, которая поможет вам в последующем анализе и окупит эти дни? Если точно да, тогда конечно, отправляйтесь исследовать.

Эффект знакомства с объектом. Решения принимаются в пользу более знакомой и изученной технологии, даже если это может быть неэффективно.

Допустим, вы до того делали лишь веб-проекты, а тут решили выйти на мобильный рынок. И сразу же начинаете представлять, сколько всего нового придётся изучить и вам как аналитику, и разработчикам. И настаиваете на том, чтобы остаться в вебе и даже не соваться в эту terra incognita.

Похожим КИ является предпочтение нулевого риска — стремление уменьшить какой-то один маленький риск до нуля вместо того, чтобы значительно уменьшить другой, больший риск. Люди боятся медицинских осложнений сильнее, чем самого заболевания.

Как бороться с этими искажениями? Если есть возможность выбирать, то соберите данные, будьте максимально непредвзяты и не ориентируйтесь на личные предпочтения.

С другой же стороны есть эффект повального увлечения — тенденция делать вещи, потому что их делают другие. У каждого из нас есть люди, на которых мы равняемся. И часто может быть так, что мы начинаем подражать им, использовать те же инструменты и методы. Или же, узнав о новом методе, вы начинаете видеть его везде (это называется феноменом Баадера-Майнхоф) и стремитесь теперь его везде применять, даже если это не совсем обоснованно.

Такой случай был у меня. Я узнал о факторном анализе и методе главных компонент, был впечатлён ими, особенно картинками с переходом из одного пространства в другое:

Поспрашивал знакомых аналитиков и выяснил, что все его давно применяют, один я ничего раньше не знал. И я стал применять этот метод везде и всюду, даже если этого не требовалось. Метод главных компонент нужен для сокращения размерности (есть у вас 100 переменных, а вам надо оставить лишь пять из них, например), но я использовал его даже тогда, когда на руках было три переменных, и никакого сокращения размерности не требовалось.

Следующим КИ есть смысл пользоваться ради собственной выгоды. Переоценка скидок — название говорит само за себя. Люди часто становятся жертвами маркетологов и покупают то, что было им не нужно, зато со скидкой.

Как этим воспользоваться? Просто попробуйте сделать небольшую скидку на свои товары, виртуальные или реальные — неважно. Часто может быть так, что кратковременная небольшая скидка сильно поднимает выручку.

В своей практике я встречал очень высокую эластичность спроса по цене, особенно на виртуальные товары. Иногда небольшая (допустим, размером в 10%) скидка могла дать сильный (допустим, в 50%) прирост спроса. Экспериментируйте с товарами, на которые делаете скидку, с размером скидок, и я уверен, что вы сможете найти оптимальную стратегию проведения распродаж, максимизирующую выручку и минимизирующую риски.

Наконец, парочка КИ, свойственных исключительно аналитикам:

  • иллюзия кластеризации — тенденция видеть паттерны там, где их на самом деле нет;
  • иллюзия корреляции — ошибочная вера во взаимосвязь определенных действий и результатов.

Не будет лишним напомнить, что correlation does not imply causation, и если между двумя объектами есть корреляция, это совсем не значит, что изменение одного неизбежно приведёт к изменению другого.

И это ещё не все когнитивные искажения, которые есть. Очень хочу, чтобы вы знали, какие искажения бывают, что они достаточно повсеместны, и вполне возможно, что у себя вы выявите некоторые из них — и это прекрасный первый шаг. Вообще, рекомендую периодически перечитывать эти списки и задаваться вопросом, нет ли у вас чего-то, что в них упомянуто. Это как ходить к стоматологу раз в полгода.

Главное — не переусердствовать. Ведь непрерывный поиск когнитивных искажений — это тоже своего рода когнитивное искажение.

У аналитика, как и у представителей других профессий, должна быть холодная голова. Аналитик должен быть максимально непредвзятым. Полагайтесь на статистическую значимость, а не на шаблоны и эмоции.

Бонус-совет для тех, кто дочитал до конца: теперь, когда вы в курсе многих когнитивных искажений, вы знаете, что они свойственны всем, а значит у вас есть конкурентное преимущество. При защите очередного проекта в ходе аргументации для увеличения вероятности принятия нужного вам решения попробуйте использовать подходящее когнитивное искажение, но будьте осторожны: пусть это будет только на пользу проекту.

Если вы хотите написать материал для рубрики «Рынок игр», рассказать о разработке своей игры или кейсе её роста, присылайте материал на games@vc.ru.

Статьи по теме
«Нет, вы не придумали Pokemon Go несколько лет назад»15 июля 2016, 14:21
Система аналитики: покупать или создавать собственную программу11 июня 2016, 18:12
Как выглядит идеальная система аналитики для игрового проекта24 февраля 2016, 19:56
Сравнение систем аналитики для игровых проектов — MixPanel, Localytics, Flurry, devtodev, deltaDNA и GameAnalytics27 ноября 2015, 17:37
Популярные статьи
Показать еще
Комментарии отсортированы
как обычно по времени по популярности

Спасибо автору и редакции за интересный материал.

Есть воронка продаж, состоящая из 11 точек соприкосновений.
С чего начать бета-тесты когда денег мало? Сначала или с конца?
Ведь выходит огромная масса гипотез.

0

Хороший вопрос!
Я чаще всего рекомендую правило: чем раньше, тем лучше.
Потому что очень часто случается так, что оптимизация ранних шагов воронки попросту дешевле. Например, сравните изменение лэндинга и изменение core loop игры.
К тому же, может оказаться, что исправление ранних шагов может стать рычагом, после применения которого изменять более поздние шаги и не потребуется.

0

Спасибо автору! Стереотипное мышление - это главный тормоз развития в любом деле, встречаю постоянно, и в себе регулярно стараюсь отыскивать устаревшие стереотипы, тестировать новые идеи, форматы, способы, применяю принцип "нескольких подходов" (как в спортзале, когда каждый раз подходя к тренажёру, ты оцениваешь картину мира заново). По-прежнему эффективные приёмы и стереотипы, прошедшие "инвентаризацию" оставляю, бестолковые заменяю на новые, которые тоже часто бестолковые.

Чтобы уменьшить рестроспективные искажения (часто встречаются), нужно построить динамический план-стратегию, разбить бэклог на спринты, оценивая и переоценивая трудозатраты задач для более точного планирования таймлайна. Там фиксировать не только задачи, но и результаты задач в виде метрик, т.е. как воздействие или изменение повлияло на достижение цели. Это поможет формулировать цели реалистичными, но амбициозными. Важное дополнение, стихийные задачи не будут мешать приоритету более важных задач, и наборот, при анализе спринта будут видны белые пятна, которые пока не заполнены задачами.

0

Спасибо вам! Полностью с вами согласен: по итогам каждой задачи хотелось бы видеть, какие метрики она отклонила, в какую сторону и насколько. Таким образом, с каждой новой задачей цели становятся всё более чёткими, а приоритеты - всё более логичными.

0

Спасибо за статью, очень познавательная.

По поводу "иллюзии корреляции".
Чрезвычайно распространённая ошибка даже в научных публикациях, особенно в гуманитарных науках.

Люди видят высокие значения корреляций, и считают, что раз получили эти значения, значит точно есть причинно-следственные связи между факторами, и нужно всеми правдами и неправдами эти связи описать. В результате часто можно видеть выводы, которые вообще никак не обосновываются кроме как числом, а СМИ результаты таких исследований подхватывают и разносят.

Как делать корректно:
1) Проверять статистическую значимость корреляций (дополнительные расчеты). Уже на этом этапе можно откинуть полученное значение как статистически незначимое.
2) Любая статистически значимая корреляция изначально принимается не как связь, а только как гипотеза о существовании связи (связи может и не быть).
3) Исследователь пытается логическим образом выявить и обосновать, как коррелирующие факторы могут быть взаимосвязаны в реальности. Если обоснование выглядит убедительным, значит об этом можно заявить.
4) Если причинно-следственную связь объяснить не получается, нужно рассмотреть вариант, что это "ложная корреляция". Оба фактора могут коррелировать, потому что оба по отдельности связаны с каким-то общим третьим фактором.
5) Если в ходе исследования так и не объясняется корреляция, но саму корреляцию хочется всем показать, то писать в выводах нужно не "найдена связь", а примерно так: "Получена корреляция между такими-то факторами. Возможно, между ними есть связь". Может, кто-то другой эту корреляцию объяснит, или потом будет произведено какое-то другое исследование, в котором появится больше данных для объяснения.

Я это к чему. Нужно более критично относиться к новостям из СМИ, когда пишут, что-то вроде: "ученые обнаружили связь между таким-то занятием и такой то болезнью". Если объяснение связи выглядит неубедительно (а такое часто случается), значит реальной связи может и не быть (и всё это может объясняться какими-то третьими факторам, которые еще не выявлены).

0

Абсолютно так!
К слову, если вы ещё не знакомы с ней, рекомендую книгу "Как лгать с помощью статистики". Она написана в середине XX века и до сих пор актуальна, там как раз написано, как не попасться на подобные и многие другие уловки.

Возможность комментирования статьи доступна только в первые две недели после публикации.

Сейчас обсуждают
Андрей Малолин

Так начинающему или совсем без опыта работы?

Почему в Санкт-Петербурге сложно найти дизайнера интерфейсов
0
Константин Фанки

Что за Codewise? Кто нибудь слышал про них до этого рейтинга?

Avito оказалась единственным российским представителем в рейтинге Deloitte Technology Fast 500
0
Den Neustroev

Складывается впечатление, что вы из Avito.

Avito оказалась единственным российским представителем в рейтинге Deloitte Technology Fast 500
1
Gregory Golovanov

У нимакс вполне себе московский ценник

Почему в Санкт-Петербурге сложно найти дизайнера интерфейсов
0
GaLL

Подскажите где и как лучше искать стажировку начинающему веб дизайнеру (без опыта работы) в Казани? Готов ухватиться за любую возможность.

Почему в Санкт-Петербурге сложно найти дизайнера интерфейсов
0
Показать еще