Когнитивные искажения в экспертных интервью: как избежать?
Когда речь заходит о когнитивных искажениях, даже эксперты не являются исключением. В статье рассмотрим искажения, которые могут сильнее всего отразиться на результатах исследования, а также о способах снизить или исключить их влияние.
Искажения памяти
В этом разделе приведен ряд искажений, связанных с особенностями работы человеческой памяти. Эти искажения в той или иной степени характерны для любого человека – они помогают нашему мозгу обрабатывать огромные объемы информации.
Избирательность: иногда мы не запоминаем детали, которые кажутся нам неважными.
Конформность: мы можем изменять свои воспоминания, чтобы они лучше соответствовали мнению других.
Уверенность: мы часто считаем, что наши воспоминания — это факты, хотя это может быть не совсем так.
Внушаемость: наше воспоминание может быть изменено манипуляциями.
Связность: мозг старается выстроить логичную историю, иногда исключая некоторые факты.
Домысливание: часто мы помним общее впечатление, но детали могут быть придуманы.
Источники: мы можем забыть источники информации быстрее, чем саму информацию.
Эгоцентризм: иногда мы можем себя переоценивать в роли, которую мы сыграли в прошлых событиях.
Ярким примером могут выступить оценки экспертами постфактум кризиса 2008 года.
Так, экономист Н. Рубини в 2022 году заявил, что предсказывал кризис за год до его начала. Однако в профессиональной среде он известен своим алармизмом – еще до 2008 кризис он предсказывал попросту каждый год
В 2010 году бизнесмен Д. Трамп также утверждал, что предупреждал общественность о приближающемся кризисе. Однако в интервью от 2008 года он делал исключительно оптимистичные прогнозы и утверждал, что никаких «пузырей» в сфере недвижимости не существует.
Что делать?
Главный способ предотвратить влияние искажения – фактчекинг «показаний» эксперта. Просмотрите ключевые факты и статистику, бенчмарки по теме, чтобы не поддаться этим искажениям. Помимо этого:
- Приглашайте достаточное количество экспертов. Не меняйте темы вопросов.
- Соблюдайте баланс между возможностью для эксперта в свободной беседе поделиться с вами инсайтом и жесткой структурой и логикой беседы, чтобы вы могли в дальнейшем обобщить информацию.
- Учитывайте контекст времени событий, чтобы понимать, какими данными располагал эксперт, если вы обсуждаете события прошлого.
- Приглашайте (обязательно) к интервью психолога-супервизора. Он подметит те детали и реакции эксперта, которые вы можете упустить.
Эффект Пигмалиона и манифестаторы
Эффект Пигмалиона – еще одно искажение, которое может негативно отразиться на результатах экспертного интервью. Само искажение иногда называют «самосбывающимся пророчеством». Принцип его работы прост – например, человек, уверенный в том, что он обречен на богатство и успех, постоянно рассказывает об этом своему окружению. Тем самым он формирует у окружающих людей завышенные ожидания от себя самого. В свою очередь, эти ожидания «подстегивают» его работать усерднее – и пророчество может сбыться.
На самом деле степень влияния эффекта Пигмалиона на успехи человека в той или иной области до сих пор научно не установлена. Однако это не мешает верить в силу манифестаций, аффирмаций и прочего трети населения Земли (и не исключено что в выборке экспертов могут попасться манифестаторы).
Что делать?
При проведении исследований с привлечением экспертов, важно контролировать долю манифестаторов в выборке. Они могут быть необъективны, выдавать желаемое за действительное (учитываем это при подведении итогов исследования). Поэтому в команде должен быть профайлер и/или психолог-супервизор.
Однако в ряде задач манифестаторы могут быть полезны:
В консалтинге - чтобы не "задушить" клиента пессимизмом, дать понять, что изменения бизнес-процессов к лучшему возможны (но не с помощью визуализации, а совместными усилиями).
Тестирование продукта, оценка реакции ЦА - полученные от манифестаторов инсайты ценны тем, что работают с той самой третью манифестаторов в составе населения!
Другие «ловушки мышления»
Несколько других искажений, которые также могут повлиять на результаты проведения экспертного интервью. В отличии от представленных выше, они имеют ограниченное влияние – чаще всего в вопросах аргументации и фактологии со стороны эксперта:
Ошибка базового процента
Когнитивное искажение, согласно которому люди более склонны доверять собственному опыту, слухам и догадкам, нежели статистике. Ему с наибольшей долей вероятности может быть подвержен эксперт-практик. При ответах на вопросы его анализ может «отклоняться» в сторону субъективного опыта в ущерб объективным тенденциям.
Чтобы снизить влияние искажения на результат, интервьюер должен «выводить» аналитику эксперта на общие тренды, статистические измерения, ссылки на конкретные исследования и т.д.
Отклонение в сторону оптимизма
Когнитивное искажение, согласно которому человек в своих прогнозах сильно занижает вероятность негативных событий. Соблазн быть оптимистом в прогнозах может возникнуть и в весьма нестабильные времена, по принципу «хуже уже не будет». Дополнительным стимулом исказить реальность в позитивную сторону выступает естественное желание эксперта (и любого человека) понравиться собеседнику.
Эксперта, «стремящегося понравиться» заказчику или интервьюеру на ранних этапах может выявить психолог-супервизор в составе команды. Если говорить об оптимистичных прогнозах – уже непосредственно интервьюер должен задавать дополнительные вопросы с просьбой обосновать оценки эксперта или дать ссылки на релевантные источники.
Иллюзия правды
Суть искажения умещается во фразе «ложь, повторенная тысячу раз, становится правдой». Явным маркером искажения могут являться следующие фразы со стороны эксперта: «все это знают», «это известное явление», «само собой разумеется» и похожие.
В данном случае лучшим способом защититься от ложных данных является фактчекинг. Некомпетентные эксперты отсеиваются на ранних этапах отбора респондентов, однако даже опытные люди в оценке ряда вопросов могут апеллировать к «общеизвестным фактам».
Вывод
Таким образом, наибольшую угрозу при проведении экспертного интервью представляют искажения, связанные с работой памяти, и эффект Пигмалиона.
Искажения памяти касаются оценок тенденций и событий прошлого. Главным способом предотвратить их влияние является тщательная подготовка команды и интервьюера, готовность запросить у эксперта дополнительную информацию и умение грамотно модерировать беседу. Также при проведении любого интервью необходимо проводить фактчекинг по аргументации эксперта.
Эффект Пигмалиона связан с явлением «манифестаторов». Это люди, верящие в собственную избранность и то, что можно усилием воли повлиять на объективную реальность. Эксперты-манифестаторы часто выдают желаемое за действительное, что также негативно влияет на результаты исследования. Для выявления манифестаторов в команде должен быть психолог-супервизор. Доля манифестаторов не должна превышать 1/5 выборки и на их оценки необходимо делать скидки при подведении итогов.
Также эксперты могут быть подвержены иным распространенным искажениям – иллюзии правды, отклонению в сторону оптимизма, ошибке базового процента. Это в очередной раз подчеркивает необходимость наличия психолога-супервизора или профайлера в составе команды исследователей и значимость этапа фактчекинга.