Проверка гипотез в глубинном (кастдев) интервью

Кастдев и глубинные интервью - это популярный инструмент для проверки продуктовых гипотез. Но что значит "проверить гипотезу" в глубинном интервью? Ведь в строго научном смысле для проверки гипотез нужны количественные данные, а глубинное интервью — это качественный метод исследования... Как именно работает проверка гипотез в глубинном интервью – читайте далее.

Метод глубинного интервью уже давно известен среди исследователей-социологов, социальных психологов, этнографов, антропологов, маркетологов и других узких специалистов. Однако по настоящему популярным и массовым метод стал в момент распространения практики «кастдев» (custdev, customer development) в области «продуктовой разработки».

Популярность «кастдев интервью» (custdev интервью) стала настолько широкой, что об этом стали много говорить, писать и обучать. Обучали люди как с опытом, так и без опыта глубинного интервью. Поэтому практика проведения сильно трансформировалась, упростилась и приобрела характерный почерк «продуктового подхода».

Одним из элементов такого почерка стала практика «проверки гипотез» в глубинном (кастдев) интервью. До появления кастдев-практики проверка гипотез в традиции качественных методов формально не существовала. Качественные методы, включая глубинное интервью, воспринимались по большей части как «поисковые» или «объяснительные». То есть либо помогали набрести на конкретные научные гипотезы, либо развернуто их представить и описать. Не то, чтобы понятие «гипотеза» абсолютно чуждо качественным исследованиям. Научное познание в принципе без гипотез не бывает. Однако применительно к качественным исследованиям это понятие использовалось в большей степени как фактор, структурирующий поисковый процесс. Вопросы интервью всегда инспирированы определенными исходными предположениями. На этих предположениях мы строим логику научного поиска. Это и есть гипотезы. Скепсис о проверке гипотез касался и касается не понятия «гипотеза», а понятия «проверка».

Для научной традиции проверка гипотез с помощью глубинного интервью звучит как нонсенс, потому что в фундаментальной науке проверка гипотез опирается на математический аппарат, на статистический анализ наблюдений, на количественные методы исследования. Это про формулы, графики, статистические критерии, уравнения, вычисления, оценки достоверности и т.д.

А что представляет собой результат глубинного интервью? − Видео, аудио, текстовые расшифровки, заметки на полях, разного рода схемы и «майнд мэпы».

И все же в практическом контексте проверка гипотез с помощью глубинного интервью имеет смысл …

Пример. Работая в сети магазинов для ремонта, я проверял гипотезу о том, что, комфорт пребывания в магазине (выделенная зона обслуживания, диваны, кофе-машина и др.) имеет ценность для профессиональных клиентов (покупают товары для оказания услуг розничным клиентам) и способен повысить их лояльность к магазину.

Правда была в том, и мы это поняли по результатам интервью, что они вообще не хотели приезжать в магазин. Их потребность была не в том, чтобы получить дополнительный комфорт внутри магазина, а в том, чтобы получать полностью удаленное обслуживание.

Наше первоначальное понимание оказалось очень узким. По результатам исследования мы полностью поменяли свои взгляды на потребности клиента.

Ценность глубинного интервью, не в том, чтобы просто сказать «да» или «нет», подтверждается гипотеза или не подтверждается, а в том, чтобы уточнить, обогатить первоначальное представление о контексте, причинах, логике и сути клиентских потребностей.

Некоторые «исследователи» не вполне понимают эту специфику метода и стараются глубинное интервью оцифровать. Привнести туда количественную составляющую, чтобы все это выглядело, чуть более «достоверно». Например, ведется подсчет похожих ответов на одни и те же вопросы интервью…

Это очень плохая практика. Она дает плохой количественный анализ и ужасный качественный анализ. Глубинное интервью по своему жанру — это свободное интервью. Мы общаемся с респондентом в свободной манере, руководствуемся планом интервью (с вопросами) исключительно для навигации. Это абсолютно не предполагает задавание вопросов в строго прописанной форме. Форма вопроса может меняться: уточняться, дополняться... Вопросы могут быть вообще не заданы, если из контекста интервью ответ на него получен…

Ответы респондентов полученные таким образом нельзя «складывать» напрямую. Статистический подсчет требует стандартизации. Недаром в формализованных опросах значение имеет строго одинаковая формулировка вопросов и ответов. Даже их порядок для результата критически важен. Это необходимо, чтобы складывать яблоки с яблоками, а груши с грушами.

В глубинном интервью добиться такой стандартизации невозможно и не нужно. Задача и суперсила метода абсолютно в другом. Прежде всего в проверке общей логики предположений о ценностях, потребностях, привычках, паттернах поведения и мышлении людей. То есть, в проверке «объяснительных гипотез».

Проверка другого рода гипотез, «описательных» также возможна.

Например, проверка гипотезы о том, что «люди начинают поиск вдохновения по ремонту квартир в интернете», требует не только понять адекватность этого предположения в целом, но и оценить, как много таких людей, оценить масштаб потребности.

Ответ «да», при условии адекватной интерпретации данных. Сразу оговорюсь, что количественная оценка, даже грубая – типа «каждый пятый» или «половина» или «три четверти» будет некорректна по причинам несравнимости ответов (о чем писал выше), и смещенной, нерепрезентативной выборки.

В случае глубинного интервью корректно говорить лишь о «силе сигнала», подтверждающего гипотезу. Причем сила сигнала – это дискретная величина, возможны лишь три уровня: «нет сигнала», «слабый сигнал», «сильный сигнал».

Допустим, мы провели десяток интервью, и у нас не было случаев или был всего один случай, когда действительно клиент начинал поиск вдохновения в интернете. Это говорит о том, что сигнала нет.

Почему наличие одного случая говорит о том, что сигнала нет? Потому что несовершенство отбора респондентов и малый объем выборки делает довольно большим риск попадания в эту выборку «выбросов» − случаев, которые в большой и репрезентативной выборке будут встречаться крайне редко. Вероятность того, что нам попадется один какой-то оригинал, она всегда присутствует и ее нельзя исключать. Я не рекомендую цепляться за один случай и строить на нем какие-то выводы.

Если у нас два и более случая, мы уже можем говорить о некотором, пусть и слабом, но сигнале, что гипотеза подтверждается. Не в том смысле, что «люди в целом начинают поиск вдохновения по ремонту квартир в интернете». Корректно будет сказать лишь, что «есть представители целевой аудитории, которые начинают поиск вдохновения в интернете». То есть у нас есть определенный сегмент, возможно, ниша для создания продукта, закрывающего эту потребность.

Критерий наличия «сильного сигнала» я формулирую как «половина плюс». Если половина или больше проведенных интервью говорит о том, что люди начинали свой поиск вдохновения по ремонту квартир в интернете, это говорит о том, что у этой гипотезы хороший, сильный сигнал и «значительная часть аудитории начинает поиск в интернете».

Для фундаментального научного знания этого конечно недостаточно. Вернусь к тому, с чего начал: фундаментальная проверка гипотез требует точной количественной оценки.

Но в контексте практической разработки, создания и развития продукта, сервиса, наличие сильного сигнала может быть вполне достаточно для того, чтобы перейти от проверки гипотез о клиентах к проверке гипотез о практическом решении.

С точки зрения результата нам не так важен точный масштаб исходной потребности (достаточно понимать, что потребность точно есть, о чем говорит «сильный сигнал» подтверждающий гипотезу). Гораздо важнее наличие эффективного решения, которое цепляет клиента. Именно уровень конверсии в продукт определяет его конечный успех.

Другое дело, если сигнал слабый.

Слабый сигнал лучше перепроверить количественно. Потому что ниша, в которой мы рассчитываем создать продукт, может оказаться слишком мала. И здесь инвестиции в количественную оценку уберегут нас от фатальной ошибки.

«Проверка гипотез в глубинном интервью» может звучать странно в контексте фундаментальной науки, но вполне имеет смысл в контексте практической разработки. Ключевая ценность такой «проверки»: достраивание, уточнение или трансформация объяснительных гипотез о потребностях и поведении клиентов, а также грубая проверка описательных гипотез.

Узнайте о том, как повысить достоверность проверки гипотез в глубинном интервью, пройдя мой тренинг Глубинное интервью.

Подписывайтесь на мой ТГ канал. Цветков. О клиентском опыте.

Цветков Сергей, СХ эксперт