Как проверять гипотезы с помощью проблемных интервью: пошаговая инструкция

Проблемное интервью — это быстрый способ проверки гипотез. Интервью помогает получить информацию о том, какие проблемы испытывают клиенты, как они их решают, что для них является ключевым фактором выбора и многое другое. Обратная связь «из первых уст» дает четкое представление, будет ли продукт востребованным и коммерчески успешным.

Многие ошибочно называют проблемные интервью — Customer Development. На самом деле, Customer Development — целая методология создания продуктов и проверки гипотез, а интервью — один из инструментов.

Это важно учитывать.

Без проблемных интервью легко вложить в продукт время и деньги, а на выходе — провалиться.

Так было с социальной сетью Path: у разработчиков была гипотеза, что пользователям нужна альтернатива Facebook: удобная, минималистичная, без информационного мусора. А на деле пользователи устанавливали приложение, немного пользовались и уходили обратно в Facebook. Проект просуществовал восемь лет, так и не сумев найти свою аудиторию.

В этом материале — подробное руководство и шаблоны инструментов для проведения проблемных интервью. Вы узнаете, как к ним подготовиться, с кем разговаривать, какие вопросы задавать и как сделать выводы из полученных результатов.

Автор материала Вадим Глазков, менеджер по работе с экспертами «Преакселератора ФРИИ» и эксперт по проблемным интервью.

Шаг 1. Сформулируйте гипотезы для проверки

Цель проблемных интервью — подтвердить или опровергнуть гипотезы, которые важны для дальнейших действий по продукту: запуска пилота, старта продаж, разработки новой функции. Поэтому начинаем с формулировки таких гипотез.

Правильная гипотеза состоит из предположения, действия для проверки, метрики результата и вывода. Давайте разберем на примерах.

Сетевой магазин. Гипотеза: минимум 20% офисов продаж узнают о новых акциях с задержкой больше трех дней, либо вообще не узнают — из-за этого продажи не растут, либо падают. Чтобы найти решение, мы проведем интервью с менеджерами из десяти точек продаж в одном регионе. Если семеро и больше подтвердят гипотезу, то сделаем пилотный запуск системы быстрого оповещения точек продаж об акциях через мессенджер, после чего проверим, как изменился уровень продаж.

Магазин книг на английском языке. Гипотеза: читатели испытывают трудности при заказе книг на Amazon из-за долгой и дорогой доставки. Мы проведем опрос среди людей, которые читают на английском. Если больше 70% ответят о долгой и/или дорогой доставке книг с Amazon, гипотезу считаем подтвержденной и запускаем тестовую рекламную кампанию на сайт по продаже книг с быстрой и недорогой доставкой книг в оригинале.

Результат этого шага: одна или несколько сформулированных и проверенных гипотез. Их подтверждение или опровержение будет результатом проблемных интервью.

Инструмент: таблица со списком гипотез для проблемного интервью

Занесите гипотезы в таблицу по описанной выше схеме: предположение, действие для проверки, метрика результата и вывод. Идеально сделать это вместе с командой, чтобы учесть все мнения.

Помимо четырех главных составляющих гипотезы, мы добавили в таблицу еще три параметра: веру в гипотезу, сложность реализации и эффект. Они помогут расставить гипотезы в порядке приоритетности и первым делом взять в работу наиболее перспективные.

Как проверять гипотезы с помощью проблемных интервью: пошаговая инструкция

Шаблон сделан в Гугл-таблицах. Чтобы им воспользоваться, перейдите по ссылке и сделайте копию таблицы на свой диск:

Шаг 2. Составьте список вопросов для интервью

Главное правило при проведении проблемного интервью — спрашивать о человеке и его проблемах, а не о продукте. Ваша задача — не продать, а понять аудиторию. В идеале вообще не стоит говорить о продукте — только о человеке и его опыте.

Неправильно


Я хочу сделать приложение, которое помогает найти хорошего поставщика стройматериалов. У вас возникали проблемы с выбором?

Сколько бы вы заплатили за решение этой проблемы?

Правильно

Как вы подбирали стройматериалы, когда делали ремонт?

На что вы обращали внимание при выборе репетитора по английскому языку?

Не спрашивайте напрямую: «А есть ли у вас такая-то проблема?» Вы как продуктолог и ваш потенциальный клиент понимаете слово «проблема» по-разному. Для вас это то, чем человек сейчас не удовлетворен, а для него — нечто серьезное вроде развода с супругом, долгов, болезней. Он явно не станет называть проблемой долгую авторизацию при оплате.

Вместо вопросов о проблемах побуждайте людей рассказывать истории. Это лучший способ понять, как они мыслят, с какими препятствиями сталкиваются и что чувствуют в интересующей вас ситуации. Если проблема у человека действительно есть, это всплывет в рассказе.

Неправильно


Наверное, когда вы искали жилье в Анапе, приложение показывало сотни, а то и тысячи вариантов.

Неудобно ориентироваться в таком количестве однотипных предложений, не так ли?

Правильно

Расскажите, как вы выбирали жилье для последней поездки.

Еще 5 типов вопросов, которые стоит включить в интервью:

«Когда вы в последний раз заказывали такси ( покупали еду на вынос, проводили переговоры с иностранными клиентами)?» — чтобы определить, насколько часто человек сталкивается с проблемой.

«Как вы выбирали жилье (искали сотрудника в HR-отдел)?» — чтобы определить, как человек справлялся с ситуацией ранее.

«Вы остались довольны результатом?» — чтобы понять, есть ли незакрытые потребности.

«Что было сложного в процессе?» — чтобы выявить явные сложности, возникающие в процессе.

«Как, по-вашему, можно улучшить процесс?» — чтобы выяснить скрытые проблемы.

Результат этого шага: ответы на вопросы помогут респонденту максимально подробно рассказать о своем опыте и приведут вас к правильным выводам.

Пример списка вопросов для проблемного интервью

Появилась гипотеза о том, что востребованным в России будет интернет-магазин книг на английском языке. Для читающих на английском он станет альтернативой Amazon, у которого долгая и дорогая доставка в Россию.

Чтобы проверить эту гипотезу, мы провели серию интервью с людьми, которые читают на английском. Список наших вопросов и пояснения к ним мы собрали в документ.

Шаг 3. Найдите респондентов

Где искать респондентов, зависит от стартовых условий бизнеса, для которого вы проводите проблемное интервью. Если у вас уже есть готовый продукт с лояльной аудиторией, задача проста: достаточно сделать по ним рассылку или прозвон: лояльные клиенты обычно соглашаются пообщаться. Если конверсия низкая, предложите бонус для тех, кто согласится на интервью: промокод, участие в закрытом тестировании, подарок.

Пример письма с приглашением на интервью
Пример письма с приглашением на интервью

Если у вас нет аудитории, воспользуйтесь универсальными методами поиска респондентов для проблемного интервью.

Друзья и знакомые, которые попадают под портрет вашей целевой аудитории или могут помочь договориться с теми, кто попадает.

Запрос в социальных сетях. Особенно это актуально для тех, у кого много подписчиков.

Как проверять гипотезы с помощью проблемных интервью: пошаговая инструкция

Места общения в интернете: тематические сообщества, чаты, форумы, которые активно использует ваша аудитория.

Как проверять гипотезы с помощью проблемных интервью: пошаговая инструкция

Лид-магниты. Обменивайте контакты людей на ценность, а потом сделайте рассылку с предложением ответить на несколько вопросов.

Подборка материалов, которую мы выпустили для тех, кто интересуется венчурными инвестициями. Когда нам понадобится провести интервью с представителями этой аудитории, мы сделаем рассылку по базе и получим контакты
Подборка материалов, которую мы выпустили для тех, кто интересуется венчурными инвестициями. Когда нам понадобится провести интервью с представителями этой аудитории, мы сделаем рассылку по базе и получим контакты

Конференции и выступления, на которые приходит ваша аудитория. Например, если клиенты — руководители строительных бригад, можно попытать счастья на выставке стройматериалов.

(Визуализация: фотография с конференции, где много людей. Часть людей как-то выделить цветом, стрелочкой, типа это возможные кандидаты для интервью).

Места скопления людей. Подходит не для каждой целевой аудитории. Если ваша аудитория — молодые мамы, можно подойти к ним на детской площадке и продуктивно поговорить. А вот останавливать людей в торговых центрах не лучшая идея: у них полно своих дел.

Холодные звонки и сообщения. Конверсия у этого способа низкая — из 50 контактов обычно получается 2—5 интервью.

С уважением относитесь ко времени респондентов. Не останавливайте и не отвлекайте людей, которые спешат или просто не настроены на разговор. Предложите респонденту какой-то бонус за ответы. Если договариваетесь с человеком о встрече, проговорите, сколько времени она займет. Предложите выбрать удобные ему время, способ связи, место встречи. В день встречи напомните об интервью: когда и где оно состоится. Уточните, все ли в силе: так вы увеличите конверсию.

Результат этого шага: список людей из вашей целевой аудитории, которые согласны на интервью. Чтобы получить показательные результаты, респондентов должно быть минимум 10 для B2C и 5 для B2B. Верхней планки нет: останавливаться нужно тогда, когда вы уже не получаете из интервью новую информацию.

Инструмент: список респондентов

Когда человек согласился на интервью, добавьте его в список респондентов. Зафиксируйте имя, способ связи, время проведения интервью. Укажите сегмент, если у вашей целевой аудитории их несколько. Например, если проводите проблемное интервью с родителями, можно сегментировать их по количеству или возрасту детей.

Мы сделали шаблон удобного списка респондентов. Вы можете добавить дополнительные характеристики, если необходимо.

Как проверять гипотезы с помощью проблемных интервью: пошаговая инструкция

Шаблон сделан в Гугл-таблицах. Чтобы им воспользоваться, перейдите по ссылке и сделайте копию таблицы на свой диск:

Шаг 4. Проведите серию интервью

Проводить интервью должны специалисты, максимально вовлеченные в продукт и активно участвующие в его разработке: в идеале — основатель компании или продуктолог. Если делегировать проведение интервью, велик риск потерять инсайты — когда специалист по продукту раскручивает разговор в неожиданную сторону и получает важную информацию от клиента.

Именно так было у разработчиков приложения для проектирования интерьеров. Особый упор в приложении делался на готовые дизайны, которые можно взять за основу. А в процессе общения выяснилось, что пользователям важнее всего возможность создать дизайн с нуля.

Нанятый интервьюер, скорее всего, задаст вопросы по списку и не увидит в ответах респондента соседних потребностей, которые может закрывать ваш продукт.

Нанятый интервьюер сделает вывод, что проблемы нет

— Расскажите, каким был ваш последний поход в ресторан?

— Ну, мы забронировали стол по телефону, пришли с семьей в назначенное время. Администратор приветливо встретил, отвел к столику. Официант все рассказал, мы сделали заказ, сидели общались с женой, пытались развлечь ребенка. Все как обычно, в общем.

Инхаус-интервьюер принесет команде дополнительную гипотезу о продукте

— Расскажите, каким был ваш последний поход в ресторан?

— Ну, мы забронировали стол по телефону, пришли с семьей в назначенное время. Администратор приветливо встретил, отвел к столику. Официант все рассказал, мы сделали заказ, сидели общались с женой, пытались развлечь ребенка. Все как обычно, в общем.

— Как ребенка развлекали?

— Да всем, что было под рукой: самолетики из салфеток делали, бумага с карандашами были с собой. Ну, он такой, непоседливый у нас.

— И что, все время ужины с семьей так проходят?

— Мы стараемся ходить в места с детской комнатой, а тут вот что-то не подумали об этом...

Чтобы понять, как проходит проблемное интервью, посмотрите видео. В нем эксперт ФРИИ по Customer Development Ринат Шамсиев проводит подробный разбор записи реального проблемного интервью.

Основа хорошего интервью — правильно подобранные респонденты и грамотные вопросы. Но есть еще несколько нюансов, которые помогут добиться близкого к идеалу интервью.

Возьмите на интервью конспектера. Это человек, который ведет записи и помогает интервьюеру не отвлекаться от беседы. Он также дает обратную связь, чтобы улучшить следующее интервью.

Установите эмоциональный контакт. Важно, чтобы человек был к вам расположен и чувствовал себя расслабленно. Для этого нужно улучшать навык small talk. Представьтесь, задайте человеку несколько вопросов о нем, улыбайтесь и шутите, когда это уместно.

Побуждайте рассказывать истории. Для этого задавайте открытые вопросы — то есть те, которые подразумевают развернутый ответ, а не просто «да» или «нет». Имейте в виду, что вопросы вроде «вы покупаете продукты в магазине у дома или на рынке?» тоже закрытые, потому что вы подсказываете респонденту варианты ответа.

Дайте человеку возможность подумать и сформулировать ответ своими словами. Хорошее проблемное интервью идет не меньше 20 минут из-за того, что человек на нем рассуждает и рассказывает истории из жизни, а это небыстро.

Уточняйте детали. Человеку свойственно упрощать и опускать некоторые вещи — но вам нужно получить от респондента максимум подробностей.

Вот вы говорите, что оплатили заказ и вам перезвонил менеджер. А как происходила оплата? Удобен ли вам был этот способ оплаты? Как долго вы ждали звонка менеджера? Нужен ли вам был этот звонок?

Как часто вы ходите в кинотеатры? А какой фильм смотрели там в последний раз? А до этого когда ходили? А как часто вообще кино смотрите?

«Что я не спросил, а вы хотели бы поделиться?» Этот вопрос в конце интервью может вскрыть полезную деталь, о которой вы не подозревали.

Возьмите полезные контакты. Возможно, у респондента есть знакомые, которые тоже смогут дать вам интервью. Особенно это актуально для сферы B2B, где довольно сложно без рекомендаций выйти на лиц, принимающих решение.

Результат этого шага: проведены все запланированные встречи, ответы респондентов зафиксированы.

Шаг 5. Систематизируйте данные

Большинство выводов получится сделать в ходе интервью. Но не менее важна статистическая выкладка: какой процент аудитории отвечает на вопросы определенным образом. Чтобы ее сделать, нужно свести ответы к единой форме.

Для этого сделайте таблицу и занесите в нее ответы каждого респондента. Чтобы было удобно анализировать результаты, однотипные ответы записывайте одинаково.

Что говорят люди

Зашел на сайт с телефона, еле настроил фильтры, постоянно слетали условия.

У меня Айфон СЕ, экран маленький, приходилось постоянно зумить картинку.

Не нашел, как на телефоне поставить сортировку по цене. Пришлось все делать заново на компьютере.

Как это записать в таблице

Неудобная мобильная версия.

Результат этого шага: таблица со всеми ответами. Она будет основой для статистического анализа ответов и формулировки выводов.

Инструмент: таблица для систематизации данных с проблемных интервью

Когда все интервью находятся в одном месте, легко увидеть закономерности и тенденции. О какой проблеме говорят чаще всего? Какую проблему вовсе не считают проблемой? Как отличаются ответы людей из разных сегментов целевой аудитории?

Ответы на эти и многие другие вопросы можно получить, если свести все результаты проблемных интервью в одном месте. Предлагаем воспользоваться для этого шаблоном нашей таблицы.

Как проверять гипотезы с помощью проблемных интервью: пошаговая инструкция

Внутри — пустой шаблон и пример заполнения. Шаблон сделан в Гугл-таблицах. Чтобы им воспользоваться, перейдите по ссылке и сделайте копию таблицы на свой диск:

Шаг 6. Примите решение о гипотезе

Результат проблемного интервью — бинарное решение о том, подтвердилась гипотеза или нет.

Как проверять гипотезы с помощью проблемных интервью: пошаговая инструкция

По результатам исследования нужно провести встречу с командой, где каждый поделится своими инсайтами от общения с аудиторией: что удалось узнать на интервью из того, что не знали раньше. Ведь проблемные интервью дают не только подтверждения или опровержения гипотез, но и множество другой пользы:

Намеки на другие функции и продукты, которые актуальны для ваших клиентов.

Повод для смены позиционирования: во время интервью порой выясняется, что ваш продукт может закрывать не ту боль, которую вы предполагали изначально.

Рычаги для оптимизации воронки, по которой идет человек во время использования продукта: например, вы можете выяснить, что кто-то не совершил покупку, потому что долго шла СМС с кодом подтверждения оплаты.

Информацию для улучшения рекламных кампаний: люди говорят о своих проблемах определенными словами, которые можно использовать в рекламе для увеличения ее эффективности.

Памятка: проблемное интервью в 6 шагах

  1. Сформулировать гипотезы по схеме: предположение → действие для проверки → метрика результата → вывод. Зафиксировать их в таблице.
  2. Составить список вопросов, которые помогут понять проблемы потенциальных клиентов. Вопросы должны быть о человеке, а не о продукте или идее.
  3. Найти респондентов из числа ЦА: среди знакомых, в социальных сетях или на профильных мероприятиях. Назначить не менее пяти интервью, если ваш продукт в B2B, и не менее десяти, если в B2C. Список респондентов и всю информацию о них занести в таблицу.
  4. Провести серию интервью. Важно, чтобы интервьюером был человек, который глубоко в продукте. Его задача — расспросить респондента так, чтобы получить максимум подробных историй о его жизненном опыте.
  5. Занести ответы со всех интервью в одну таблицу, чтобы получить статистическую информацию об ответах аудитории. Поработать над единообразием формулировок, чтобы было проще анализировать ответы.
  6. На основе информации от вашей аудитории принять решение: подтвердилась гипотеза или нет.
7575
27 комментариев

Отличные советы по ведению интервью. Видно, что выстраданные. Но от корневого утверждения статьи у меня дергается глаз.

1.ВАЖНО: Мы не можем проверять гипотезы путем качественных методов. Подтверждение или опровержение гипотез — это вотчина количественных методов.
Путем проблемных интервью создаем гипотезы, а не проверяем их. В рамках качественной методологии 7 человек из 10 это не 70%, а именно 7 человек каждый со своим бекграундом, опытом и историей, в которой полезно найти повторяющийся паттерн. Возможно, я жертва социологического образования. с радостью бы обсудил этот момент.

2. По поводу анализа в таблицах. Тут тоже большой риск свести качественные данные к количественным показателям. Долго искал более удобный способ анализа высказываний. Сейчас под эту задачу котирую Airtable. Сервис позволяет делать это более правильно с точки зрения классического метода анализа текста. тут даже можно реализовать герменевтический круг, не зная, что это такое. Разобрал подход на примере анализа открытых ответов на вопросы https://vc.ru/life/153762-kak-ya-iskal-produktovye-idei-pri-pomoshchi-onlayn-oprosa-6-etapov-i-shablon-analiza

9

Кирилл, порекомендуете хорошие академические книги по количественным и качественным методам социсследований? Просто иногда возникает впечатление, что интервью и т.п. штуки в продуктовых исследованиях — это такая урезанная  и немного обросшая мифами теория из социологии.

2

Коллеги, а как вы подходите к вопросу репрезентативной выборки? Как оценить, какое количество людей нам нужно для того, чтобы в последствии сделать корректный тот самый бинарный вывод. 

Классная статья

4

Спасибо вам за обратную связь, мы старались)

4

Очень полезная статья! Спасибо, что поделились таблицами и примерами!)

4

Несколько вопросов. Наверное, риторических
1. KPI в процентах. Правильно я понимаю, что если 6 из 10 опрошенных выразит неудовлетворенность качеством продуктов в магазинах, мы не запускаем ферму. А если 8 из 10 выразит - то запускаем ферму? То есть, решение запускать/не запускать основывается на мнении двух случайно найденных знакомых или знакомых знакомых. 
2. На вопрос "нужно ли проводить интервью, чтобы узнать, что есть люди, которые хотят питаться свежими овощами и не удовлетворены при этом качеством продуктов в магазине" - ответ очевиден. Не нужно. Получается, что проблемные интервью в этом примере нужны именно для того, чтобы посчитать? С минимумом 5-10 интервью?
3. Примерно тот же вопрос про "статистический анализ" результатов. Анализируем статистически, начиная с 5 интервью. С выборкой "кого найдем, те и ок"?
4. Есть свои плюсы и минусы в проведении своими силами и в привлечении специалиста со стороны. Вывод о том, что интервьюер со стороны "скорее всего" читает вопросы по списку, что в приведенном примере обязательно не задаст доп вопроса - на чем основывается? Чисто теоретически в приведенном примере никак не может быть наоборот, интервьюер сторонний задаст вопрос, а продакт - не задаст? 
5. Сколько книг вы прочитали за год, сколько вы за них заплатили - это точно хорошие вопросы? Даже (особенно) если хотим ответы статистически обрабатывать? То есть, если это спросить, то конечно, ответят. Но насколько этому можно верить, насколько мы уверены, что люди это помнят? (не говоря о том, что такое "год", это уже придирки мелкие) 

4