Как проверять гипотезы с помощью проблемных интервью: пошаговая инструкция

Проблемное интервью — это быстрый способ проверки гипотез. Интервью помогает получить информацию о том, какие проблемы испытывают клиенты, как они их решают, что для них является ключевым фактором выбора и многое другое. Обратная связь «из первых уст» дает четкое представление, будет ли продукт востребованным и коммерчески успешным.

Многие ошибочно называют проблемные интервью — Customer Development. На самом деле, Customer Development — целая методология создания продуктов и проверки гипотез, а интервью — один из инструментов.

Это важно учитывать.

Без проблемных интервью легко вложить в продукт время и деньги, а на выходе — провалиться.

Так было с социальной сетью Path: у разработчиков была гипотеза, что пользователям нужна альтернатива Facebook: удобная, минималистичная, без информационного мусора. А на деле пользователи устанавливали приложение, немного пользовались и уходили обратно в Facebook. Проект просуществовал восемь лет, так и не сумев найти свою аудиторию.

В этом материале — подробное руководство и шаблоны инструментов для проведения проблемных интервью. Вы узнаете, как к ним подготовиться, с кем разговаривать, какие вопросы задавать и как сделать выводы из полученных результатов.

Автор материала Вадим Глазков, менеджер по работе с экспертами «Преакселератора ФРИИ» и эксперт по проблемным интервью.

Шаг 1. Сформулируйте гипотезы для проверки

Цель проблемных интервью — подтвердить или опровергнуть гипотезы, которые важны для дальнейших действий по продукту: запуска пилота, старта продаж, разработки новой функции. Поэтому начинаем с формулировки таких гипотез.

Правильная гипотеза состоит из предположения, действия для проверки, метрики результата и вывода. Давайте разберем на примерах.

Сетевой магазин. Гипотеза: минимум 20% офисов продаж узнают о новых акциях с задержкой больше трех дней, либо вообще не узнают — из-за этого продажи не растут, либо падают. Чтобы найти решение, мы проведем интервью с менеджерами из десяти точек продаж в одном регионе. Если семеро и больше подтвердят гипотезу, то сделаем пилотный запуск системы быстрого оповещения точек продаж об акциях через мессенджер, после чего проверим, как изменился уровень продаж.

Магазин книг на английском языке. Гипотеза: читатели испытывают трудности при заказе книг на Amazon из-за долгой и дорогой доставки. Мы проведем опрос среди людей, которые читают на английском. Если больше 70% ответят о долгой и/или дорогой доставке книг с Amazon, гипотезу считаем подтвержденной и запускаем тестовую рекламную кампанию на сайт по продаже книг с быстрой и недорогой доставкой книг в оригинале.

Результат этого шага: одна или несколько сформулированных и проверенных гипотез. Их подтверждение или опровержение будет результатом проблемных интервью.

Инструмент: таблица со списком гипотез для проблемного интервью

Занесите гипотезы в таблицу по описанной выше схеме: предположение, действие для проверки, метрика результата и вывод. Идеально сделать это вместе с командой, чтобы учесть все мнения.

Помимо четырех главных составляющих гипотезы, мы добавили в таблицу еще три параметра: веру в гипотезу, сложность реализации и эффект. Они помогут расставить гипотезы в порядке приоритетности и первым делом взять в работу наиболее перспективные.

Шаблон сделан в Гугл-таблицах. Чтобы им воспользоваться, перейдите по ссылке и сделайте копию таблицы на свой диск:

Шаг 2. Составьте список вопросов для интервью

Главное правило при проведении проблемного интервью — спрашивать о человеке и его проблемах, а не о продукте. Ваша задача — не продать, а понять аудиторию. В идеале вообще не стоит говорить о продукте — только о человеке и его опыте.

Неправильно


Я хочу сделать приложение, которое помогает найти хорошего поставщика стройматериалов. У вас возникали проблемы с выбором?

Сколько бы вы заплатили за решение этой проблемы?

Правильно

Как вы подбирали стройматериалы, когда делали ремонт?

На что вы обращали внимание при выборе репетитора по английскому языку?

Не спрашивайте напрямую: «А есть ли у вас такая-то проблема?» Вы как продуктолог и ваш потенциальный клиент понимаете слово «проблема» по-разному. Для вас это то, чем человек сейчас не удовлетворен, а для него — нечто серьезное вроде развода с супругом, долгов, болезней. Он явно не станет называть проблемой долгую авторизацию при оплате.

Вместо вопросов о проблемах побуждайте людей рассказывать истории. Это лучший способ понять, как они мыслят, с какими препятствиями сталкиваются и что чувствуют в интересующей вас ситуации. Если проблема у человека действительно есть, это всплывет в рассказе.

Неправильно


Наверное, когда вы искали жилье в Анапе, приложение показывало сотни, а то и тысячи вариантов.

Неудобно ориентироваться в таком количестве однотипных предложений, не так ли?

Правильно

Расскажите, как вы выбирали жилье для последней поездки.

Еще 5 типов вопросов, которые стоит включить в интервью:

«Когда вы в последний раз заказывали такси ( покупали еду на вынос, проводили переговоры с иностранными клиентами)?» — чтобы определить, насколько часто человек сталкивается с проблемой.

«Как вы выбирали жилье (искали сотрудника в HR-отдел)?» — чтобы определить, как человек справлялся с ситуацией ранее.

«Вы остались довольны результатом?» — чтобы понять, есть ли незакрытые потребности.

«Что было сложного в процессе?» — чтобы выявить явные сложности, возникающие в процессе.

«Как, по-вашему, можно улучшить процесс?» — чтобы выяснить скрытые проблемы.

Результат этого шага: ответы на вопросы помогут респонденту максимально подробно рассказать о своем опыте и приведут вас к правильным выводам.

Пример списка вопросов для проблемного интервью

Появилась гипотеза о том, что востребованным в России будет интернет-магазин книг на английском языке. Для читающих на английском он станет альтернативой Amazon, у которого долгая и дорогая доставка в Россию.

Чтобы проверить эту гипотезу, мы провели серию интервью с людьми, которые читают на английском. Список наших вопросов и пояснения к ним мы собрали в документ.

Шаг 3. Найдите респондентов

Где искать респондентов, зависит от стартовых условий бизнеса, для которого вы проводите проблемное интервью. Если у вас уже есть готовый продукт с лояльной аудиторией, задача проста: достаточно сделать по ним рассылку или прозвон: лояльные клиенты обычно соглашаются пообщаться. Если конверсия низкая, предложите бонус для тех, кто согласится на интервью: промокод, участие в закрытом тестировании, подарок.

Пример письма с приглашением на интервью

Если у вас нет аудитории, воспользуйтесь универсальными методами поиска респондентов для проблемного интервью.

Друзья и знакомые, которые попадают под портрет вашей целевой аудитории или могут помочь договориться с теми, кто попадает.

Запрос в социальных сетях. Особенно это актуально для тех, у кого много подписчиков.

Места общения в интернете: тематические сообщества, чаты, форумы, которые активно использует ваша аудитория.

Лид-магниты. Обменивайте контакты людей на ценность, а потом сделайте рассылку с предложением ответить на несколько вопросов.

Подборка материалов, которую мы выпустили для тех, кто интересуется венчурными инвестициями. Когда нам понадобится провести интервью с представителями этой аудитории, мы сделаем рассылку по базе и получим контакты

Конференции и выступления, на которые приходит ваша аудитория. Например, если клиенты — руководители строительных бригад, можно попытать счастья на выставке стройматериалов.

(Визуализация: фотография с конференции, где много людей. Часть людей как-то выделить цветом, стрелочкой, типа это возможные кандидаты для интервью).

Места скопления людей. Подходит не для каждой целевой аудитории. Если ваша аудитория — молодые мамы, можно подойти к ним на детской площадке и продуктивно поговорить. А вот останавливать людей в торговых центрах не лучшая идея: у них полно своих дел.

Холодные звонки и сообщения. Конверсия у этого способа низкая — из 50 контактов обычно получается 2—5 интервью.

С уважением относитесь ко времени респондентов. Не останавливайте и не отвлекайте людей, которые спешат или просто не настроены на разговор. Предложите респонденту какой-то бонус за ответы. Если договариваетесь с человеком о встрече, проговорите, сколько времени она займет. Предложите выбрать удобные ему время, способ связи, место встречи. В день встречи напомните об интервью: когда и где оно состоится. Уточните, все ли в силе: так вы увеличите конверсию.

Результат этого шага: список людей из вашей целевой аудитории, которые согласны на интервью. Чтобы получить показательные результаты, респондентов должно быть минимум 10 для B2C и 5 для B2B. Верхней планки нет: останавливаться нужно тогда, когда вы уже не получаете из интервью новую информацию.

Инструмент: список респондентов

Когда человек согласился на интервью, добавьте его в список респондентов. Зафиксируйте имя, способ связи, время проведения интервью. Укажите сегмент, если у вашей целевой аудитории их несколько. Например, если проводите проблемное интервью с родителями, можно сегментировать их по количеству или возрасту детей.

Мы сделали шаблон удобного списка респондентов. Вы можете добавить дополнительные характеристики, если необходимо.

Шаблон сделан в Гугл-таблицах. Чтобы им воспользоваться, перейдите по ссылке и сделайте копию таблицы на свой диск:

Шаг 4. Проведите серию интервью

Проводить интервью должны специалисты, максимально вовлеченные в продукт и активно участвующие в его разработке: в идеале — основатель компании или продуктолог. Если делегировать проведение интервью, велик риск потерять инсайты — когда специалист по продукту раскручивает разговор в неожиданную сторону и получает важную информацию от клиента.

Именно так было у разработчиков приложения для проектирования интерьеров. Особый упор в приложении делался на готовые дизайны, которые можно взять за основу. А в процессе общения выяснилось, что пользователям важнее всего возможность создать дизайн с нуля.

Нанятый интервьюер, скорее всего, задаст вопросы по списку и не увидит в ответах респондента соседних потребностей, которые может закрывать ваш продукт.

Нанятый интервьюер сделает вывод, что проблемы нет

— Расскажите, каким был ваш последний поход в ресторан?

— Ну, мы забронировали стол по телефону, пришли с семьей в назначенное время. Администратор приветливо встретил, отвел к столику. Официант все рассказал, мы сделали заказ, сидели общались с женой, пытались развлечь ребенка. Все как обычно, в общем.

Инхаус-интервьюер принесет команде дополнительную гипотезу о продукте

— Расскажите, каким был ваш последний поход в ресторан?

— Ну, мы забронировали стол по телефону, пришли с семьей в назначенное время. Администратор приветливо встретил, отвел к столику. Официант все рассказал, мы сделали заказ, сидели общались с женой, пытались развлечь ребенка. Все как обычно, в общем.

— Как ребенка развлекали?

— Да всем, что было под рукой: самолетики из салфеток делали, бумага с карандашами были с собой. Ну, он такой, непоседливый у нас.

— И что, все время ужины с семьей так проходят?

— Мы стараемся ходить в места с детской комнатой, а тут вот что-то не подумали об этом...

Чтобы понять, как проходит проблемное интервью, посмотрите видео. В нем эксперт ФРИИ по Customer Development Ринат Шамсиев проводит подробный разбор записи реального проблемного интервью.

Основа хорошего интервью — правильно подобранные респонденты и грамотные вопросы. Но есть еще несколько нюансов, которые помогут добиться близкого к идеалу интервью.

Возьмите на интервью конспектера. Это человек, который ведет записи и помогает интервьюеру не отвлекаться от беседы. Он также дает обратную связь, чтобы улучшить следующее интервью.

Установите эмоциональный контакт. Важно, чтобы человек был к вам расположен и чувствовал себя расслабленно. Для этого нужно улучшать навык small talk. Представьтесь, задайте человеку несколько вопросов о нем, улыбайтесь и шутите, когда это уместно.

Побуждайте рассказывать истории. Для этого задавайте открытые вопросы — то есть те, которые подразумевают развернутый ответ, а не просто «да» или «нет». Имейте в виду, что вопросы вроде «вы покупаете продукты в магазине у дома или на рынке?» тоже закрытые, потому что вы подсказываете респонденту варианты ответа.

Дайте человеку возможность подумать и сформулировать ответ своими словами. Хорошее проблемное интервью идет не меньше 20 минут из-за того, что человек на нем рассуждает и рассказывает истории из жизни, а это небыстро.

Уточняйте детали. Человеку свойственно упрощать и опускать некоторые вещи — но вам нужно получить от респондента максимум подробностей.

Вот вы говорите, что оплатили заказ и вам перезвонил менеджер. А как происходила оплата? Удобен ли вам был этот способ оплаты? Как долго вы ждали звонка менеджера? Нужен ли вам был этот звонок?

Как часто вы ходите в кинотеатры? А какой фильм смотрели там в последний раз? А до этого когда ходили? А как часто вообще кино смотрите?

«Что я не спросил, а вы хотели бы поделиться?» Этот вопрос в конце интервью может вскрыть полезную деталь, о которой вы не подозревали.

Возьмите полезные контакты. Возможно, у респондента есть знакомые, которые тоже смогут дать вам интервью. Особенно это актуально для сферы B2B, где довольно сложно без рекомендаций выйти на лиц, принимающих решение.

Результат этого шага: проведены все запланированные встречи, ответы респондентов зафиксированы.

Шаг 5. Систематизируйте данные

Большинство выводов получится сделать в ходе интервью. Но не менее важна статистическая выкладка: какой процент аудитории отвечает на вопросы определенным образом. Чтобы ее сделать, нужно свести ответы к единой форме.

Для этого сделайте таблицу и занесите в нее ответы каждого респондента. Чтобы было удобно анализировать результаты, однотипные ответы записывайте одинаково.

Что говорят люди

Зашел на сайт с телефона, еле настроил фильтры, постоянно слетали условия.

У меня Айфон СЕ, экран маленький, приходилось постоянно зумить картинку.

Не нашел, как на телефоне поставить сортировку по цене. Пришлось все делать заново на компьютере.

Как это записать в таблице

Неудобная мобильная версия.

Результат этого шага: таблица со всеми ответами. Она будет основой для статистического анализа ответов и формулировки выводов.

Инструмент: таблица для систематизации данных с проблемных интервью

Когда все интервью находятся в одном месте, легко увидеть закономерности и тенденции. О какой проблеме говорят чаще всего? Какую проблему вовсе не считают проблемой? Как отличаются ответы людей из разных сегментов целевой аудитории?

Ответы на эти и многие другие вопросы можно получить, если свести все результаты проблемных интервью в одном месте. Предлагаем воспользоваться для этого шаблоном нашей таблицы.

Внутри — пустой шаблон и пример заполнения. Шаблон сделан в Гугл-таблицах. Чтобы им воспользоваться, перейдите по ссылке и сделайте копию таблицы на свой диск:

Шаг 6. Примите решение о гипотезе

Результат проблемного интервью — бинарное решение о том, подтвердилась гипотеза или нет.

По результатам исследования нужно провести встречу с командой, где каждый поделится своими инсайтами от общения с аудиторией: что удалось узнать на интервью из того, что не знали раньше. Ведь проблемные интервью дают не только подтверждения или опровержения гипотез, но и множество другой пользы:

Намеки на другие функции и продукты, которые актуальны для ваших клиентов.

Повод для смены позиционирования: во время интервью порой выясняется, что ваш продукт может закрывать не ту боль, которую вы предполагали изначально.

Рычаги для оптимизации воронки, по которой идет человек во время использования продукта: например, вы можете выяснить, что кто-то не совершил покупку, потому что долго шла СМС с кодом подтверждения оплаты.

Информацию для улучшения рекламных кампаний: люди говорят о своих проблемах определенными словами, которые можно использовать в рекламе для увеличения ее эффективности.

Памятка: проблемное интервью в 6 шагах

  1. Сформулировать гипотезы по схеме: предположение → действие для проверки → метрика результата → вывод. Зафиксировать их в таблице.
  2. Составить список вопросов, которые помогут понять проблемы потенциальных клиентов. Вопросы должны быть о человеке, а не о продукте или идее.
  3. Найти респондентов из числа ЦА: среди знакомых, в социальных сетях или на профильных мероприятиях. Назначить не менее пяти интервью, если ваш продукт в B2B, и не менее десяти, если в B2C. Список респондентов и всю информацию о них занести в таблицу.
  4. Провести серию интервью. Важно, чтобы интервьюером был человек, который глубоко в продукте. Его задача — расспросить респондента так, чтобы получить максимум подробных историй о его жизненном опыте.
  5. Занести ответы со всех интервью в одну таблицу, чтобы получить статистическую информацию об ответах аудитории. Поработать над единообразием формулировок, чтобы было проще анализировать ответы.
  6. На основе информации от вашей аудитории принять решение: подтвердилась гипотеза или нет.
0
27 комментариев
Написать комментарий...
Kirill Sherstobitov

Отличные советы по ведению интервью. Видно, что выстраданные. Но от корневого утверждения статьи у меня дергается глаз.

1.ВАЖНО: Мы не можем проверять гипотезы путем качественных методов. Подтверждение или опровержение гипотез — это вотчина количественных методов.
Путем проблемных интервью создаем гипотезы, а не проверяем их. В рамках качественной методологии 7 человек из 10 это не 70%, а именно 7 человек каждый со своим бекграундом, опытом и историей, в которой полезно найти повторяющийся паттерн. Возможно, я жертва социологического образования. с радостью бы обсудил этот момент.

2. По поводу анализа в таблицах. Тут тоже большой риск свести качественные данные к количественным показателям. Долго искал более удобный способ анализа высказываний. Сейчас под эту задачу котирую Airtable. Сервис позволяет делать это более правильно с точки зрения классического метода анализа текста. тут даже можно реализовать герменевтический круг, не зная, что это такое. Разобрал подход на примере анализа открытых ответов на вопросы https://vc.ru/life/153762-kak-ya-iskal-produktovye-idei-pri-pomoshchi-onlayn-oprosa-6-etapov-i-shablon-analiza

Ответить
Развернуть ветку
Тимур Тукаев

Кирилл, порекомендуете хорошие академические книги по количественным и качественным методам социсследований? Просто иногда возникает впечатление, что интервью и т.п. штуки в продуктовых исследованиях — это такая урезанная  и немного обросшая мифами теория из социологии.

Ответить
Развернуть ветку
Kirill Sherstobitov

Иногда есть ощущение, что продуктовые и ux исследования застряли на уровне 19 века. Но в большинстве случаев имеем дело с годными практическими выжимками. Никаких особых секретов социологическая литература не содержит. проблема скорее в том, что иногда правила используются без понимания причин. Исследования превратились местами в карго культ.

Из первого, что приходит в голову
1.Квале "Исследовательское интервью". автор психолог, но все равно закладывает очень ценный образ интервьюера как попутчика, а не шахтера.

2.Белановский "Глубокое интервью"

3.Любая книга или статья по теме Дмитрия Рогозина. Это один из лучших полевых интервьюеров.

Для понимания опросов полезно понять саму идею выборки. вот нашел статью с кучей важных тезисов

Ответить
Развернуть ветку
Павел Борисов

Коллеги, а как вы подходите к вопросу репрезентативной выборки? Как оценить, какое количество людей нам нужно для того, чтобы в последствии сделать корректный тот самый бинарный вывод. 

Ответить
Развернуть ветку
Kirill Sherstobitov

Павел, это сложный вопрос. все зависит от аудитории, доли признака, желаемой ошибки выборки.

Вот интересный вебинар по теме. Во второй части очень наглядное объяснение по выборке https://www.youtube.com/watch?v=6bV5U_mXvc0 

Ответить
Развернуть ветку
Алексей Чуриков

Классная статья

Ответить
Развернуть ветку
Glazkov Vadim

Спасибо вам за обратную связь, мы старались)

Ответить
Развернуть ветку
Елизавета Дюкарева

Очень полезная статья! Спасибо, что поделились таблицами и примерами!)

Ответить
Развернуть ветку
Владимир Изгаршев

Несколько вопросов. Наверное, риторических
1. KPI в процентах. Правильно я понимаю, что если 6 из 10 опрошенных выразит неудовлетворенность качеством продуктов в магазинах, мы не запускаем ферму. А если 8 из 10 выразит - то запускаем ферму? То есть, решение запускать/не запускать основывается на мнении двух случайно найденных знакомых или знакомых знакомых. 
2. На вопрос "нужно ли проводить интервью, чтобы узнать, что есть люди, которые хотят питаться свежими овощами и не удовлетворены при этом качеством продуктов в магазине" - ответ очевиден. Не нужно. Получается, что проблемные интервью в этом примере нужны именно для того, чтобы посчитать? С минимумом 5-10 интервью?
3. Примерно тот же вопрос про "статистический анализ" результатов. Анализируем статистически, начиная с 5 интервью. С выборкой "кого найдем, те и ок"?
4. Есть свои плюсы и минусы в проведении своими силами и в привлечении специалиста со стороны. Вывод о том, что интервьюер со стороны "скорее всего" читает вопросы по списку, что в приведенном примере обязательно не задаст доп вопроса - на чем основывается? Чисто теоретически в приведенном примере никак не может быть наоборот, интервьюер сторонний задаст вопрос, а продакт - не задаст? 
5. Сколько книг вы прочитали за год, сколько вы за них заплатили - это точно хорошие вопросы? Даже (особенно) если хотим ответы статистически обрабатывать? То есть, если это спросить, то конечно, ответят. Но насколько этому можно верить, насколько мы уверены, что люди это помнят? (не говоря о том, что такое "год", это уже придирки мелкие) 

Ответить
Развернуть ветку
Glazkov Vadim

Владимир, ответил вам в комментарии ниже. 

Ответить
Развернуть ветку
Badumirocon

Почему для B2B 5 интервью, а для B2C 10?

Ответить
Развернуть ветку
Glazkov Vadim

Это обуславливается спецификой b2b-респондентов.
- Клиентские сегменты в b2b гораздо у́же, поэтому можно достовернее сделать вывод по меньшему количеству интервью
- Проблемы в b2b лучше оцифровываются и переводятся в деньги, и из них проще делать выводы
- Их сложнее найти, поэтому "дешевле" для продукта сделать вывод из интервью с 5 респондентами и переходить к следующим шагам: созданию прототипа, офферам или продажам, чем искать 5 дополнительных

Но помните, что респондентов должно быть минимум (!) 5. То есть, это не рекомендуемое число интервью, а минимальное, из которого можно делать хоть какие-нибудь выводы. 

Ответить
Развернуть ветку
Игорь Саевец

Присоединяюсь к Вадиму Глазкову (все верно), + надо делать столько интервью, пока большая половина не говорит одно и тоже. Если все говорят разное, то:
или выбрали неправильную ца для интервью
или проблемы нету

Ответить
Развернуть ветку
Antony Minkowski

Спасибо да примеры и таблицы!

Ответить
Развернуть ветку
Glazkov Vadim

1. Конечно, из данных 10 интервью нельзя делать вывод, запускать ли производство ферм. На них можно сделать вывод о том, подтвердилась ли наша гипотеза, а из этого - спроектировать следующее действие, например, попытка продажи, создание прототипа/pitch mvp, запуск предзаказа ферм. 
В этом случае 8 из 10 гораздо достовернее, чем 6. 
И поправлю вас в том, что мы не принимаем решение на основании мнений - решения лучше принимать на основании фактов и данных.

2. В такой постановке вопроса ответ действительно очевиден. Но гораздо менее очевидны ответы на следующие вопросы:
- Это просто "хотелка", или реальная проблема?
- У какого портрета клиента она возникает, у кого более выражена, у кого - менее. 
- Готовы ли люди платить за ее удовлетворение
- Какими словами люди описывают ее (это важно, чтобы формировать коммуникацию с клиентом на его языке).
Ответы на них и нужно получить на интервью. 

3.  Не понимаю ваш вопрос.
Но здесь важно отметить, чтобы правильно понимать друг друга, что на 5-10 интервью сделать строгий математический статистический анализ невозможно.
- Это качественное, а не количественное исследование: нам важно ответить на вопрос "Что происходит?", а не "Как часто встречается?"
Здесь слово "статистический" употребляется не в математическом смысле. Нам важно понять наиболее часто повторяющиеся шаблоны поведения людей. А это из 10 интервью сделать можно при достаточно конкретно определенной целевой аудитории.

4.  Такой вывод основывается на опыте работы с продуктовыми командами. 
Может быть и наоборот чисто теоретически, но практика показывает, что инхаус-интервьюер приносит с интервью данные на порядок лучшего качества. 

5. Люди скорее всего помнят, что случилось за последний год, и смогут посчитать, если этого было не очень много. В примере с книгами период в год кажется правильным, потому что покупка англоязычных книг в оригинале происходит до пяти раз в год - клиенту не составляет труда это вспомнить и сосчитать, и этому можно верить. 
Если что-то происходит гораздо чаще, спрашивайте о кейсе последнего использования, об опыте за последнюю неделю - это не возбраняется.

Ответить
Развернуть ветку
Владимир Изгаршев

Спасибо за ответ. Мы, мне кажется, во многом сходимся. Но некоторые моменты я совсем не понимаю
1. "из данных 10 интервью нельзя делать вывод о том, запускать ли производство ферм" - но в шаблоне именно это сказано. "Что делаем, если гипотеза подтвердится" = "запускаем производство домашних ферм". 
2. Оговорки про "спроектировать следующее действие" - не очень помогают, все равно это следующие шаги, уже направленные на запуск, уже какая-то подготовка запуска.
3. Ваша изначальная гипотеза (кстати у вас там две отдельных гипотезы слиты в одну, и KPI только для одной из них) - не требует ни 10, ни 20, ни 2 интервью для подтверждения. Ответ там совершенно очевидный. Другие вопросы - про хотелки. про портреты и т.п., да, можно для этого проводить интервью. Но почему тогда в гипотезе написано то, что написано, а не то, что вы на самом деле хотите узнать? 
4. Вот мы поговорили с 10 респондентами. Они нам что-то сказали. Это бла-бла, это их мнения, это данные 10 интервью, это факт (ну, если мы уверены, что то что нам сказали = факт)? Как это ни назови, вы принимаете решение на основе 10 интервью. Вот правда вы и сами так делаете и читателям рекомендуете?
5. "8 из 10 гораздо достовернее, чем 6" плюс рассказ в статье про статистический анализ плюс рассказ что "понять наиболее часто повторяющиеся шаблоны поведения людей. А это из 10 интервью сделать можно". Есть классическое и общепринятое деление на качественные и количественные методы. Считать - это про количественные. В стандартном понимании 2 из 10, 6 из 10 и 8 из 10 считающих, что (например) качество овощей в магазинах оставляет желать лучшего - это ровно одно и то же. "Такое мнение имеет место". Как часто оно встречается - это про количественные исследования. Вы тоже пишите, что качественные это не про считать. Но неоднократно предлагаете считать. Вводя загадочные нематематические и нестрогие статистические методы (боюсь спросить, что это такое).  Как ни назови, статистические в вашем понимании (в самой статье кстати никак не отмечено, что статистические методы - это что-то не то же самое, что под этим обычно понимается) - это считать по головам. 6 из 10 - мало, 8 из 10 - уже ок. 
Я бы только заметил - особенно для тех, кто пишет "классная статья" - считать по головам в качественных исследованиях вообще и в проблемных интервью в частности = не общепринятый метод. Я бы сказал, как минимум, не бесспорный :) А там, конечно, хозяин - барин. Если кто интуитивно, исходя из здравого смысла, согласен, что 6 из 10 - мало, а 8 из 10 - в самый раз, то за свои деньги чего бы и не запустить домашние фермы. Уж по крайней мере 10 интервью - лучше чем монетку кинуть. А про количественные методы статью еще не публиковали :)
6. Про внешнего интервьюера понял. Но все же, раз чисто теоретически вы согласны с тем, что и внешний интервьюер чисто теоретически может задавать правильные вопросы. Может быть, имеет смысл как-то более мягко это написать? А то уж очень категорично получилось. Внешний интервьюер без вариантов не спросит, а продакт без вариантов спросит.  "Исходя из нашего опыта, интервью своими силами более эффективны" или что-то типа того. Не истина, выбитая на скрижалях, а ваш опыт. Я не то чтобы берусь советовать, но просто имхо.
7. "класная статья" Чтобы не осталось впечатления что я только мелкие придирки пишу от бессонницы - статья правда хорошая. В целом и по большей части. И примеры/шаблоны. Но местами есть сомнения. Что не отменяет общего "классная статья" 

Ответить
Развернуть ветку
Caesar Ave

"Как это ни назови, вы принимаете решение на основе 10 интервью"

Тут уже играет свою роль теория вероятности. То бишь, если 8 из 10 человек сказали одно и то же, то с вероятностью 70-80% такая проблема есть и у остального большинства людей и нет смысла уже опрашивать больше респондентов, так как снова с вероятностью 70-80% ответят то же самое. Именно поэтому и можно на этих данных делать какие-то выводы.

Ответить
Развернуть ветку
Владимир Изгаршев

Да-да, теория вероятностей на выборке 10 человек. "Если 8 из 10 человек сказали одно и то же, то с вероятностью 70-80%" - интересно какая ошибка выборки на базе 10?

Ответить
Развернуть ветку
Владимир Изгаршев

Можно конечно говорить о нестрогих нематематических методах работы с вероятностями :)

Ответить
Развернуть ветку
Kirill Sherstobitov

Но, Вадим, понимая разницу, вы все равно в итоге  путаете методологии. Приведенные в качестве примера гипотезы сугубо количественные. За такое на первом курсе соцфака очень ругают.

Ответить
Развернуть ветку
Любовь Яковлева

Спасибо, что поделились шаблонами!

Ответить
Развернуть ветку
Denis Mokhin

Спасибо! Отличная статья!

Ответить
Развернуть ветку
IIDF
Автор

Вау!

Ответить
Развернуть ветку
Startup Kotiki

Хорошая инструкция. Спасибо.

Ответить
Развернуть ветку
Mila Ivanova

Вадим, спасибо вам за статью, будет полезна молодым командам! Хотелось бы уточнить, что в рамках подобных сугубо качественных исследований не стоит употреблять термины "статистический анализ", ведь он не будет таковым :) 

Ответить
Развернуть ветку
Kirill Byvshev

Как правильно "сложить" веру, сложность и эффект для сортировки гипотез ? 

Ответить
Развернуть ветку
Наталья Чечулина

Статья в разделе подготовки гипотез к проблемному интервью никак к проблемному интервью не относится, и что самое грустное, вводит людей в заблуждение, а потом они реально думают, что вопрос ниже можно исследовать в проблемном интервью:
"Мы проведем опрос среди людей, которые читают на английском. Если больше 70% ответят о долгой и/или дорогой доставке книг с Amazon, гипотезу считаем подтвержденной и запускаем тестовую рекламную кампанию на сайт по продаже книг с быстрой и недорогой доставкой книг в оригинале."
 - это про колличественник!
Про овощи: "покупают"-"не покупают" и если 70% ответили на проблемном интервью! что они покупают вот так - то мы проверили гипотезы - это туда же, к колличественникам, это все не про проблемные интервью.

Комментарии, что, если "8 человек из 10" что-то делают и это уж точно лучше, чем "6 из 10" и мы можем на этой разнице чего-то там утверждать - не подтверждаются с точки зрения статистики. У обоих этих данных с уровнем доверия 95% пересекающийся доверительные интервалы.

Будьте, пожалуйста, аккуратнее с данными, а то "молодые" продуктологи ее читают, а потом приходят с заказами на проблемное интервью с гипотезами типа "люди стали чаще покупать овощи на рынках/ ездить на дачу/ пользоваться общественным транспортом..., если больше половины скажут ДА - то наша гипотеза подтвердилась"

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
24 комментария
Раскрывать всегда