Кастдев на коленке: «тестируем гипотезы за 2-3 дня»?

Как часто вы слышали, что для проверки гипотезы достаточно опросить несколько человек за пару дней, а еще и на каждого «минут 20 хватит» (как убеждают некоторые инфобизнесмены на своих курсах)? Мы слышали это несчетное количество раз и, конечно, не хотелось бы вас расстраивать, — но это неправда. Если вы хотите качественный результат, которому можно доверять, придется потратить на это несколько больше времени. И вот почему:

Так мы выглядим каждый раз, когда кто-то говорит "вот список гипотез, но месяц это слишком долго, давайте за неделю" 

Дизайн исследования (1-3 дня)

Ради экономии времени и быстрого запуска продукта — многие пропускают самый важный этап проведения любого исследования: дизайн. В него входит формализация цели, задач и гипотез, описание выборки, методов и таймлайна, и многое другое. Проще говоря, именно на этом этапе мы планируем для себя, зачем оно всё вообще нужно и нужно ли на самом деле, какие методы мы используем, с кем общаемся, каким образом и на каком этапе. В случае, если вы работаете не в одной команде, а как эксперт или агентство — эта формализация еще и подтвердит/закрепит понимание целей и намерений, что может сослужить хорошую службу через время, когда договоренности позабудутся и все пойдет не так (а, по опыту, это произойдет в большинстве случаев).

Кстати, один из самых распространенных вопросов, который вводит в ступор наших клиентов (как раз на этапе подготовки дизайна исследования) это: «Зачем вы хотите это узнать?». То есть, мало кто достаточно ясно представляет, какое именно знание приведет их к желаемому результату и что они будут делать с полученной информацией (разве что успокоят себя «ну, исследование провели, можно дальше делать как планировали»).

Если дизайн исследования составлен некорректно, то нельзя быть уверенным в том, что результат будет отвечать реальным целям. Даже если в процессе казалось, что мы работали как задумали.

Инструментарий (1-2 дня)

Мало кто не использует хоть какие-то гайды во время интервьюирования. Часто это просто список вопросов, которые должны отвечать решению задач. Но тут мы снова возвращаемся к дизайну исследования: если задачи не прописаны достаточно четко, то нам не на что опираться в процессе формирования вопросов. Кроме того, качественные методы предполагают процесс погружения респондента в диалог. Наша задача — получить максимум достоверной и значимой информации, что достаточно сложно сделать, если задавать вопросы в лоб и на бегу, без определенной логики беседы. Поэтому хорошо бы также провести несколько «пилотных» (тестовых) интервью, чтобы проверить восприятие вопросов респондентами, дополнить гайд, исходя из их реакции и проверить, что вы не «спотыкаетесь» на переходах от темы к теме и не повторяетесь там, где это не нужно.

Определение аудитории и рекрутинг (от 2 недель и больше)

Чаще всего, когда время исследования ограничено тремя днями, — в число респондентов входят знакомые или люди из ближайшего окружения: какие-то коллеги, друзья по старой работе или мимо пробегающие люди из соседнего офиса.

Во-первых, это грубое нарушение методологии: интервьюер не должен быть знаком с респондентом.

Во-вторых, когда опрашиваются представители одних и тех же сообществ и социальных групп — это ведет к смещению в их пользу, что делает результаты нерелевантными цели.

Для того, чтобы провести качественное интервью и получить максимум полезных данных, необходимо тщательно подойти к формированию выборки: то есть подбору тех, кто владеет наиболее полной, непредвзятой и целостной информацией об объекте нашего интереса. Даже не смотря на то, что здесь нам не обязательно опираться на методы формирования количественных выборок, необходимо четко определить с кем конкретно нужно поговорить, чтобы решить поставленные в дизайне задачи (да-да, здесь мы снова возвращаемся к «дорожной карте» нашего рисеча как компасу всего процесса ^_^)

Проведение интервью (можно начинать параллельно с рекрутингом, но, в зависимости от числа интервью, в среднем 2-3 недели на 15-20 бесед)

После того как мы нашли тех, кто наилучшим образом подходит нам на роль «жертвы» — нужно запастись терпением и понимать, что чем выше статус и занятость человека, тем дольше вам придется согласовывать, ждать и возможно даже переносить встречу. Важно понимать, что большинство экспертов не сидят с телефоном в руках и не ждут нашего звонка или сообщения. И уж тем более не хотят тратить время на непонятные им беседы. И снова привет дизайну исследования, в котором мы сформулировали цели и четко описали, зачем всё это нужно. Теперь и респонденту становится проще объяснить это, найдя для него ценность участия в проекте.

Анализ и описание результатов

После проведения даже короткого проблемного интервью — вы можете записать себе тезисы в файлик на ноутбуке, а можете сделать так, чтобы ценная информация не терялась. Как? Стоит фиксировать интервью на аудио и лучше концентрироваться на беседе, погружаясь в диалог с собеседником. Если отвлекаться на полноценный конспект по время разговора, человеку становиться так же неинтересно рассказывать вам нужную информацию, как и вам его мнение.

Слушать собеседника более внимательно вообще полезно: это позволяет задавать дополнительные вопросы вне гайда. Кроме того, при повторном погружении в беседу вы еще и заметите то, чего не услышали во время неё. Поверьте, даже самый опытный интервьюер регулярно находит в повторном прослушивании что-то новое. В случае, если респондент не против — запись могут также послушать ваши коллеги: это отличная встряска и погружение в реальные проблемы пользователей, а не собственные фантазии о рынке. Да и каждый слушатель может анализировать рассказ по-своему, привнося дополнительные идеи в процесс разработки. Ну и конечно оставьте себе время на полноценные заметки или даже полную расшифровку разговора в текст (транскрибирование): в конце концов как еще зафиксировать результаты и поделиться ими с большим количеством коллег.

Помним, что все перечисленные пункты занимают время. «Думать» — вообще занимает время. Это почти как у писателей: материал должен «отлежаться» перед публикацией. Но это, как и хорошее вино, стоит свеч :)

Вдумчивый анализ и критическое восприятие рассказанного нам на интервью — даст более точный результат и незаметные «на бегу» идеи, которые несомненно улучшат ваш продукт (в случае, если вы их, конечно, примените).

В заключение

Перечислив базовые этапы проведения исследования, становится очевидно, что для качественного вдумчивого кастдева недостаточно 2-3 дней и даже недели. Даже чтобы «потестировать гипотезы» (что является решенческой частью рисеча, а значит целеполагание и работа с инструментарием уже была проведена на этапе проблемного поля) — вопрос поиска респондентов, согласования времени и подготовки описания результатов даже в идеально отполированных системах не может занимать 2 дня (или это будет стоить очень дорого и выглядеть как конвейер).

Минимальный срок для полноценного рисеча — 3 недели, и то только в том случае, если у вас было время оперативно подготовиться к интервью, а ваши целевые респонденты мечтали вам его дать и выстроились в очередь.

P.S: Всё вышесказанное — результат опыта нашей практической работы за последние 10+ лет и несет исключительно характер «высказанного вслух наболевшего мнения». Успехов в полях! :)

88
2 комментария

Вообще грустно, что так называемый кастдев у нас стал считаться какой-то волшебной таблеткой, которая якобы решает все проблемы. В остальном мире он считается не более чем одним из инструментов. Верность выводов из использования которого вообще находится под большим вопросом

5
Ответить

Так много вопросов и так мало ответов)))
Какие именно "все проблемы" имеются в виду? Все проблемы бизнеса один метод решить конечно же не в состоянии. Особенно если заказчик (CEO, директор, тимлид) менять особо ничего не планирует.
У него (метода) конкретная область применения и конкретная специфика задач. 
Он является "одним из инструментов": изучения рынка/продукта/сегмента бизнеса - да. И исследования с монометодами - штука достаточно точечная: если мы хотим понять что-то более детально - используется несколько взаимосвязанных и взаимодополняющих методов.
А насчет "верности выводов из использования" - совсем не соглашусь: тут многое зависит от добросовестности и уровня экспертизы исполнителя (исследователя, продакта, ... ), а не от метода. Закон един: как и в чьих интересах будете трактовать - вопрос. 

2
Ответить