Гайд по продуктовым исследованиям: опыт Skyeng, Carrot quest, Miro и «Дом.ru»

Обобщили опыт Skyeng, Miro, Carrot quest и «Дом.ru» и написали для вас инструкцию, как при помощи исследований сэкономить ресурсы и ускорить процессы в командах.

Своим опытом продуктовых исследований поделились:

Вопросы ребятам задавал Дмитрий Сергеев, CEO & founder Carrot quest.

На этапе разработки проведение качественных исследований может сэкономить время и ресурсы на внедрение ненужных вещей. А позднее исследования позволяют понять, как повысить значения ключевых метрик и ускорить процессы.

Специфика продуктовых исследований состоит в том, что у них максимально короткий цикл, потому что чем раньше произойдет столкновение какой-то идеи с реальностью, а команда получит обратную связь, тем меньше потерь (временных, денежных и прочих) понесет компания.

Цель исследования должна быть конкретной. Нельзя исследовать слишком общие вещи. Например, вопрос «почему люди не покупают продукт?» не годится в качестве цели исследования. Более конкретный вопрос «Как пользователи переходят от чтения блога к регистрации в сервисе?» уже может дать старт исследованию.

При этом важно не начать исследовать все подряд, а сразу отметать ненужные исследования и исследования с бракованными целями и задачами.

Как отличить бракованные задачи? Если с задачей все в порядке, мы четко понимаем, для чего нам нужна информация и что мы будем с ней делать. Если мы хотим что-то узнать, но понятия не имеем, что нам это даст, то такая задача — брак.

Все зависит от задач, которые вы ставите перед исследованиями, и от размеров компании. В больших компаниях, как правило, исследованиями занимается отдельная команда. Например, в Skyeng работает команда исследователей, которая занимается только тем, что собирает инсайты для продуктовых команд. При этом исследователи, с одной стороны, распределены по продуктовым командам (и ими руководят продакты), а с другой стороны, объединены в команду исследователей, которой управляет руководитель горизонтали. В этой схеме продакты отвечают за бизнес, а руководитель горизонтали – за развитие сотрудников. Отдельная команда исследователей, которые делают большие исследования для продукта и маркетинга и заодно учат остальных, работает и в Дом.ru.

Другой вариант — разово собирать кросс-функциональную команду специально под исследование. В Miro исследования проводят смешанные команды из продактов, дизайнеров и разработчиков, для которых исследования — это дополнительная функция, и есть data team, которая тоже активно участвует в качественных исследованиях и проводит свои – количественные.

В Carrot quest исследованиями занимаются разные люди и разные команды, в зависимости от задачи, в том числе команда гроус хакинга, которая занимается верификацией гипотез непрерывно.

Не впадайте в панику, глядя на этот список: вы можете не обладать всеми этими скиллами сразу, но у вас точно будет возможность их развить, если вы займетесь продуктовыми исследованиями.

В продуктовых компаниях применяют и совмещают разные методы:

Когда речь идет о продуктовых исследованиях, то чаще используются качественные методы (потому что так удобнее для коротких итераций). Но опыт Skyeng и других компаний подтверждает, что иногда бывает полезно дополнить знания, полученные в результате качественного исследования, количественными: например, провести ряд глубинных интервью и заодно проанализировать количественные данные по исследуемому сегменту. Или наоборот, в количественных данных можно найти «боль» пользователей, а качественное исследование, в свою очередь, может помочь ее закрыть.

Иногда можно обойтись каким-то одним методом. Например, глубинными интервью или сбором фидбэка. Но можно их успешно сочетать. Юзабилити-тесты можно дополнять короткими интервью, сбор фидбэка — кабинетным исследованием. Выбор зависит от задач исследования и от возможностей, которыми располагает команда.

Бывает так, что команда находится в одном полушарии, а пользователи продукта – в другом. В этом случае все инструменты автоматически становятся удаленными, хотя суть их остается прежней. То есть это будут те же коридорные тесты, но с использованием Skype или Zoom, и те же интервью, но, например, телефонные, без возможности считывать эмоции собеседника, то же наблюдение, но через вебвизор. На самом деле, в продуктовых компаниях чаще всего так и происходит.

Вам понадобится сформулировать:

А также выбрать сегмент пользователей, на котором вы будете проверять эти гипотезы, и составить такой гайд (список вопросов), который позволит охватить все задачи исследования.

Своих пользователей можно приглашать пройти интервью или опрос через внутренние сообщения, мессенджеры или рассылки. Здесь тоже пригодятся смешанные методы: вы можете в самом начале исследования отсортировать внутренних респондентов, опираясь на количественные данные, которыми располагаете.

Есть хорошие новости: замечено, что недовольные пользователи всегда с удовольствием делятся своими негативными впечатлениями. Используйте это!

Сложнее найти тех, кто не является вашим пользователем и не касался вашего продукта и при этом подходит под определенные критерии. Как это можно сделать? Таких респондентов в каждом отдельном случае, как правило, приходится искать вручную. Можно попробовать сделать это через профессиональные сообщества в слэке, телеграме или фейсбуке. Кстати, канал Perm Product People в телеграме — как раз одно из таких сообществ. Еще можно попросить текущих пользователей поделиться с вами контактами коллег. В любом случае, планируя исследование, не забудьте заложить время на поиск подходящих респондентов.

Придумайте вступление и вводные вопросы. Расскажите о том, чем вы занимаетесь. Расскажите, как для вас важно сделать продукт лучше для пользователей. Пусть участие в исследовании будет для пользователей положительным опытом.

Основные правила:

Не забывайте поблагодарить участников исследования! Обязательно — в конце разговора, и можно сделать это еще раз в письме.

Чтобы научиться задавать правильные вопросы, ответы на которые не уведут вас в ложном направлении, советуем прочитать хотя бы один раз книгу Роба Фицпатрика «Спроси маму» и как можно больше практиковаться в проведении интервью.

Всегда по-разному. Для качественных исследований действует концепция насыщения: выборка должна быть достаточной, чтобы обнаружить все или почти все конфигурации смысла и опыта, важные для исследования, но в то же время не быть слишком большой (тогда она становится контрпродуктивной). Принцип такой: если информация начинает повторяться, значит, пора остановиться.

Качественные исследования нацелены на реконструкцию смысла, а не на статистические обобщения.

Череду методов и набор фреймворков для анализа полученных данных каждый выбирает сам, тут нет универсальной формулы.

Чем раньше вы начнете сами проводить исследования, тем быстрее научитесь подбирать и сочетать между собой подходящие именно вам фреймворки.

Оценивать эффективность исследований непросто. Еще сложнее посчитать, оправдывают ли результаты исследований потраченные на них ресурсы. Когда можно считать, что исследование удалось?

Если вы ответили на все вопросы, а инсайтов нет, значит вопросы были сформулированы некорректно. Поэтому так важно фильтровать исследования на входе и не брать в работу «брак».

В идеале должен появиться список рекомендаций, то есть конкретных действий по улучшению продукта, который исследователи передают команде продукта. А продакты дальше с этим списком работают: дополняют его, приоритизируют и отдают разработчикам. Так делают в Skyeng.

Задача исследователей — дать продуктовой команде рабочие выводы и рекомендации, а не бесполезный манускрипт. В Skyeng разработали шаблон отчета – набор из нескольких вопросов, на которые ресечер должен ответить по завершении исследования. А команде уже передается документ с отсортированным списком инсайтов, подтверждающих или опровергающих гипотезы, с цитатами и ссылками на источники (в том числе для того, чтобы не было соблазна по-своему интерпретировать данные).

Если вы проводите много исследований и узнаете благодаря ним много нового, придумайте свой способ шэрить эти знания со всей командой. Например, ребята в Miro проводят внутри компании регулярную встречу Product Insights, а у нас в Carrot quest есть «рыбные четверги» – это такие внутренние митапы, на которых все команды по очереди делятся тем, что важного и интересного для всех они накопали. В Skyeng результаты исследований обсуждают на командных стендапах и публично презентуют заказчикам из других команд.

Важно придумать, как удобно хранить результаты всех ваших исследований, чтобы к ним можно было вернуться в любой момент и проанализировать какие-то данные с новой точки зрения или соотнести их с новыми инсайтами.

Исследования могут повторяться. Ваш продукт развивается, обстоятельства меняются, появляются новые проблемы и приходится проводить повторные исследования, одних и тех же вещей, но с другими целями и под другие задачи. Возможно, некоторые исследования вы решите сделать регулярными.

Если исследований много, обязательно нужно создать единый реестр. Такой реестр создали ребята в Skyeng. Это таблица, организованная таким образом, чтобы было просто найти все исследования по разным темам. Сами заметки и выводы по каждому исследованию хранятся в Notion.

Мы в Carrot quest для того чтобы приоритизировать гипотезы и хранить данные, относящиеся к ним, используем Favro. Вы можете выбрать для себя какой-то другой способ.

Вы можете забыть спросить о чем-то (нехватка опыта, стресс при первом интервью, молчаливый или чересчур разговорчивый респондент). От этого спасет гайд.

Чтобы этого избежать, нужно хорошо знать продукт и внутренние процессы.

Помните, что ресурсы ограничены, и вы создаете продукт для пользователей, а не для команды

Прежде чем приступить к исследованию, сравните, что дешевле по трудозатратам: исследование или А/Б тест. Если данных и инсайтов недостаточно, идите исследовать, чтобы пополнить копилку гипотез.

И помните, что завещали нам ребята из Skyeng, которые съели собаку на исследованиях: смешанные методы — это круто, операционные процессы – точка роста, а внутренние исследования — источник инсайтов. Аминь.

Спасибо Алисе, Максиму, Кате и Диме за то, что поделились знаниями и опытом 🧡