Галлюцинации, обзвоны и неожиданный способ проверки гипотез

UXеры, продакты и другие специалисты с модными профессиями знают, что каждая светлая идея — это изначально гипотеза. И гипотезы, продуктовые или интерфейсные, надо проверять. Все об этом говорят, хотят попробовать, даже пробуют иногда, но на постоянной основе это удается единицам.

Меня зовут Никита Трунов. Наша дизайн-команда в ПСБ быстро растёт и развивается. За последние полгода я прособеседовал много дизайнеров. Боль, с которой большинство из них приходит в продуктовую компанию, — желание проверять гипотезы и гарантированно наносить пользователю непоправимую пользу. К сожалению, в большинстве компаний на это нет времени, бюджета, «нет необходимости» или чего-нибудь ещё.

При этом методов проверок гипотез много. К примеру — это сложные и дорогие юзабилити-тестирования, дешёвые и быстрые бумажные прототипы или полевые исследования. Пусть это будет верхнеуровневая проверка, но лучше так, чем работать с галлюцинациями.

«Галлюцинация — явление обмана зрения, слуха, обоняния и т. п. вследствие психического расстройства». Так в нашей команде называется каждая «гениальная» идея, пока её не подтвердили.

Я хочу рассказать об одном не очень типичном кейсе с одним из продуктов, когда мы быстро и дёшево проверили много гипотез, нашли много инсайтов и сделали всё по красоте!

Когда команда только начинала создаваться, нашей фокусной задачей стал продукт с полуторалетней историей. Никто не проверил ни одного интерфейсного решения. Делались только продуктовые проверки, но они казались сомнительными. Сервис стоял на грани релиза.

Бэклог включал в себя десяток задач. Стояли проблемы с приоритизацией, и не отпускало чувство, что текущее решение окажется галлюцинацией.

Нужно было проверить сам продукт в его MVPшном виде, приоритизировать бэклог, подтвердить или опровергнуть главные гипотезы развития. Сделать это надо было быстро. Требовалось придумать что-то нестандартное.

Мы — продуктовые дизайнеры — пришли в царство программистов, где к новым подходам, наверно, мало кто был готов. Пока наша команда разгребала первоочередные задачи и решала организационные проблемы, сервис вышел «в бой».

У сервиса стали появляться первые пользователи, по 2-5 человек в день. При том, что сервис никак не пиарили и даже в release notes о нём не написали. Это было интересным фактом.

Решили обзвонить текущих пользователей. Понимая, что это так себе проверка жизнеспособности сервиса, мы от этого ничего особенного не ждали.

Надежда, конечно теплилась, но очень маленькая. И не только потому, что спрашивали у пользователей, которые подключили сервис, а потому, что сам метод телефонного опроса тогда казался сомнительным. У нас был большой опыт глубинок, различных качественных исследований, и мы понимали, что по телефону интервью не получится. Но быстренько накидали скриптик и сели за телефоны.

Но не сразу.

Было три итерации, в которых «переизобретали» этот подход, открывая новые особенности такого метода.

Если посчитать, то на исследование мы потратили 2-3 дня. В результате получили исчерпывающую информацию о наших клиентах, их ожиданиях, приоритизировали бэклог, проверили больше восьми продуктовых гипотез.

Не одни грабли были сломаны, но зато получилось качественное исследование с количественными показателями. Дешёвое и, главное, быстрое. Результатов хватило на три месяца вперёд. А на некоторые инсайты из него команда опирается до сих пор.

Как уже говорил, у исследования было три итерации. И я в этой статье хочу рассказать о наших ошибках и выводах, чтобы вы могли безболезненно сами попробовать этот инструмент в действии. Оказалось, что тут не совсем работают как методы интервью, так и методы составления опросов. Истина где-то посередине.

v 1.0

Изначально мы подходили к исследованию как к интервью, понимая, что никто не будет висеть на трубке пять-десять минут, сделали совсем мало вопросов. При этом пара вопросов содержала варианты ответов.

Нет

Обзвонив 5-10 человек, поняли, что это не работает. Ошибка в том, что люди не готовы по телефону кому-то что-то объяснять. Но результаты были, и мы понимали, что их можно улучшить. Пересобрали.

v 1.2

Подумали, а что если давать респондентам варианты ответов на все вопросы? Переформулировали вопросы и дали к ним варианты ответов. Получилось как в онлайн-анкетировании, только голосом.

Мимо

Это b2b сервис со сложной функцией и размытыми определениями, поэтому вариантов ответов получилось много. Респонденты забывали первый вариант, когда им зачитывали третий. Чтобы воспринимать варианты на слух, требуется достаточная концентрация, которой никто не хотел достигать.

И так много раз...

Особенность рабочего процесса, который мы создали себе, в том, что команды сами тестируют и проверяют гипотезы. У нас нет и не планируется отдельного отдела с исследователями, который стал бы внутренним агентством. Этот подход сокращает петлю итераций, и команды могут постоянно улучшать то, над чем работают. Поэтому в процессе мы не только улучшали сам скрипт, но и покрывали обзвоном все больше и больше гипотез. Появлялись новые гипотезы, которые также включались в проверку.

В итоге получилась формула составления вопросов, поначалу неочевидная для нас.

Примеры вопросов:

Это вопросы из нашего теста, вырванные из контекста, кажутся странными, но сейчас важен не смысл, а их построение.

Помните, что в начале я писал, что это одновременно и качественное исследование?

Фишка в том, что, являясь автором продукта и опроса, вы сами понимаете, для чего задаёте каждый вопрос. И вы же сами опрос делаете. Можете в любой момент начать задавать уточняющие вопросы и углубляться в односложный ответ респондента. Конечно, это не всегда получается, но и тех случаев, когда это возможно, хватает для получения качественных данных.

Я писал, что нужны вопросы без вариантов ответов. Но это не значит, что варианты не нужны. Не зачитывайте их респонденту. По каждому вопросу, ещё до того, как начали исследование, заготовьте предполагаемые ответы. Сделайте это обязательно! Во время опроса будете фиксировать ответы, выбирая из заготовленных вариантов.

Но старайтесь не делать слишком много вариантов, если их будет 20, то ответы будут близки друг к другу. И при маленькой выборке у вас получится неявная статистика с 2-3 респондентами на ответ. В нашем случае всегда получалось 5-7 вариантов на вопрос.

Для конспектирования результатов подходит вот такая табличка. Распечатайте её и заполняйте «от руки» во время звонка. По нашему опыту, когда респондент слышит клацанье по клавишам, то начинает сбиваться, поэтому мы пишем ручкой на бумаге.

В дальнейшем, конечно же, листики приходится оцифровывать и заносить в табличку типа этой. Мы пользовались Notion и заносили результаты сразу туда, нам так было удобнее, но принцип таблиц везде одинаковый.

Некоторые стесняются или боятся звонить незнакомым людям. Это нормально. Я и сам перед каждым звонком малознакомому человеку немного переживаю. Не подскажу, как с этим бороться, но подскажу ещё парочку простых правил, которые помогут в таком исследовании.

Улыбайтесь

Для непосвящённых звучит глупо, но улыбка считывается из голоса, и с другой стороны трубки человек начинает ощущать дружественный настрой. Помните, звонок незнакомого человека для него такой же стресс, как и для вас. В нашем случае, когда звонят из банка, это ещё больший стресс.

Не спешите

Спрашивайте у респондента, удобно ли ему. Часто отвечают «Если быстро». Так вот, это не значит, что надо тараторить на скорость вопросы. Это ничего не значит. Респондент может потом начать разглагольствовать ещё полчаса. Иногда даже сам уже хочешь закончить, а респондент не даёт. Как таких сбрасывать, не подскажу, не знаю.

Не отчаивайтесь

Не все готовы разговаривать, будьте к этому готовы, некоторые могут быть не в состоянии вести конструктивный диалог. Но это не значит, что следующие 10 человек будут такими же. Поэтому оставайтесь на позитиве и не давайте парочке неудачных звонков сорвать исследование.

Ну и, конечно, Слушайте и не перебивайте.

Спасибо!