Как быстрее и удобнее проверять гипотезы в продукте

Я руководитель группы развития продуктов в Контуре. До управления продуктом я больше 6 лет занималась маркетинговыми и юзабилити-исследованиями.

В этой статье я расскажу, что в моем понимании дискавери-долг, почему важно о нем не забывать, и как мы закрывали его в команде Контур.Фокуса. Статья будет полезна продактам, исследователям, менеджерам продукта и руководителям разработки.

Многие знакомы со словом «техдолг». Мы воспринимаем его как устаревшие технологии, код, подходы, инструменты, которые мешают развитию продукта. И почти всегда техдолг ассоциируется с чем-то техномясным и глубоко инженерным. Но у зрелого продукта может быть и другой вариант «долга» — дискавери-долг. И он также мешает активно развивать продукт.

Чтобы обеспечивать стабильный рост бизнес-показателей, продакт и другие дискавери-роли формулируют гипотезы, запускают исследования, работают с обратной связью. Часто мы недооцениваем, как важно уметь делать это быстро, удобно и гибко. Будучи UX-исследователем, я сталкивалась с тем, что мы не можем что-то проверить, потому что нет нужного инструмента. А сделать его трудоемко и не в приоритете.

Такие ограничения постепенно приводят к стагнации методов тестирования и проверки гипотез в продукте. В итоге все сводится к стандартным интервью и опросам, арсенал дискавери-инструментов сильно сужается. А это, в свою очередь, приводит к снижению качества принятия решений.

Чтобы дискавери-зона приносила новые идеи и нужную информацию, необходимо работать над инструментами для дискавери процесса. В стартапах лучше сразу закладывать под это ресурс, а в зрелых продуктах — работать с дискавери-долгом.

Проверьте себя по моему анти-бинго. Если какие-то утверждения для вас верны, то вероятно у вас есть дискавери-долг.

Окей, допустим, у вас есть дискавери-долг. Что делать? Расскажу на опыте Фокуса.

Продуктовая группа Фокуса в качестве одной из годовых целей выбрала развитие дискавери-инфраструктуры. Точкой А был замер research time (время на проведение исследования в неделях) и моя экспертная оценка вариативности и качества проверки гипотез. По последнему пункту критериями выполнения стали кейсы применения новых и нестандартных методик и инструментов.

Затем зафиксировали проблематику. Мне помог опыт исследователя и продакт-лида — точки приложения усилий были плюс минус понятны. Дополнили картину UX-исследователи команды.

Так появились требования к целевому состоянию (точка Б):

По итогу 9 месяцев можно сказать, что мы практически достигли точку Б и уже видим конкретные результаты. Какие инструменты у нас появились и что нам это дало.

Инструмент для A/B-тестов в сервисной части

Реализовали инструмент для A/B-тестов в сервисной части продукта. Уже провели пару тестов, которые показали неожиданные результаты. Благодаря ним мы смогли принять решение с опорой на конкретные метрики.

Админка для онлайн-опросов

Скоро появится админка для проведения онлайн-опросов. Ранее все опросы в интерфейсе можно было выкатить только через разработку. Админка позволит выкатывать опросы на собранные вручную выборку или на случайно сгенерированную. С ее помощью мы сможем работать с аудиторией в разных каналах: в триале, в демо, в платной версии.

Внедрили новый сервис опросов и тестирований

Внедрили в нашу работу Pathway. Это сервис наподобие Google Forms или Typeform, но с более широкой функциональностью. Такой сервис не требует интеграции в кодовую базу, а также является российским продуктом, что сокращает риски отказа продления лицензий.

С его помощью мы уже провели 8+ полноцикловых исследований, причем использовали новые для продукта методики: карточная сортировка, 5-second test, количественные сравнительные тестирования, tree testing. Вариативность инструмента помогла проверить сложные и стратегически важные гипотезы, например, тестирование новой тарифной линейки и проверка концепции редизайна.

Запустили эксперимент дискавери-продактом

Одна из проблем, которая не была очевидна на старте, но обнаружилась в течение года, это издержки на смену контекстов у продактов, которые совмещают в себе run- и change-деятельность. То есть ребята занимаются и операционным управлением продуктом, и прокапывают новые сценарии и решения. Это возможно, но не всегда эффективно.

Мы решили выделить дискавери-продакта с повышенными требованиями к скорости проверки новых сценариев и решений. Такой продакт не занимается операционкой и развивает свой скиллсет по дискавери-треку. Эксперимент в процессе, полет нормальный. Для примера, за первый месяц удалось проверить новый сценарий, пивотнуть гипотезу, разработать два решения на ноу-коде и собрать дизайн исследования новой фичи.

Использовали новые механики генерации идей

Как у многих зрелых продуктов, у нас всегда есть нехватка свежих и необычных идей. Кажется, что мы знаем рынок и пользователей вдоль и поперек, но сгенерировать дизрапт-идею на алом рынке сложно. Мы попробовали новые механики и получили свежий взгляд на развитие продукта. Часть из идей уже пошло в проработку. Примеры механик: поиск соседних работ аудитории, генерация гипотез через анализ смежных рынков.

Скорость проверки гипотез

Год к году скорость значимо улучшилась в части количественных исследований. По остальным типам задач длительность либо осталась на том же уровне, либо немного увеличилась.

Особенно заметно увеличение research time по гипотезам с привлечением разработки. Это связано с внедрением инструмента A/B-тестов, которое заняло некоторое время, но теперь мы можем быстрее запускать такие тесты, хоть и с небольшим привлечением инженеров. С учетом появления важного для дискавери инструмента, считаю такой результат успешным.

По кабинетным исследованиям (в основном это расчеты рынка и анализ конкурентов) у нас запланированы дополнительные изменения — прорабатываем гипотеза об «умной» автоматизации этих процессов.

При этом мы не потеряли в качестве. Основное ускорение мы получили в количественниках, но помимо скорости, выросло и среднее количество ответов на такие исследования — на 116%. За счет этого качество полученных данных и, как следствие, качество принимаемых решений улучшилось.

Количество дискавери-задач

За аналогичный период к прошлому году количество задач в дискавери увеличилось почти в 2 раза, что вкупе с положительной обратной связью по качеству проведенных исследований говорит об успехе. Количественных исследований стали проводить в 3 раза больше.

Восстановили «живой» дискавери-бэклог

С помощью дополнительных механик генерации идей у нас появились новые или обновились прошлые гипотезы. Часть из них уже пошла в проработку. Но еще предстоит продумать воспроизводимый процесс груминга этого беклога, чтобы он снова не «протух».

Демократизация исследований

Этот эффект мы на старте не закладывали, но за счет новых и упрощенных инструментов запуска тестов и исследований, мы смогли увеличить количество людей в команде, которые могут проверить гипотезу без исследователя.

Думаю, опыт Фокуса не уникальный, но и не универсальный. В каких-то командах хорошо развита история с данными, в других — давно есть админки для опросов, а в третьих без A/B-тестов не запускается ни одно изменение (особенно в B2C).

Я писала эту статью не как руководство к действию, а как повод задуматься, достаточно ли у вас инструментов в арсенале, чтобы достигать тех амбиций, которые лежат в стратегии продукта и компании.

Небольшие доработки и новые инструменты в дискавери могут дать значимый буст. Если ваша команда большая, поток гипотез постоянный и интенсивный, то стоит задуматься о системном подходе к дискавери-инфраструктуре.

Нагнав инструментарное отставание, в следующем году мы планируем и дальше работать над скоростью, не только по количественным, но и по другим типам гипотез. Больше «шатать мышление» и пробовать новые подходы к поиску идей.

Параллельно ребята из команды разработки активно работали над производственными метриками и оптимизацией lead и cycle time. Поработав отдельно в своей зоне (дискавери и деливери), в следующем году мы хотим посмотреть на весь путь доставки ценности, оценить «сверху» и задетектить простои и неоптимальности на стыках. Будем работать над time to value.

***

Всем быстрых тестов и успешных проверок🚀