Ника Атаманюк, экс-продюсер курса Product Heroes: «Всё вокруг нас — продукты»

Ника Атаманюк вместе с Ильей Красинским и Натальей Эйсмант разработала и запустила Product Heroes — один из самых востребованных на русскоязычном рынке курсов для продактов, продакт-маркетологов и владельцев бизнесов. Места на последний поток курса закончились еще за месяц до его старта. Знаю, потому что ребята из моей команды хотели на него попасть и не успели 🙂

Поговорили с Никой о том:

• какие исследования помогают расти продуктам;
• какие ошибки чаще всего допускают в исследованиях;
  
• как устроен процесс исследований в разных компаниях — от маленьких стартапов до крупных корпораций;
  
• что такое CJM продакта и как его улучшить.

— Как тебе кажется, насколько востребованы сейчас исследования в продуктовой среде?

Как трекер и CEO образовательного проекта я вижу, что многие продакты хотят что-то улучшить в развитии своего продукта, в том числе в исследованиях. Ребята, с которыми я общаюсь, жаждут нового, хотят изменений, стремятся расти сами и растить свой продукт. Таких 90%. Поэтому мне кажется, что исследования очень востребованы. Но тут есть пристрастие выборки, в чистом виде «ошибка выжившего», потому что я редко пересекаюсь с теми, кто считает, что у них все хорошо 🙂 Они просто ко мне не приходят.

— Какие виды исследований чаще всего проводят команды, которые ты консультируешь?

Для начала я бы разделила исследования на олдскульные и современные.

Первые учат делать в университете на социологическом факультете. Собираешь фокус-группу, выдаешь всем денег, и люди говорят то, что ты хочешь услышать. Счастье кругом, но результата нет.

Допустим, есть два варианта интерфейса. Они отличаются деталями, оба успешно прошли коридорки. В масштабе десятков и сотен человек эти изменения ничего не дают. «А что дадут эти изменения на сотнях тысяч и миллионах пользователей?» — говорит Google и начинает тестировать. Это немного крайний вариант, потому что у большей части продуктов такого количества пользователей нет. Часто продукты с пятью пользователями бросаются делать А/Б тесты, а потом расстраиваются, что это не работает.

— У меня последнее время складывается впечатление, что сейчас в продуктовых компаниях делают преимущественно качественные, а не количественные исследования. Так ли это на самом деле?

Качественные методы больше подходят на ранних этапах — стартапам и новым продуктам внутри большой компании. Потому что они позволяют быть шустрыми и быстро что-то менять. А также быть в тесной связи со своими клиентами, знать их проблемы и потребности.

Чем дальше растет продукт, тем больше баланс смещается в сторону количественных исследований. Возьми Facebook, который на миллионах пользователей проводит сотню А/Б тестов в день. Но они могут себе это позволить.

Если стартап начнет запускать А/Б тесты на миллионы пользователей, используя, к примеру, мощности материнской компании, результат будет плачевным. Потому что в подавляющем большинстве таких случаев команда пропускает этап problem/solution, и скачет сразу на product-market fit. И вот там ждет разочарование, потому что проблема на самом деле не подтверждена. Опытные ребята знают об этом.

— Расскажи, пожалуйста, как устроен процесс исследований в компаниях, с которыми ты работала.

Зависит от размера компании.

В крупных компаниях, как правило, есть отдел или департамент исследований. Кажется, что круто — целый отдел исследователей. Но на практике всё работает медленно. В такой ситуации другие отделы иногда сами проводят исследования, потому что так быстрее.

В этой ситуации возникает еще и проблема качества, потому что исследователи часто не до конца разбираются в нюансах использования продукта. К тому же, у больших компаний продуктов бывает много. Есть компромисс. Например, в Дом.ру отдел исследований подключает ребят из продуктовой команды для проведения некоторых исследований.

В стартапах и динамичных больших компаниях этой работой занимаются продакты и продакт-маркетологи. Внутри команды ребята делятся друг с другом всей информацией. То, что узнал продуктовый маркетолог, обязательно дойдет до продакта. Часто они проектируют исследования вместе. В этом процессе могут участвовать также дизайнеры и аналитики. Я знаю случай, когда в команде часть кастдевов проводил разработчик. Потому что ему было важно понимать, какие проблемы хочет решить клиент и как для этого лучше написать код. И это очень круто. Я считаю, что так должно быть во всех компаниях и у специалистов любого профиля.

Компании, которым нужны масштабные исследования — сотни коридорок или кастдевов — выстраивают свои специфические процессы. Например, обучают интервьюированию продактов-джунов или ассистентов. Джуны берут на себя интервью, исследователи — разрабатывают гайды и следят за качеством. Аналитики собирают статистику. Количественные данные и выжимки из интервью передают команде продукта для выводов, обсуждения и дальнейшей работы. Это один из вариантов.

— А расскажи о каком-нибудь классном кейсе с исследованиями.

Однажды я работала с командой, у которой стояла цель за три месяца вывести на рынок новый продукт и показать семизначную цифру выручки продаж. В первую же неделю ребята сделали 30-40 интервью, и мы вытащили гипотез на 50% от того объема продаж, который им нужно было сделать. И было видно, что есть еще куда копать, но это оставили на вторую итерацию.

— А какие факапы были в твоей практике?

Были ребята, которые проводили фокус-группы. Они задавали вопросы совсем не по теме. Хотели выяснить одно, а спрашивали абсолютно другое. Потом говорили, что исследования бесполезны.

Еще была ситуация, когда команда взяла на неделю большую задачу с кастдевами, провела исследование, вернулась с результатами и выводами из них на касание. А когда вывели на экран эксельку с ответами, оказалось, что там 3 звонка!

Был случай, когда ребята сделали за неделю порядка сотни звонков. Это был уже второй или третий месяц акселерации во ФРИИ, работа напряженная, все уставшие. Приходят, приносят ровно столько, сколько договаривались, но на другую тему. Не так поняли, стали разговаривать с людьми не о том. Результаты никак не соотносились с их продуктом. Бывают такие обидные ситуации.

— Если исследований много, надо ли всем знать результаты?

Сначала выводы обсуждают на уровне команды. Надо ли всем знать результаты — это зависит от масштабов исследования, его важности и влияния на работу других ребят в компании. Если исследование влияет только на продуктовую команду, не обязательно всем о нем рассказывать.

Например, я провожу кастдевы каждого набора курса, но про это никто не знает. Эти интервью я делаю просто для контроля качества.

Если это исследование масштаба всей компании, или хотя бы половины, выводы доставляют на каком-то общем звонке, публикуют ссылку на Excel, чтобы ребята могли посмотреть, поизучать, задать вопросы, обсудить выводы, определить следующие шаги.

— Какие еще исследования вы проводите внутри своего продукта?

На регулярной основе — коридорки. Это происходит, когда мы активно работаем над курсом. Бывали периоды, когда мы смещали фокус на другие задачи и коридорки останавливали на месяц-два. Потом следующий подход. Во время активной фазы мы делали коридорки нон-стопом.

Со временем у нас появился ближний круг респондентов — те, кому мы в первую очередь показываем прототип, кто дает самый ценный фидбек. Мы отбираем респондентов, которые умеют проговаривать все свои действия, мысли и эмоции. И при этом не включать «экспертность» и не высказывать субъективное мнение. У нас есть список ребят с такой способностью. Это очень ценно, мы к ним идем в первую очередь, потому что они дают больше информации.

При этом мы прекрасно понимаем, что у любого человека замыливается взгляд, если коридорить одно и то же каждую неделю. Поэтому у нас есть запасные респонденты. Мы их чередуем, чтобы получать больше свежей информации.

— Какие еще инструменты есть в твоем арсенале?

Основной набор — CJM, кастдевы, обязательно JTBD, мы вообще с этого начинаем. Инструментов очень много, даже умение писать заголовки без оценочных суждений — это инструмент. Не говорить пользователю, что ему делать на лендинге, — тоже навык. Не каждый так может, и этому люди тоже учатся. Можно сделать очень мелкую нарезку инструментов.

— Как ты считаешь, что лучше — прокачиваться в чем-то одном или постоянно пробовать новые инструменты?

Я всегда отталкиваюсь либо от конечной цели, либо от человека, с которым я общаюсь. Это более корневая история: в общении с человеком исходить из его эмоций, убеждений, взглядов и так далее. Если ты берешь какой-то общий набор правил и пытаешься приложить их к конкретному человеку, получается фигня.

— В программе курса Product Heroes есть блок о том, как построить CJM продакта и операционных процессов. Расскажи подробнее, что под этим подразумевается.

Когда люди приходят в офис с утра, они хотят раздеться, им нужно куда-то положить сумки. Потом они хотят выпить кофе. Как должен строиться путь, чтобы сотрудникам было комфортно, и все было под рукой?

CJM операционных процессов — примерно то же самое. Продакт — пользователь операционных процессов в компании. Когда мы строим CJM этих процессов, мы можем найти узкие места, выдвинуть гипотезы, как их расширить, чтобы получить кратный рост.

Мы полностью раскладываем весь операционный путь продакта: что он делает, на каких этапах. Если очень упрощенно говорить, это те же HADI-циклы. Есть гипотеза, потом мы совершаем какое-то действие для проверки этой гипотезы, собираем и анализируем данные, делаем выводы и идем на следующий круг.

— Всегда ли и всем ли нужны исследования?

Не всегда нужно начинать с исследований. В большинстве случаев для начала нужна диагностика текущей ситуации. Нужно понять, почему компания не растет, что мешает. После этого уже принимать решения. И дальше проводить исследования — качественные или количественные, в зависимости от размера компании и от того, над чем нужно работать.

— Как ты считаешь, можно ли как хакнуть рост продукта с помощью исследований?

Качественные исследования — это и есть хак. Раньше все пытались всё измерить, лили трафик на А/Б тесты и вкладывали в это кучу денег.

Если компания или команда ориентируется на счастье и результат у своего конечного клиента, тогда будет это счастье и результат. А если в этой компании главная мотивация — реализовать свои идеи, их реализуют, но не факт, что надолго и что это принесет пользу большому количеству людей.

• Продуктовые исследования: практическое руководство. Теория JTBD: как узнать, чего хотят пользователи (глава книги)
• Гайд по продуктовым исследованиям: опыт SkyEng, Carrot quest, Miro и Дом.ru
• Customer Development или как протестировать идею фичи за 2 дня
  
• «Пойдем, выйдем»: подробный гайд по коридорным тестам