Уже все знают, что продуктовые исследования нужны. Но где доказательства?

Правда, что если у отдела исследований нет KPI, это НИИ теоретиков? Как посчитать эффективность продуктового ресерча? Разбираемся с метриками эффективности отдела СX/UX-исследований.

С каждым годом становится все меньше компаний, которым нужно объяснять, в чем ценность UX-исследований и вообще работы с пользовательским опытом. И что не только правильный маркетинг приводит клиентов. Отчасти тенденцию можно отследить по экспоненциально увеличивающемуся количеству вакансий исследователей. В пандемию, кажется, их стало еще больше (в какой-то момент я увидел прирост по вакансиям): все хотят привлечь новых пользователей и не потерять старых — для этого и нужна помощь ресечеров.

В последнем отчете Gartner Marketing Predictions for 2021 and Beyond предсказывается, что к 2023 году 25% компаний сольют маркетинг, отдел продаж и CX в единую функцию. И дальше этот тренд будет только усиливаться. Вероятно, будет очень сложно разделить и по отдельности оценить и «окипиаить» влияние того или иного департамента в успешности продукта.

Однако, когда изучаешь вакансии, возникает мысль: а как конкретная компания планирует измерять эффективность исследователя? Часто в описании перечисляются стандартные навыки и программы, не привязанные к задачам и целям. На собеседовании же высока вероятность не получить четкого ответа на вопрос: «Почему вы считаете важным, чтобы исследователь умел вот это, и зачем вы хотите измерять вот то?»

Как-то раз руководитель обратился ко мне с запросом: «Я понимаю, что исследования ценны, но очень хочется увидеть, как именно они влияют на продукт и компанию. Ты сможешь посчитать?»

Сначала я подумал: легко, сейчас соберу данные. Но когда начал анализировать последние исследования, получил такие результаты:

• Провели исследование за N дней и обнаружили несколько барьеров для определенной категории пользователей, мешающих им перейти с исследуемого на основной продукт компании. Продакт взял их в работу и постарался устранить.
• Через три месяца после исследования входящий поток новых пользователей увеличился на N%.
  
• Увеличившийся поток конвертировался в деньги хуже, чем обычно, но компания все равно получила небольшой прирост в деньгах — на N%.
  

Дальше я обнаружил проблему: как оцифровать конкретное влияние исследований? В первом случае я пока не знаю результатов внедрения новой фичи и не понимаю, когда они будут. Во втором выяснилось, что помимо исследования на приток пользователей влияла работа команды и PR. Ситуация, похожая на третий случай, была и в прошлом году — и это тоже нужно учитывать.

Так что же считать критерием успешности исследования? Прирост в деньгах, факт обнаружения барьеров, факт взятия в работу результатов — что из этого может стать полноценными KPI?

В итоге вопрос про критерии успеха мы переформулировали:

С точки зрения руководства, повышение эффективности инвестиций — одна из ключевых задач, поэтому, если вы создаете отдел исследований, приходите единственным исследователем в компанию или даже работаете на стороне агентства, продумывайте критерии успеха заранее и дорабатывайте в процессе (в агентстве, вероятно, перед каждым проектом). Что мы и начали делать.

С отделом исследований ситуация сложнее, чем, к примеру, отделом продаж, где четко можно оценить ROI каждого сотрудника. Это обусловлено несколькими причинами:

• Не всегда пользу от исследований/исследователя можно оцифровать. Например, хорошая идея или совет от исследователя может дать ускорение продукту, но реализовывать их будут другие сотрудники компании, за которых он отвечать не может. В идеале исследования влияют на стратегию, позволяют открыть новые сегменты и «голубые океаны».
• Не всегда исследование влияет напрямую на деньги и не всегда продуктовые метрики напрямую коррелируют с деньгами. Допустим, мы хотим повысить DAU/MAU или уровень пользовательского счастья, но не всегда (особенно в продуктах с частично бесплатным контентом) это сказывается непосредственно на прибыли, и вообще эта история может быть очень долгосрочной. А еще исследование может показать, какой контент нужен целевой аудитории, но не дать понимания, как его монетизировать.
  
• Меняются условия рынка, и часто это не предусмотреть. Далеко за примером ходить не нужно: пандемия свела на нет модели монетизации многих продуктов, изменила способы и частоту их потребления. Многие актуальные и качественные исследования оказались отчасти бесполезными, правда KPI продуктовых команд тоже стали неактуальными по этой же глобальной причине.
  
• К сожалению, не все компании созрели настолько, чтобы использовать исследования для масштабных бизнес-решений. Безусловно, это не обязательное условие для расчета ROI, но без него диапазон UX-инициатив ограничен.
  

Это только часть причин — некоторые просто зависят от специфики отрасли. Так, трудно оценить вклад исследователя в некоммерческих проектах, которые в принципе не подразумевают прибыльности.

Безусловно нет, просто нужно изначально понимать контекст, в котором существуют компания, ее руководство, и место исследователя в системе координат бизнеса. В каждом случае нужно подбирать свою комбинацию метрик.

В желании оцифровать свою деятельность легко попасть в ловушку восприятия. Если одна из ваших задач — обучить исследованиям продуктовую команду, то метрики «количество проведенных обучающих мероприятий» будет недостаточно. В этом случае результат можно будет оценить по тому, как продуктовая команда стала использовать ваше обучение в работе.

По совету руководителя исследований в Qiwi Дмитрия Соловьева, мы попробовали разбить направления нашей деятельности на сегменты. Затем в каждом из них расписали все возможные, на наш взгляд, KPI и попробовали их внедрить.

Мы выделили приоритетные направления деятельности отдела:

• изменение продукта в лучшую сторону и ROI;

• организация и проведение продуктовых исследований;
  

• UX-евангелизм, обучение, рост прозрачности процесса исследований;
• развитие отдела исследований;
• понимание ЦА, с которой работаем.

Далее разбили каждое из них на показатели (KPI): конкретные — те, которые можно оценить количественно, и неконкретные — те, которые оценить количественно либо невозможно, либо крайне проблематично (придется учитывать массу влияющих факторов). Начали анализировать и те, и другие.

1. Рост ARPPU, ROI, среднего чека и других денежных метрик, показывающих рост платежеспособной ЦА среди клиентов.
2. Рост продуктовых метрик (все виды Retention, DAU/MAU/WAU и т. п.).
   
3. Снижение Churn Rate.
   
4. Снижение Customer Acquisition Cost или повышение Life Time Value и анализ прочих метрик стимулирования продаж.
   
5. Количество найденных/внедренных инсайтов.
   
6. NPS, СSI, CLI и CSAT по пользователям.
   
7. Количество гипотез, которые валидирует исследователь.
   

• С ROI все неоднозначно: оно не может быть точным и его сложно спрогнозировать, так как продукт меняется после исследований и есть еще внешние факторы. Нет сферических исследований в вакууме.
• Следует измерять показатели после каждого исследования в оговоренном заранее промежутке времени и по конкретной аудитории, иначе это будет как из пушки по воробьями и вряд ли репрезентативно.
  
• Иногда на денежные метрики воздействует множество внешних факторов и нельзя сказать, что на ARPPU повлияло только исследование. Проговорите это заранее с продуктовой командой.
  
• Retention и продуктовые метрики могут вырасти не сразу, иногда через несколько месяцев. Обсудите, когда вы будете смотреть результаты и почему выбрали этот срок.
  
• Из-за того что исследователи воздействуют на продукт только косвенно, через рекомендации, прямое их влияние на KPI продуктовых менеджеров возможно только в том случае, когда работа исследователей глубоко интегрирована в продукт и их рекомендации реально берутся в работу в рамках заранее оговоренного периода времени.
  
• Количество респондентских или кабинетных инсайтов может быть непоказательным. Во-первых, не все респонденты обладают достаточным количеством информации и готовы ей делиться. Во-вторых, иногда первый инсайт переворачивает исследование полностью или отменяет его. В-третьих, не каждый найденный информационный алмаз станет в итоге бриллиантом. Что касается инсайтов из данных, то очень многое зависит от того, как в компании в принципе работают с данными и как настроена аналитика, — с этим тоже могут быть проблемы.
  
• Есть несколько проблем с метриками удовлетворенности продуктом: техподдержкой, ценой и любыми другими параметрами. Первая — смещение ответов в сторону лояльной аудитории, потому что нелояльная часто не готова тратить время на опросники. Вторая — бизнес не всегда понимает, что делать с такими показателями.
  

• Постепенно привязываемся к продуктовым и бизнес-метрикам, хотя делаем скидку на то, что не влияем на сроки реализации фичи и решение в итоге все равно принимает продакт. Допустим у команды есть цель — рост показателя retention второй недели. Тогда в качестве цели исследователя может быть сбор причин ухода пользователей из сервиса, составление списка барьеров и roadmap улучшений.
• Пока не привязываемся напрямую к деньгам, потому что на них влияем только косвенно: просто понимаем, что есть фичи, которые сделаны после наших исследований, а есть те, которые прошли мимо нас. В идеале нам нужно стремиться к формату западных компаний, когда запуск продукта в принципе невозможен без исследований.
  
• В планах — поработать с одной из продуктовых команд в таком формате: заранее договориться о сроках запуска фичи, запустить ее и посмотреть, помогут ли исследования выбрать направление деятельности, которое принесет ожидаемую выручку за N времени.
  
• Хотим начать регулярно измерять NPS по всем основным ЦА: смотреть в динамике и в разрезе регионов. Если где-то будут низкие показатели, будем разбираться в причинах.
  
• Планируем персонализировать CSI под каждую продуктовую команду и использовать параметры из их KPI нужного периода времени. Если в планах будут стоять задачи по улучшению качества контента, возьмем этот показатель. Или добавим параметр «удовлетворенность ученика изменениями после обучения», чтобы посмотреть ценность нашего курса.
  

1. NPS отдела исследований.
2. NPS каждого исследования.
   
3. CSI по окончании проекта с оценкой от продуктовой команды.
   
4. Количество проведенных исследовательских сессий (начаты/закончены).
   
5. Количество исследований, ушедших в стол.
   
6. Количество прерванных исследований.
   
7. Скорость привлечения респондента на интервью (от обращения до интервью).
   
8. Прирост теплой базы респондентов, готовых участвовать в исследованиях.
   
9. Средняя длительность этапа исследований.
   
10. Пропускная способность исследователя по количеству исследований за определенный промежуток времени.
    
11. Скорость ответа на запрос.
    

• NPS необъективен из-за личного отношения к исследователю внутри команды — это может повлиять на оценку. Можно ли сделать ее хотя бы примерно объективной? Возможно, если вы привлечете внешнюю команду.
• Продакт-менеджеры обычно очень заняты и иногда проставляют оценки в CSI наобум, просто потому что им это не очень важно в моменте. Надо изначально пояснять ценность обратной связи.
  
• Считать начатые сессии неактуально, если вы работаете по спринтам.
  
• Незаконченные сессии не всегда зависят от исследователя: приоритеты могут измениться у команды, бизнеса, да вообще что угодно может случиться.
  
• Прирост теплой базы — это хорошо, но гораздо сложнее организовать исследования по нелояльным пользователям.
  
• Длительность этапа, например интервью, часто зависит от сложности респондентов (если подбор делает сам ресечер) или от бюджета (если за подбор отвечает рекрутинговая компания).
  
• Анализировать пропускную способность может быть трудно: исследования разные, их длительность зависит от сложности дизайна и количества этапов (по опыту Учи.ру — от нескольких часов до нескольких месяцев).
  
• Скорость ответа на запрос подходит, когда исследовательский отдел не сильно погружен в продукт, его стратегию, принятие бизнес-решений и выполняет, скорее, сервисную функцию. В иных случаях это KPI ради KPI.
  

• CSI от участников продуктовой команды, задействованных в процессе, по параметрам «скорость исследования», «качество и наглядность результата», «комфортность работы с исследователем» и «вовлеченность исследователя» вместе с NPS.
• Количество незаконченных исследований — разбираемся в причинах и смотрим, можем ли сократить со своей стороны.
  
• Количество исследований на исследователя в месяц — считаем корреляцию: сравниваем загрузку и CSI.
  

• У нас есть зона роста в плане сроков исследования: этот параметр был одним из самых важных для респондентов (4,5 из 5) и при этом у него была низкая оценка (3 из 5). Все остальное (вовлеченность исследователя, качество результатов, корректность в общении) оказалось либо менее важно, либо получило хорошую оценку.
• NPS получили подозрительно высокий — порядка 70. Исследовательский ум, конечно, сомневается в этой цифре, поэтому будем смотреть в динамике. Предполагаем, что в выборку не попали те, кому что-то не нравится, или они не захотели заполнять анкету.

1. Совокупность количества запросов на полноценное исследование (не «просто спросить» или «кнопочку потестить») на одного исследователя от конкретной команды и числа команд, которые обращаются к исследованиям, в месяц.
2. Количество обращений к базе знаний (хотя коммуникацию можно строить и без обращений).
   
3. Коэффициент доверия к базе знаний.
   
4. Тест на знание процессов отдела исследований и средняя оценка на отдел в разрезе старичков/новичков.
   
5. Количество публикаций про исследования внутри компании (внутренние чаты, портал, рассылки и т. п.), их охват и вовлеченность.
   
6. Количество проведенных обучающих мероприятий.
   

• Возможно, кроме вас, никто не будет смотреть эти метрики. Вообще, замерять это стоит, только если в компании есть запрос на внедрение CX-культуры.
• Количество запросов может быть связано не с исследователем или доверием к отделу исследований, а с задачами команды — их просто может быть очень много, например, на стадии развития нового направления. Еще могут часто обращаться от безысходности.
  
• Да, можно измерить удовлетворенность структурностью, удобством, полнотой базы знаний, но, чтобы оценка была репрезентативной, нужно смотреть еще и на количество обращений к ней, а это не всегда возможно.
  
• Обучение обучению рознь — об этом дальше.
  

• Мы думали про количество обращений к отделу исследований, но отказались от этой метрики. Пока просто смотрим на количество обращений в духе «объясните мне, я не понимаю, как начать исследование» или «расскажите, как вы работаете». Чем меньше их становится (не берем в расчет новых сотрудников), тем лучше прозрачность.
• Также мы считали количество проведенных обучающих мероприятий, но поняли, что это плюс-минус бесполезно. Мы не понимали, насколько эффективно обучение влияло на работу продактов, хотя нам говорили: «Ребята, все классно!» Сейчас думаем над метриками, которые бы показывали эффективность разных учебных форматов — чаще всего они у нас очень точечные и короткие.
  
• В итоге пока никак евангелизм не измеряем, возможно, поймем смысл и научимся в будущем. Однако бэклог по исследованиям на два месяца вперед говорит о том, что команды видят в этом ценность. Может быть, рост бэклога и количества запросов на исследователя — это наши CX-метрики. Будем смотреть, как они будут изменяться в зависимости от числа команд. При этом мы понимаем, что эти метрики нельзя использовать, если отдел исследований начнет выступать в роли «таможни» (без исследований фича не идет в прод) или если у продуктовых отделов появятся свои KPI, которые будут включать количество поставленных задач на исследование. Пока у нас таких KPI и «таможни» нет.
  

1. Количество исследований, которые фактически повлияли на изменение продукта.
2. NPS от продуктовой команды конкретно по исследователю.
   
3. Оценка методом «360 градусов».
   
4. Регулярная оценка компетенций (РОК).
   
5. Количество используемых исследователем методологий и фреймворков.

• Количество внедренных исследований не всегда зависит от исследователя, даже если он вместе с продактом продумал RoadMap их внедрения. Могут поменяться приоритеты бизнеса, уйти люди из команды или еще что-нибудь подобное — и даже самое многообещающее решение переместится в долгий ящик.
• NPS, как я уже писал, иногда искажается из-за личных отношений между коллегами.
  
• Метод «360 градусов» не показывает достижений сотрудника, он определяет его текущие компетенций, то есть оценка получается неполная.
  
• Хорошо, когда исследователь владеет большим количеством методологий, но, как показывает практика, для решения 80–90% задач пригождается лишь 20% из них. Отчасти такая пропорция возникает потому, что исследователи набили на них руку, а продакты видят (или им кажется, что видят) результаты. С одной стороны, профессионализм исследователя заключается как раз в применении разных методологий, с другой — это не должно быть самоцелью: какие-то из них вообще могут быть неприменимы в некоторых ситуациях. Кажется, лучше все-таки смотреть не количество методологий, а качество их применения.
  

• Пока у нас нет больших задач по росту отдела, поэтому количество резюме (и вообще HR-метрики и метрики узнаваемости команды) нас не очень интересует. Будем расти — будем думать.
• Внедряем РОК (регулярную оценку компетенций) — прописали компетенции исследователя, сделали подход к грейдам и будем стараться их оценивать (это отдельная большая тема).
  
• Стараемся каждый месяц применять как минимум одну новую методологию, которая дает результат. Например, FCT и другие виды UX-тестов. Составляем семантические дифференциалы, думаем про QFD-матрицы и т. п.
  

1. CSI по параметру «рост понимания ЦА / знаний о ней».
2. Количество составленных и защищенных перед командой портретов ЦА.
   
3. Количество исследований, которые заканчиваются после обращения к базе знаний (хотели узнать — зашли в базу знаний — взяли оттуда результат).
   
4. Широта запросов про понимание ЦА (чтобы запрос приходил не только от продактов, но и от маркетинга, PR, HR и т. п.).
   
5. Количество запросов про понимание ЦА, сформированных на основе продуктовых данных о пользователе.
   

• Понимание ЦА — параметр довольно абстрактный. Сначала нужно описать, как оно будет измеряться количественно. Например, по LTV сегмента и его динамике во времени. Но все равно это будет косвенно, как и в любых других метриках.
• Считать количество обращений в базу знаний может быть просто нецелесообразно: больше потратите сил на это, чем получите профита.
  
• С оценкой ЦА от исследователя может быть не согласен продакт.
  

• Мы решили понимание ЦА тоже пока не оценивать. Продакты говорят, что они начинают «лучше понимать ЦА», да и запросы на исследования стали более конкретными: по паттернам или сегментам — на этом этапе нам это кажется достаточным.
• Защищать портреты довольно сложно, потому что они все время уточняются, появляются новые сегменты, меняется команда. В общем, решили не усложнять и тоже не включать в KPI.
  
• Не стали считать запросы про ЦА, но подмечаем увеличение запросов на понимание конкретных сегментов. Наши заказчики уже понимают картину в целом и переходят к частностям.
  

Исследователи без стремления оценить свою полезность и донести свою ценность для бизнеса — это НИИ с весьма сомнительной пользой для компании. Быть НИИ не плохо, но следует помнить о стратегических и операционных целях компании. Если нужен результат здесь и сейчас (если вы, к примеру, в стартапах или инвестиционных проектах), то от исследователей ждут постоянных практических результатов. Если у вас есть возможность и бюджеты искать отдаленные рисковые перспективы, делать прыжки веры или в фоновом режиме открывать «голубые океаны», тогда можно позволить себе быть теоретиками и собирать данные, которые могут никогда не пригодиться.

Чтобы ваш вклад в развитие компании был ощутим:

• изначально обсудите с руководством, как оно будет оценивать ваши успехи и чего вообще ожидает от исследований;
• определитесь, как ваши заказчики будут оценивать полезность ваших исследований и взаимодействие с вами;
  
• подумайте, как вы сами будете оценивать свой вклад в компанию и по каким метрикам/данным поймете, что компания выросла благодаря вам;
  
• если можете, посчитайте ваш вклад во внедрение конкретных решений или изменения;
  
• постарайтесь оценить, как при этом вы сами выросли профессионально.
  

Мне эти пункты кажутся ключевыми, но вы можете не согласиться. Эта статья не панацея: она не даст единственно правильного способа измерить эффективность исследований. В каждом случае своя специфика аудитории, структура и цели компании, уровень CX и другие факторы. Это только один из подходов к этому сложному вопросу и возможный катализатор рефлексии. Приглашаю всех в комментарии — делитесь опытом.

Благодарю за помощь в написании статьи Диму Хими, Дарью Хлопову, Александра Фенина, Дмитрия Соловьева, Марию Антропову, Алину Ермакову, Максима Королева и Ольгу Ржанову.