Уже все знают, что продуктовые исследования нужны. Но где доказательства?
Правда, что если у отдела исследований нет KPI, это НИИ теоретиков? Как посчитать эффективность продуктового ресерча? Разбираемся с метриками эффективности отдела СX/UX-исследований.
С каждым годом становится все меньше компаний, которым нужно объяснять, в чем ценность UX-исследований и вообще работы с пользовательским опытом. И что не только правильный маркетинг приводит клиентов. Отчасти тенденцию можно отследить по экспоненциально увеличивающемуся количеству вакансий исследователей. В пандемию, кажется, их стало еще больше (в какой-то момент я увидел прирост по вакансиям): все хотят привлечь новых пользователей и не потерять старых — для этого и нужна помощь ресечеров.
В последнем отчете Gartner Marketing Predictions for 2021 and Beyond предсказывается, что к 2023 году 25% компаний сольют маркетинг, отдел продаж и CX в единую функцию. И дальше этот тренд будет только усиливаться. Вероятно, будет очень сложно разделить и по отдельности оценить и «окипиаить» влияние того или иного департамента в успешности продукта.
Однако, когда изучаешь вакансии, возникает мысль: а как конкретная компания планирует измерять эффективность исследователя? Часто в описании перечисляются стандартные навыки и программы, не привязанные к задачам и целям. На собеседовании же высока вероятность не получить четкого ответа на вопрос: «Почему вы считаете важным, чтобы исследователь умел вот это, и зачем вы хотите измерять вот то?»
Как-то раз руководитель обратился ко мне с запросом: «Я понимаю, что исследования ценны, но очень хочется увидеть, как именно они влияют на продукт и компанию. Ты сможешь посчитать?»
Сначала я подумал: легко, сейчас соберу данные. Но когда начал анализировать последние исследования, получил такие результаты:
- Провели исследование за N дней и обнаружили несколько барьеров для определенной категории пользователей, мешающих им перейти с исследуемого на основной продукт компании. Продакт взял их в работу и постарался устранить.
- Через три месяца после исследования входящий поток новых пользователей увеличился на N%.
- Увеличившийся поток конвертировался в деньги хуже, чем обычно, но компания все равно получила небольшой прирост в деньгах — на N%.
Дальше я обнаружил проблему: как оцифровать конкретное влияние исследований? В первом случае я пока не знаю результатов внедрения новой фичи и не понимаю, когда они будут. Во втором выяснилось, что помимо исследования на приток пользователей влияла работа команды и PR. Ситуация, похожая на третий случай, была и в прошлом году — и это тоже нужно учитывать.
Так что же считать критерием успешности исследования? Прирост в деньгах, факт обнаружения барьеров, факт взятия в работу результатов — что из этого может стать полноценными KPI?
В итоге вопрос про критерии успеха мы переформулировали:
С точки зрения руководства, повышение эффективности инвестиций — одна из ключевых задач, поэтому, если вы создаете отдел исследований, приходите единственным исследователем в компанию или даже работаете на стороне агентства, продумывайте критерии успеха заранее и дорабатывайте в процессе (в агентстве, вероятно, перед каждым проектом). Что мы и начали делать.
Почему все неоднозначно
С отделом исследований ситуация сложнее, чем, к примеру, отделом продаж, где четко можно оценить ROI каждого сотрудника. Это обусловлено несколькими причинами:
- Не всегда пользу от исследований/исследователя можно оцифровать. Например, хорошая идея или совет от исследователя может дать ускорение продукту, но реализовывать их будут другие сотрудники компании, за которых он отвечать не может. В идеале исследования влияют на стратегию, позволяют открыть новые сегменты и «голубые океаны».
- Не всегда исследование влияет напрямую на деньги и не всегда продуктовые метрики напрямую коррелируют с деньгами. Допустим, мы хотим повысить DAU/MAU или уровень пользовательского счастья, но не всегда (особенно в продуктах с частично бесплатным контентом) это сказывается непосредственно на прибыли, и вообще эта история может быть очень долгосрочной. А еще исследование может показать, какой контент нужен целевой аудитории, но не дать понимания, как его монетизировать.
- Меняются условия рынка, и часто это не предусмотреть. Далеко за примером ходить не нужно: пандемия свела на нет модели монетизации многих продуктов, изменила способы и частоту их потребления. Многие актуальные и качественные исследования оказались отчасти бесполезными, правда KPI продуктовых команд тоже стали неактуальными по этой же глобальной причине.
- К сожалению, не все компании созрели настолько, чтобы использовать исследования для масштабных бизнес-решений. Безусловно, это не обязательное условие для расчета ROI, но без него диапазон UX-инициатив ограничен.
Это только часть причин — некоторые просто зависят от специфики отрасли. Так, трудно оценить вклад исследователя в некоммерческих проектах, которые в принципе не подразумевают прибыльности.
И что получается, бесполезно измерять? Все тлен и необъективно?
Безусловно нет, просто нужно изначально понимать контекст, в котором существуют компания, ее руководство, и место исследователя в системе координат бизнеса. В каждом случае нужно подбирать свою комбинацию метрик.
В желании оцифровать свою деятельность легко попасть в ловушку восприятия. Если одна из ваших задач — обучить исследованиям продуктовую команду, то метрики «количество проведенных обучающих мероприятий» будет недостаточно. В этом случае результат можно будет оценить по тому, как продуктовая команда стала использовать ваше обучение в работе.
По совету руководителя исследований в Qiwi Дмитрия Соловьева, мы попробовали разбить направления нашей деятельности на сегменты. Затем в каждом из них расписали все возможные, на наш взгляд, KPI и попробовали их внедрить.
Сегментация исследовательских KPI
Мы выделили приоритетные направления деятельности отдела:
изменение продукта в лучшую сторону и ROI;
организация и проведение продуктовых исследований;
- UX-евангелизм, обучение, рост прозрачности процесса исследований;
- развитие отдела исследований;
- понимание ЦА, с которой работаем.
Далее разбили каждое из них на показатели (KPI): конкретные — те, которые можно оценить количественно, и неконкретные — те, которые оценить количественно либо невозможно, либо крайне проблематично (придется учитывать массу влияющих факторов). Начали анализировать и те, и другие.
- Рост ARPPU, ROI, среднего чека и других денежных метрик, показывающих рост платежеспособной ЦА среди клиентов.
- Рост продуктовых метрик (все виды Retention, DAU/MAU/WAU и т. п.).
- Снижение Churn Rate.
- Снижение Customer Acquisition Cost или повышение Life Time Value и анализ прочих метрик стимулирования продаж.
- Количество найденных/внедренных инсайтов.
- NPS, СSI, CLI и CSAT по пользователям.
- Количество гипотез, которые валидирует исследователь.
Нюансы и влияющие факторы:
- С ROI все неоднозначно: оно не может быть точным и его сложно спрогнозировать, так как продукт меняется после исследований и есть еще внешние факторы. Нет сферических исследований в вакууме.
- Следует измерять показатели после каждого исследования в оговоренном заранее промежутке времени и по конкретной аудитории, иначе это будет как из пушки по воробьями и вряд ли репрезентативно.
- Иногда на денежные метрики воздействует множество внешних факторов и нельзя сказать, что на ARPPU повлияло только исследование. Проговорите это заранее с продуктовой командой.
- Retention и продуктовые метрики могут вырасти не сразу, иногда через несколько месяцев. Обсудите, когда вы будете смотреть результаты и почему выбрали этот срок.
- Из-за того что исследователи воздействуют на продукт только косвенно, через рекомендации, прямое их влияние на KPI продуктовых менеджеров возможно только в том случае, когда работа исследователей глубоко интегрирована в продукт и их рекомендации реально берутся в работу в рамках заранее оговоренного периода времени.
- Количество респондентских или кабинетных инсайтов может быть непоказательным. Во-первых, не все респонденты обладают достаточным количеством информации и готовы ей делиться. Во-вторых, иногда первый инсайт переворачивает исследование полностью или отменяет его. В-третьих, не каждый найденный информационный алмаз станет в итоге бриллиантом. Что касается инсайтов из данных, то очень многое зависит от того, как в компании в принципе работают с данными и как настроена аналитика, — с этим тоже могут быть проблемы.
- Есть несколько проблем с метриками удовлетворенности продуктом: техподдержкой, ценой и любыми другими параметрами. Первая — смещение ответов в сторону лояльной аудитории, потому что нелояльная часто не готова тратить время на опросники. Вторая — бизнес не всегда понимает, что делать с такими показателями.
Что выбрали в Учи.ру:
- Постепенно привязываемся к продуктовым и бизнес-метрикам, хотя делаем скидку на то, что не влияем на сроки реализации фичи и решение в итоге все равно принимает продакт. Допустим у команды есть цель — рост показателя retention второй недели. Тогда в качестве цели исследователя может быть сбор причин ухода пользователей из сервиса, составление списка барьеров и roadmap улучшений.
- Пока не привязываемся напрямую к деньгам, потому что на них влияем только косвенно: просто понимаем, что есть фичи, которые сделаны после наших исследований, а есть те, которые прошли мимо нас. В идеале нам нужно стремиться к формату западных компаний, когда запуск продукта в принципе невозможен без исследований.
- В планах — поработать с одной из продуктовых команд в таком формате: заранее договориться о сроках запуска фичи, запустить ее и посмотреть, помогут ли исследования выбрать направление деятельности, которое принесет ожидаемую выручку за N времени.
- Хотим начать регулярно измерять NPS по всем основным ЦА: смотреть в динамике и в разрезе регионов. Если где-то будут низкие показатели, будем разбираться в причинах.
- Планируем персонализировать CSI под каждую продуктовую команду и использовать параметры из их KPI нужного периода времени. Если в планах будут стоять задачи по улучшению качества контента, возьмем этот показатель. Или добавим параметр «удовлетворенность ученика изменениями после обучения», чтобы посмотреть ценность нашего курса.
- NPS отдела исследований.
- NPS каждого исследования.
- CSI по окончании проекта с оценкой от продуктовой команды.
- Количество проведенных исследовательских сессий (начаты/закончены).
- Количество исследований, ушедших в стол.
- Количество прерванных исследований.
- Скорость привлечения респондента на интервью (от обращения до интервью).
- Прирост теплой базы респондентов, готовых участвовать в исследованиях.
- Средняя длительность этапа исследований.
- Пропускная способность исследователя по количеству исследований за определенный промежуток времени.
- Скорость ответа на запрос.
Нюансы и влияющие факторы:
- NPS необъективен из-за личного отношения к исследователю внутри команды — это может повлиять на оценку. Можно ли сделать ее хотя бы примерно объективной? Возможно, если вы привлечете внешнюю команду.
- Продакт-менеджеры обычно очень заняты и иногда проставляют оценки в CSI наобум, просто потому что им это не очень важно в моменте. Надо изначально пояснять ценность обратной связи.
- Считать начатые сессии неактуально, если вы работаете по спринтам.
- Незаконченные сессии не всегда зависят от исследователя: приоритеты могут измениться у команды, бизнеса, да вообще что угодно может случиться.
- Прирост теплой базы — это хорошо, но гораздо сложнее организовать исследования по нелояльным пользователям.
- Длительность этапа, например интервью, часто зависит от сложности респондентов (если подбор делает сам ресечер) или от бюджета (если за подбор отвечает рекрутинговая компания).
- Анализировать пропускную способность может быть трудно: исследования разные, их длительность зависит от сложности дизайна и количества этапов (по опыту Учи.ру — от нескольких часов до нескольких месяцев).
- Скорость ответа на запрос подходит, когда исследовательский отдел не сильно погружен в продукт, его стратегию, принятие бизнес-решений и выполняет, скорее, сервисную функцию. В иных случаях это KPI ради KPI.
Что выбрали в Учи.ру:
- CSI от участников продуктовой команды, задействованных в процессе, по параметрам «скорость исследования», «качество и наглядность результата», «комфортность работы с исследователем» и «вовлеченность исследователя» вместе с NPS.
- Количество незаконченных исследований — разбираемся в причинах и смотрим, можем ли сократить со своей стороны.
- Количество исследований на исследователя в месяц — считаем корреляцию: сравниваем загрузку и CSI.
Сделали первый срез по CSI, почитали NPS и поняли две вещи:
- У нас есть зона роста в плане сроков исследования: этот параметр был одним из самых важных для респондентов (4,5 из 5) и при этом у него была низкая оценка (3 из 5). Все остальное (вовлеченность исследователя, качество результатов, корректность в общении) оказалось либо менее важно, либо получило хорошую оценку.
- NPS получили подозрительно высокий — порядка 70. Исследовательский ум, конечно, сомневается в этой цифре, поэтому будем смотреть в динамике. Предполагаем, что в выборку не попали те, кому что-то не нравится, или они не захотели заполнять анкету.
- Совокупность количества запросов на полноценное исследование (не «просто спросить» или «кнопочку потестить») на одного исследователя от конкретной команды и числа команд, которые обращаются к исследованиям, в месяц.
- Количество обращений к базе знаний (хотя коммуникацию можно строить и без обращений).
- Коэффициент доверия к базе знаний.
- Тест на знание процессов отдела исследований и средняя оценка на отдел в разрезе старичков/новичков.
- Количество публикаций про исследования внутри компании (внутренние чаты, портал, рассылки и т. п.), их охват и вовлеченность.
- Количество проведенных обучающих мероприятий.
Нюансы и влияющие факторы:
- Возможно, кроме вас, никто не будет смотреть эти метрики. Вообще, замерять это стоит, только если в компании есть запрос на внедрение CX-культуры.
- Количество запросов может быть связано не с исследователем или доверием к отделу исследований, а с задачами команды — их просто может быть очень много, например, на стадии развития нового направления. Еще могут часто обращаться от безысходности.
- Да, можно измерить удовлетворенность структурностью, удобством, полнотой базы знаний, но, чтобы оценка была репрезентативной, нужно смотреть еще и на количество обращений к ней, а это не всегда возможно.
- Обучение обучению рознь — об этом дальше.
Что выбрали в Учи.ру:
- Мы думали про количество обращений к отделу исследований, но отказались от этой метрики. Пока просто смотрим на количество обращений в духе «объясните мне, я не понимаю, как начать исследование» или «расскажите, как вы работаете». Чем меньше их становится (не берем в расчет новых сотрудников), тем лучше прозрачность.
- Также мы считали количество проведенных обучающих мероприятий, но поняли, что это плюс-минус бесполезно. Мы не понимали, насколько эффективно обучение влияло на работу продактов, хотя нам говорили: «Ребята, все классно!» Сейчас думаем над метриками, которые бы показывали эффективность разных учебных форматов — чаще всего они у нас очень точечные и короткие.
- В итоге пока никак евангелизм не измеряем, возможно, поймем смысл и научимся в будущем. Однако бэклог по исследованиям на два месяца вперед говорит о том, что команды видят в этом ценность. Может быть, рост бэклога и количества запросов на исследователя — это наши CX-метрики. Будем смотреть, как они будут изменяться в зависимости от числа команд. При этом мы понимаем, что эти метрики нельзя использовать, если отдел исследований начнет выступать в роли «таможни» (без исследований фича не идет в прод) или если у продуктовых отделов появятся свои KPI, которые будут включать количество поставленных задач на исследование. Пока у нас таких KPI и «таможни» нет.
- Количество исследований, которые фактически повлияли на изменение продукта.
- NPS от продуктовой команды конкретно по исследователю.
- Оценка методом «360 градусов».
- Регулярная оценка компетенций (РОК).
- Количество используемых исследователем методологий и фреймворков.
Нюансы и влияющие факторы:
- Количество внедренных исследований не всегда зависит от исследователя, даже если он вместе с продактом продумал RoadMap их внедрения. Могут поменяться приоритеты бизнеса, уйти люди из команды или еще что-нибудь подобное — и даже самое многообещающее решение переместится в долгий ящик.
- NPS, как я уже писал, иногда искажается из-за личных отношений между коллегами.
- Метод «360 градусов» не показывает достижений сотрудника, он определяет его текущие компетенций, то есть оценка получается неполная.
- Хорошо, когда исследователь владеет большим количеством методологий, но, как показывает практика, для решения 80–90% задач пригождается лишь 20% из них. Отчасти такая пропорция возникает потому, что исследователи набили на них руку, а продакты видят (или им кажется, что видят) результаты. С одной стороны, профессионализм исследователя заключается как раз в применении разных методологий, с другой — это не должно быть самоцелью: какие-то из них вообще могут быть неприменимы в некоторых ситуациях. Кажется, лучше все-таки смотреть не количество методологий, а качество их применения.
Что выбрали в Учи.ру:
- Пока у нас нет больших задач по росту отдела, поэтому количество резюме (и вообще HR-метрики и метрики узнаваемости команды) нас не очень интересует. Будем расти — будем думать.
- Внедряем РОК (регулярную оценку компетенций) — прописали компетенции исследователя, сделали подход к грейдам и будем стараться их оценивать (это отдельная большая тема).
- Стараемся каждый месяц применять как минимум одну новую методологию, которая дает результат. Например, FCT и другие виды UX-тестов. Составляем семантические дифференциалы, думаем про QFD-матрицы и т. п.
- CSI по параметру «рост понимания ЦА / знаний о ней».
- Количество составленных и защищенных перед командой портретов ЦА.
- Количество исследований, которые заканчиваются после обращения к базе знаний (хотели узнать — зашли в базу знаний — взяли оттуда результат).
- Широта запросов про понимание ЦА (чтобы запрос приходил не только от продактов, но и от маркетинга, PR, HR и т. п.).
- Количество запросов про понимание ЦА, сформированных на основе продуктовых данных о пользователе.
Нюансы и влияющие факторы:
- Понимание ЦА — параметр довольно абстрактный. Сначала нужно описать, как оно будет измеряться количественно. Например, по LTV сегмента и его динамике во времени. Но все равно это будет косвенно, как и в любых других метриках.
- Считать количество обращений в базу знаний может быть просто нецелесообразно: больше потратите сил на это, чем получите профита.
- С оценкой ЦА от исследователя может быть не согласен продакт.
Что выбрали в Учи.ру:
- Мы решили понимание ЦА тоже пока не оценивать. Продакты говорят, что они начинают «лучше понимать ЦА», да и запросы на исследования стали более конкретными: по паттернам или сегментам — на этом этапе нам это кажется достаточным.
- Защищать портреты довольно сложно, потому что они все время уточняются, появляются новые сегменты, меняется команда. В общем, решили не усложнять и тоже не включать в KPI.
- Не стали считать запросы про ЦА, но подмечаем увеличение запросов на понимание конкретных сегментов. Наши заказчики уже понимают картину в целом и переходят к частностям.
Как считают эффективность в других компаниях
Так все же, исследователи без KPI — это НИИ? И плохо ли это?
Исследователи без стремления оценить свою полезность и донести свою ценность для бизнеса — это НИИ с весьма сомнительной пользой для компании. Быть НИИ не плохо, но следует помнить о стратегических и операционных целях компании. Если нужен результат здесь и сейчас (если вы, к примеру, в стартапах или инвестиционных проектах), то от исследователей ждут постоянных практических результатов. Если у вас есть возможность и бюджеты искать отдаленные рисковые перспективы, делать прыжки веры или в фоновом режиме открывать «голубые океаны», тогда можно позволить себе быть теоретиками и собирать данные, которые могут никогда не пригодиться.
Чтобы ваш вклад в развитие компании был ощутим:
- изначально обсудите с руководством, как оно будет оценивать ваши успехи и чего вообще ожидает от исследований;
- определитесь, как ваши заказчики будут оценивать полезность ваших исследований и взаимодействие с вами;
- подумайте, как вы сами будете оценивать свой вклад в компанию и по каким метрикам/данным поймете, что компания выросла благодаря вам;
- если можете, посчитайте ваш вклад во внедрение конкретных решений или изменения;
- постарайтесь оценить, как при этом вы сами выросли профессионально.
Мне эти пункты кажутся ключевыми, но вы можете не согласиться. Эта статья не панацея: она не даст единственно правильного способа измерить эффективность исследований. В каждом случае своя специфика аудитории, структура и цели компании, уровень CX и другие факторы. Это только один из подходов к этому сложному вопросу и возможный катализатор рефлексии. Приглашаю всех в комментарии — делитесь опытом.
Благодарю за помощь в написании статьи Диму Хими, Дарью Хлопову, Александра Фенина, Дмитрия Соловьева, Марию Антропову, Алину Ермакову, Максима Королева и Ольгу Ржанову.
Комментарий недоступен
Интересная статья, спасибо!
Не во всех крупных компаниях имеется команда ресерча.. Статья отлично аргументирует и подчеркивает необходимость развития в этом направлении. Борис, тебе отдельное спасибо 👍
Ничего себе мануал! Очень круто, спасибо!
Но вот на учи.ру с UX почему-то всё бедово
Проблемы с юзабилити есть всегда и у всех, важно просто их замечать и исправлять, что мы регулярно делаем. И всегда рады, когда пользователь находит то, что мы сами не видим - глаз иногда замылен.
Ага, и прочие цитируемые из Сбера и Яндекса с той же болячкой.
не боитесь что в итоге у вас в штате не будет ни одного нормального исследователя?
а почему мы должны этого бояться?
не вижу в этой схеме место для специалиста, какой-то сплошной analysis paralysis. но это чисто взгляд со стороны, интересно было бы понаблюдать.
Комментарий удален модератором
Комментарий удален модератором