Обращения пользователей помогают искать и проверять продуктовые гипотезы: как с этим работать

Советы бывшего владельца продукта «Альфа-банка» Екатерины Снегиревой.

В ежедневной рутине менеджера по продукту всегда есть особые средства, которые помогают легче жить. У одних это Google Analytics, Appsflyer и всевозможные системы аналитики, у других витрины данных, из которых SQL-запросами можно достать всё необходимое.

Кто-то регулярно уходит «в поля», проводит глубинные интервью и работает в офисе поддержки. Кто-то строит предсказывающие модели, другие исследуют рынок и держат руку на пульсе трендов.

Построив свою инфраструктуру полезных источников инсайтов, я поняла, что все чаще начала использовать данные обратной связи пользователей мобильного банка «Альфа-мобайл».

В мобильном приложении «Альфа-банка» есть чат, в котором можно задать любые вопросы специально обученным сотрудникам, получить на них ответы и выполнить какую-либо операцию с их помощью.

Информацию из обращений чата мы с командой начали использовать постепенно. Сначала наблюдали реакции пользователей после релизов, замечали и исправляли неточности в интерфейсе пользователя, находили «слепые» зоны, которые не всегда можно проверить usability-тестированиями.

Затем собирали инсайты для новых функций, видели реальные ежедневные потребности пользователей и многое другое. Всё это принесло много пользы, поэтому не лишним будет рассказать о нашем подходе к структурированию обратной связи и вариантах его использования не только в продуктовых задачах.

Каждый день тысячи человек пользуются продуктом, пишут предложения и задают вопросы в чате. В наших руках инструмент качественного сбора гипотез и пользовательских проблем, основанный на обратной связи.

После публикации новой версии приложения мы можем в реальном времени собирать отклики, вопросы и недовольства по той или иной функции, по связанным с ней ключевым словам. Затем валидируем и используем эти данные.

Если у вас есть возможность сделать для себя такой инструмент, разбейте всю обратную связь по тематическим группам и добавьте поиск по ключевым словам внутри обращений.

Такая аналитика диалогов позволит держать руку на пульсе и фиксировать число упоминаний о функции или продукте, знать тональность обращений. Если постараться, можно даже вывести коэффициент удовлетворённости продуктом (наподобие CSAT или NPS) или отдельными функциями как раз на основе количества и тональности обращений.

Важно настроить процесс сегментации обращений настолько подробно, насколько это возможно внутри вашей системы.

Если анализировать категорию «Все пользователи», то в одну кучу свалятся клиенты с разной историей, статусами и потребностями. Те, кто использует одну функцию будут рядом с теми, кто использует все возможности. Те, кто пришёл вчера по баннеру и не нашёл обещанного, и те, кто с вами уже пару лет.

Сегментировать можно абсолютно по любым признакам, всё довольно гибко и зависит от ваших задач и инструментов.

Можно брать крупные сегменты: разделять пользователей по типу потребляемых продуктов, потом разбить по доходам, потом по активности и частоте использования, по свойствам, интересам и так далее.

Потом добавить временные признаки: когда пришёл пользователь, на какой продукт, как развивались его отношения с этим продуктом, пользуется ли он услугами конкурентов и так далее. Уточнять выборку можно до бесконечности, это всегда интересно. Но важно понимать, на какие вопросы для бизнеса вам поможет ответить сегментация.

Например, какой вывод можно сделать по сегменту пользователей «мужчины старше сорока лет из России, активные в продукте два раза в неделю, составляющие 40% MAU продукта»?

Никакого, но можно посмотреть на характер их активности, на используемые функции и выявить тренды, которые помогают создать новые полезные сегменты.

Так, например, можно увидеть, что оплата Steam и онлайн-игр занимает у половины этой аудитории львиную долю активности. Затем можно проверить финансовый потенциал и принять решение о развитии в продукте партнёрской программы с разработчиками онлайн-игр.

Для максимальной пользы — сегментируйте.

Пользователи, которые оставляют обратную связь, отличаются друг от друга только тональностью обращений — позитивной или негативной. Ценность этой информации для менеджера по продукту заключается в том, что обе группы уже пользуются продуктом и, как правило, хотят пользоваться им дальше.

Разница лишь в том, что одних клиентов сервис порадовал, они пишут благодарности и удивляются, что мы добавили новые функции, например, «Запрос денег» (ссылка, которая помогает оплатить ужин в складчину) или «Семейный счёт» — счёт, которым могут пользоваться все члены семьи, чтобы копить и тратить средства вместе.

Другие пользователи расстроены недоработками или недостаточной функциональностью приложения, но хотят продолжить работу в нормальном режиме, поэтому пишут письма в техподдержку, звонят в call-центр и подолгу общаются с операторами чатов поддержки.

Пользователи, оставляющие обратную связь, имеют высокий уровень вовлечения в продукт и высокий empathy index. С такими клиентами важно работать плотнее.

Качественная выборка, основанная на обратной связи, должна быть обязательно подтверждена количественными показателями.

Способы могут быть разными и важно не лениться это делать, потому что одна не подтверждённая, но реализованная гипотеза может стоить компании десятков, а может быть и сотен тысяч долларов, потраченных впустую.

Чтобы провалидировать гипотезу, проводите email-опросы, аккуратные обзвоны, привлекайте компании, которые занимаются социологическими исследованиями и анкетированием, общайтесь со стейкхолдерами, ищите подтверждения в ваших данных и анализе конкурентов, а также в общедоступных рыночных исследованиях.

Инсайт из обратной связи — это только гипотеза. Вы должны получить информацию об актуальности и масштабу проблемы, которую решаете, прежде чем приступить к работе.

Идеальный кейс подтверждения количественных гипотез — данные внутри вашего инструмента сбора обратной связи. Когда все обращения пользователей разбиты по тематическим топикам, фиксируется количество диалогов нужной тематики в единицу времени.

В начале выполнения задачи это поможет определить приоритет в разработке исходя из охвата тем.

Можно разделять пользователей в обращениях на давно пришедших и новых. Это поможет увидеть, что в продукте нужно доработать для новичков, и понять, что чаще всего огорчает активных пользователей, которые с вами давно.

Пользователь не может найти в интерфейсе нужную функцию: «А как я могу сделать вот это? Где квитанции за коммунальные услуги? Сколько кэшбэка я получу в этом месяце?» В обращениях можно наткнуться на вопросы о функциях, которые уже присутствует в продукте, но плохо выделены или находятся через пять-семь кликов с главной страницы.

Видели в городе тропинки, которые люди прокладывают сами, игнорируя предлагаемые заасфальтированные тротуары (потому что быстрее)? В обратной связи очень часто можно столкнуться с операциями, которые пользователь хотел бы нативно делать через чат, но получает отказ от оператора.

На волне тренда чат-ботов, когда через чат, кажется, можно делать всё, пользователи часто прощупывают функциональность сервиса на доступность разных опций. Я, к примеру, часто прошу, чтобы за меня сделали выписку за определённый период, чтобы узнать траты и не пользоваться фильтрами.

Собирайте такие пожелания и внедряйте процессы через чат. Нередко это бывает дешевле и быстрее, чем делать новые и новые функции в продукте.

Ни для кого не секрет, что самая частая причина обращения в поддержку — жалоба на нестабильную или некорректную работу приложения. Отличным индикатором проблем в старом варианте продукта может стать и обратная связь. Верно настроенный отчёт по обращениям может отлично дополнить любой системный отчёт о багах.

На пути открытия возможностей улучшения самой техподдержки можно воспользоваться поиском по стандартным скриптам ответов операторов.

Соберите и сгруппируйте кейсы, когда оператор отвечал, что необходим звонок на горячую линию, или скриншот, или присутствие в офлайн-представительстве для решения каких-либо вопросов.

Количественно определите масштаб и частотность кейса. Какие пользователи каких тарифных планов, пакетов услуг и в каких регионах сталкиваются с ним. Оцените доработки в процессе.

Ничто так не радует и не вовлекает пользователя в продукт, как волшебно настроенные и гладко идущие процессы.

P. S. В абзаце про тональность выборки не было рассказано о технической стороне разбора тональности, работе с текстами и сентимент-анализе в деталях, так как пока вопросов здесь больше, чем ответов. Но могу порекомендовать потестировать систему лингвистического анализа текстов модульного типа Eureka Engine.

Кстати, про сентимент-анализ: очень интересно узнать, какие ещё сейчас существуют рабочие методы семантического анализа и определения тональности текста. Что у них с результатами оценки качества и точности, есть ли кейсы по его использованию. С удовольствием почитаю, если покидаете ссылок .

#маркетинг