Обращения пользователей помогают искать и проверять продуктовые гипотезы: как с этим работать

Советы бывшего владельца продукта «Альфа-банка» Екатерины Снегиревой.

Екатерина Снегирева

В ежедневной рутине менеджера по продукту всегда есть особые средства, которые помогают легче жить. У одних это Google Analytics, Appsflyer и всевозможные системы аналитики, у других витрины данных, из которых SQL-запросами можно достать всё необходимое.

Кто-то регулярно уходит «в поля», проводит глубинные интервью и работает в офисе поддержки. Кто-то строит предсказывающие модели, другие исследуют рынок и держат руку на пульсе трендов.

Построив свою инфраструктуру полезных источников инсайтов, я поняла, что все чаще начала использовать данные обратной связи пользователей мобильного банка «Альфа-мобайл».

В мобильном приложении «Альфа-банка» есть чат, в котором можно задать любые вопросы специально обученным сотрудникам, получить на них ответы и выполнить какую-либо операцию с их помощью.

Информацию из обращений чата мы с командой начали использовать постепенно. Сначала наблюдали реакции пользователей после релизов, замечали и исправляли неточности в интерфейсе пользователя, находили «слепые» зоны, которые не всегда можно проверить usability-тестированиями.

Затем собирали инсайты для новых функций, видели реальные ежедневные потребности пользователей и многое другое. Всё это принесло много пользы, поэтому не лишним будет рассказать о нашем подходе к структурированию обратной связи и вариантах его использования не только в продуктовых задачах.

Обращения, сгруппированные по темам

Каждый день тысячи человек пользуются продуктом, пишут предложения и задают вопросы в чате. В наших руках инструмент качественного сбора гипотез и пользовательских проблем, основанный на обратной связи.

После публикации новой версии приложения мы можем в реальном времени собирать отклики, вопросы и недовольства по той или иной функции, по связанным с ней ключевым словам. Затем валидируем и используем эти данные.

Если у вас есть возможность сделать для себя такой инструмент, разбейте всю обратную связь по тематическим группам и добавьте поиск по ключевым словам внутри обращений.

Такая аналитика диалогов позволит держать руку на пульсе и фиксировать число упоминаний о функции или продукте, знать тональность обращений. Если постараться, можно даже вывести коэффициент удовлетворённости продуктом (наподобие CSAT или NPS) или отдельными функциями как раз на основе количества и тональности обращений.

Сегментация выборки

Важно настроить процесс сегментации обращений настолько подробно, насколько это возможно внутри вашей системы.

Если анализировать категорию «Все пользователи», то в одну кучу свалятся клиенты с разной историей, статусами и потребностями. Те, кто использует одну функцию будут рядом с теми, кто использует все возможности. Те, кто пришёл вчера по баннеру и не нашёл обещанного, и те, кто с вами уже пару лет.

Сегментировать можно абсолютно по любым признакам, всё довольно гибко и зависит от ваших задач и инструментов.

Можно брать крупные сегменты: разделять пользователей по типу потребляемых продуктов, потом разбить по доходам, потом по активности и частоте использования, по свойствам, интересам и так далее.

Потом добавить временные признаки: когда пришёл пользователь, на какой продукт, как развивались его отношения с этим продуктом, пользуется ли он услугами конкурентов и так далее. Уточнять выборку можно до бесконечности, это всегда интересно. Но важно понимать, на какие вопросы для бизнеса вам поможет ответить сегментация.

Например, какой вывод можно сделать по сегменту пользователей «мужчины старше сорока лет из России, активные в продукте два раза в неделю, составляющие 40% MAU продукта»?

Никакого, но можно посмотреть на характер их активности, на используемые функции и выявить тренды, которые помогают создать новые полезные сегменты.

Так, например, можно увидеть, что оплата Steam и онлайн-игр занимает у половины этой аудитории львиную долю активности. Затем можно проверить финансовый потенциал и принять решение о развитии в продукте партнёрской программы с разработчиками онлайн-игр.

Для максимальной пользы — сегментируйте.

Разбор тональности выборки

Пользователи, которые оставляют обратную связь, отличаются друг от друга только тональностью обращений — позитивной или негативной. Ценность этой информации для менеджера по продукту заключается в том, что обе группы уже пользуются продуктом и, как правило, хотят пользоваться им дальше.

Разница лишь в том, что одних клиентов сервис порадовал, они пишут благодарности и удивляются, что мы добавили новые функции, например, «Запрос денег» (ссылка, которая помогает оплатить ужин в складчину) или «Семейный счёт» — счёт, которым могут пользоваться все члены семьи, чтобы копить и тратить средства вместе.

Другие пользователи расстроены недоработками или недостаточной функциональностью приложения, но хотят продолжить работу в нормальном режиме, поэтому пишут письма в техподдержку, звонят в call-центр и подолгу общаются с операторами чатов поддержки.

Пользователи, оставляющие обратную связь, имеют высокий уровень вовлечения в продукт и высокий empathy index. С такими клиентами важно работать плотнее.

Количеством подтверждайте качество

Качественная выборка, основанная на обратной связи, должна быть обязательно подтверждена количественными показателями.

Способы могут быть разными и важно не лениться это делать, потому что одна не подтверждённая, но реализованная гипотеза может стоить компании десятков, а может быть и сотен тысяч долларов, потраченных впустую.

Чтобы провалидировать гипотезу, проводите email-опросы, аккуратные обзвоны, привлекайте компании, которые занимаются социологическими исследованиями и анкетированием, общайтесь со стейкхолдерами, ищите подтверждения в ваших данных и анализе конкурентов, а также в общедоступных рыночных исследованиях.

Инсайт из обратной связи — это только гипотеза. Вы должны получить информацию об актуальности и масштабу проблемы, которую решаете, прежде чем приступить к работе.

Идеальный кейс подтверждения количественных гипотез — данные внутри вашего инструмента сбора обратной связи. Когда все обращения пользователей разбиты по тематическим топикам, фиксируется количество диалогов нужной тематики в единицу времени.

В начале выполнения задачи это поможет определить приоритет в разработке исходя из охвата тем.

Можно разделять пользователей в обращениях на давно пришедших и новых. Это поможет увидеть, что в продукте нужно доработать для новичков, и понять, что чаще всего огорчает активных пользователей, которые с вами давно.

Что еще можно делать с обратной связью

Поправить UX и пересмотреть элементы UI

Пользователь не может найти в интерфейсе нужную функцию: «А как я могу сделать вот это? Где квитанции за коммунальные услуги? Сколько кэшбэка я получу в этом месяце?» В обращениях можно наткнуться на вопросы о функциях, которые уже присутствует в продукте, но плохо выделены или находятся через пять-семь кликов с главной страницы.

Проводить Customer development в продукте; понять, какие функции можно не реализовывать, а перенести в чат

Видели в городе тропинки, которые люди прокладывают сами, игнорируя предлагаемые заасфальтированные тротуары (потому что быстрее)? В обратной связи очень часто можно столкнуться с операциями, которые пользователь хотел бы нативно делать через чат, но получает отказ от оператора.

На волне тренда чат-ботов, когда через чат, кажется, можно делать всё, пользователи часто прощупывают функциональность сервиса на доступность разных опций. Я, к примеру, часто прошу, чтобы за меня сделали выписку за определённый период, чтобы узнать траты и не пользоваться фильтрами.

Собирайте такие пожелания и внедряйте процессы через чат. Нередко это бывает дешевле и быстрее, чем делать новые и новые функции в продукте.

Дополненный отчёт о багах

Ни для кого не секрет, что самая частая причина обращения в поддержку — жалоба на нестабильную или некорректную работу приложения. Отличным индикатором проблем в старом варианте продукта может стать и обратная связь. Верно настроенный отчёт по обращениям может отлично дополнить любой системный отчёт о багах.

Оптимизация скриптов ответов для менеджеров поддержки

На пути открытия возможностей улучшения самой техподдержки можно воспользоваться поиском по стандартным скриптам ответов операторов.

Соберите и сгруппируйте кейсы, когда оператор отвечал, что необходим звонок на горячую линию, или скриншот, или присутствие в офлайн-представительстве для решения каких-либо вопросов.

Количественно определите масштаб и частотность кейса. Какие пользователи каких тарифных планов, пакетов услуг и в каких регионах сталкиваются с ним. Оцените доработки в процессе.

Ничто так не радует и не вовлекает пользователя в продукт, как волшебно настроенные и гладко идущие процессы.

P. S. В абзаце про тональность выборки не было рассказано о технической стороне разбора тональности, работе с текстами и сентимент-анализе в деталях, так как пока вопросов здесь больше, чем ответов. Но могу порекомендовать потестировать систему лингвистического анализа текстов модульного типа Eureka Engine.

Кстати, про сентимент-анализ: очень интересно узнать, какие ещё сейчас существуют рабочие методы семантического анализа и определения тональности текста. Что у них с результатами оценки качества и точности, есть ли кейсы по его использованию. С удовольствием почитаю, если покидаете ссылок .

0
20 комментариев
Написать комментарий...

Комментарий удален модератором

Развернуть ветку
Alexander Matveev

Классный аватар

Ответить
Развернуть ветку
Алексей Ткаченко

Да и девушка красивая :)

Ответить
Развернуть ветку
Кирилл Макеев

да и ты ничо :)

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Катерина Снегирева
Автор

В этой статье перечислен список полезных инсайтов по сегментации обращений и работе с текстами, автоматизированном поиске в них полезной для продуктовой разработки информации, которыми довольно привычно делиться

И мне действительно очень жаль, что вы получили негативный опыт в прошлом.
Но не совсем корректно делать выводы о большой платформе, компании, бренде с тысячами представительств, по одному из представительств, баннеру, менеджеру поддержки или даже дизлайку спустя 23 года, на платформе vc.ru где я и мои коллеги по сфере ищем experience sharing и best practices в первую очередь

Ответить
Развернуть ветку
Михаил Русецкий

Прям голову теряю, когда вижу слова на английском language))

Ответить
Развернуть ветку
Кирилл Макеев

ааа
инсайты по сегментации икспиринс шаринг?
так бы сразу и сказала

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Андрей Захаров

Хорошо кончено, что команда разработки учитывает обратную связь от пользователей и улучшает продукт, но где здесь улучшение самих процессов разработки ? Если пользователь нашёл ошибку в приложении, то не только надо бежать и исправлять её, но и разбираться почему эту ошибку пропустило тестирование. Если пользователи массово не удовлетворены пользовательским интерфейсом то должны возникнуть вопросы к дизайнеру и т.п. Если ничего из этого не происходит, то не надо тешить себя иллюзиями: качество продукта не улучшается. Тестирование на пользователях в продакшене - порочная практика с негативными последствиями в долгосрочной перспективе.

Ответить
Развернуть ветку
Prolis Labkk

Что-то много в Альфе продактов развелось, все так и норовят что-нибудь доломать https://habrahabr.ru/article/344978/.

Ответить
Развернуть ветку
Макс Пономаренко

ох, не бесите меня. Новая это версия для бизнеса была такая глючная что я поматерившись недели две включил старую и работаю с ней. И раз пошла пьянка статья - вода. Сотрудница которая ко мне приезжала чтото выспрашивать месяца три назад вооообще не в теме бизнеса, какаято молодая девочка. По физику я уже перешел в тинькофф, по юрику проблем с переводом больше поэтому работаю, в целом приемлимо. Хотя вспомнил когда симку менял тоже гемор был - оказалось что у них нет мого кодового слова - забыли типа поставить или в те времена его не было еще я не понял. Как то так блин.

Ответить
Развернуть ветку
Sergey Gostev

Бывшая

Ответить
Развернуть ветку
Alexey Sam

Зацепило упоминание вопроса «Сколько кэшбэка я получу в этом месяце?» и что это уже решёно. Но сколько не искал, так и не нашёл. Это образное выражение было?

Ответить
Развернуть ветку
Катерина Снегирева
Автор

Это действительно один из самых частых вопросов команде поддержки)

Ответить
Развернуть ветку
Aleks B

эти твари сегодня заблочили операции перевода с карты из аппа на сутки, после успешного(!) ввода одноразового пароля из смс, который вздумали вдруг прислать мне ни с того ни с сего рандомно, для моей же безопасности. Видимо для того, чтобы я побрел в ночи по дворам в поисках их банкомата чтобы снять деньги и добрести до другого банкомата, чтобы положить. Я думал маразматичнее рокета и сбера уже нет банков(

Ответить
Развернуть ветку
Lenny Fallon

Я вот прямо очень удивился, узнав из этой статьи, что оказывается, звонящие в техподдержку в негативной тональности, сильно заинтересованы в продолжении работы с компанией.
если я куда то звоню в негативной тональности, то я, как клиент, уже на 75% ушел к конкурентам.

Ответить
Развернуть ветку
Aleks B

уходить то особо уже и некуда, только если к тинькову, но думаю и там пиздеца хватает подобного или нет?

Ответить
Развернуть ветку
Lenny Fallon

неведомо сие.
если говорить о казуальных картах Visa без особенных плюшек и свистелок, то ВТБ24 и Авангард меня в целом устраивают

Ответить
Развернуть ветку
Максим Галлямов

Единичные случаи, а по теме есть что-то?

Ответить
Развернуть ветку
Yakov Filippenko

Раз уж такая пьянка, у вас в мобильном приложении есть несколько забавных небольших багов:

1) Иконка нотификации в ленте уведомлений - ее невозможно убрать. У меня там "горит" 8 и я испробовал просто все варианты как от этой вещи избавиться: ни открытия самой истории уведомлений, ни открытие каждого конкретного уведомления не меняют этот счетчик.

2) Вторая проблема связана с вашим чатом как раз. Периодически, после обновления версии, появляется нотификации, что есть непрочитанные уведомления. При открытии чата, раньше грузилась вся история и она же автоматически скроллилась в самый конец. Мой айфон в этот момент подвисал секунд на 10. Теперь проблема с подвисанием исчезла, но при обновлении у меня по прежнему есть непрочитанные сообщения.

3) Следующая проблема связана с 4-х значным кодом для разблокировки. При переезде на новый телефон, форма ввода 4-х значного кода почему-то забыла что он у меня 4-х значный и давала вводить мне 8 и больше цифр. В итоге, так как авторизация по отпечатку была выключена, пришлось сносить приложение и устанавливать его по новой.

4) Довольно типовой мой пользовательский сценарий - это повторные переводы. В веб-интерфейсе довольно просто выбрать старый перевод и повторить его. Или сохранить его как шаблон. Там можно найти все прошлые переводы за любой промежуток времени и повторить. В мобильном приложении доступны только последние 5. Получается, что если среди 5 последних нет нужного мне (очень частый кейс), то сделать перевод я могу только по полным реквизитам, либо сделав шаблон заранее (что я практически никогда не делаю, потому что зачем вообще нужны шаблоны, если есть история переводов?). КОпировать же 6 реквизитов из Email'а в ваше приложении - то еще удовольствие.

5) Выставленные счета (через систему выставленных счетов АльфаБанка) еще ни разу не получилось, к сожалению, оплатить через мобильное приложение.

6) По кредитной карте неправильно отображается задолженность в мобильном приложении. В веб-версии все отлично.

7) В навигации есть два пункта: перевод со счета на счет ("в другой банк") и перевод с карты на карту. Но при выборе перевода со счета на счет, мне еще раз предлагается выбрать: хочу я сделать перевод со счета на счет или с карты на карту. Лишний клик выходит.

8) И самое важное. Не относится к мобильному приложению напрямую. Вот я часто бываю в США. У меня привязан для всех операций мой американский номер. СМС от Тинькова на него доходят в 100% случаев. СМС от альфабанка доходят по нечетным субботам месяцев, в которых 31 день. Честное слово, я раз 10 об этом говорил вашему call-центру и столько же раз писал в чат. Иногда меня соединяют со второй линией поддержки, иногда просто кладут трубку, когда слышал название сотового оператора. Но в 100% случаев, когда разговор продолжается дольше 30 секунд, мне говорят, что проблема в моем телефоне и предлагают "почистить память телефона".

9) Не очень понимаю, почему в 2к18 году нужно показывать дату операции как дату фактического перевода денег, т.е. я прихожу в макдональдс в субботу (не банкоский день), покупаю бургер, в истории покупка у меня отображается в понедельник. И только по загадочному назначению платежа можно понять, что операция на самом деле была сделана в субботу. Тиньков решил эту проблему еще в прошлом своем личном кабинете и мобильном приложении.

Писал, вроде бы, о каждом из них в чат, но так и не изменилось ничего.

Ответить
Развернуть ветку
Катерина Снегирева
Автор

Верю, что команда Альфа-банка обратит внимание на комментарии в борьбе за лучший клиентский опыт)

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Илья Владимиров

Передайте, если не сложно, что новый банк-клиент не очень, мягко говоря.

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
17 комментариев
Раскрывать всегда