Как выжать максимум из общения с пользователями: развитие продукта с помощью аналитики обратной связи

Привет! На связи Иннокентий Беляев — руководитель support-направления в 65apps.

В прошлый раз мы рассказали, как и что писать в ответ на отзыв пользователей. Напомним, что так закрывается сразу несколько задач:

Однако, мало только предоставить ответ. Один из ключевых инструментов развития продукта – это анализ отзывов. К сожалению, его редко используют компании, но именно здесь «(продуктовая) собака и зарыта».

Рассказываем, что такое аналитика отзывов, как ее внедрить и использовать в работе команды технической поддержки.

Возможность оперативно воспринимать обратную связь от пользователей — как по отношению к продукту в целом, так и по отношению к краткосрочным активностям, вроде акций и распродаж.

Например, из-за незначительного дефекта в верстке страницы приложения кнопка активации скидки перестала работать. Как итог, вся акция (и ее бюджет), направленная на удержание клиентов, приводит только к негативному эффекту. Но, если в первые дни или даже часы, обратить внимание на отзыв с подобной жалобой, можно быстро устранить дефект. Значит, спасти всю активность — реализовать бюджет, как планировалось, и избежать дополнительных расходов.

Исправляя любой баг в продукте, мы не можем утверждать, что именно он вызвал проблему пользователя. А значит, не можем считать, что решили проблему.

Динамика упоминания конкретной проблемы позволяет понять, сохранилась ли актуальность того или иного дефекта.

После исправления дефекта и спада упоминания проблемы, нужно попросить обратную связь. Так у нас появляется шанс подтолкнуть клиента оставить хороший отзыв и поставить хорошую оценку приложению.

Пользователи часто оставляют в отзывах идеи по улучшению UX/UI. Собирая аналитику через техподдержку, мы не только можем вести список предложений, но и отслеживать динамику запросов на добавление той или иной функциональности. И сделать его максимально удобным для пользователя, опять же, через аналитику (см. пункт 1).

Сбор данных лучше осуществлять теми же силами, что отвечают на отзывы пользователей — так мы минимизируем искажения собранной базы.

Точность данных зависит от степени погруженности того, кто их собирает. Погруженный специалист гораздо быстрее и качественнее отделяет зерна от плевел. Он уже знает слабые стороны мобильного приложения — баги и головные боли команды разработки, у него есть опыт сопровождения пользователей от проблемы до ее решения. А значит, знает, как пользователи продукта описывают часто встречающиеся проблемы.

Важна качественная коммуникация команды поддержки с командой разработки.

Верхнеуровневая аналитика предполагает отслеживание приоритетных проблем и выявления новых, гипотетически опасных для работы приложения и его репутации.

Специалисты техподдержки должны быть проактивными и иметь возможность донести проблемы до разработчиков. А лучше – участвовать в ежедневных созвонах с командой разработки. Активный диалог поможет техподдержке сообщать о новых угрозах и быть в курсе уже известных проблем.

Аналитика со стороны техподдержки использует прозрачные и простые показатели. Продуктовый менеджер или менеджер проектной команды выполняет более детальную аналитику на основании собранных техподдержкой данных.

Самый простой в применении способ — сбор данных в таблицах. Главное условие — возможность совместного редактирования в реальном времени.

В таблицу загружаются отзывы из магазинов приложений — для отдельного периода берется отдельный лист.

Рекомендуем использовать сервис AppFollow или его аналоги, так как выгрузка напрямую из сторов, к сожалению, не дает полной картины. Например, в Google Play Console отзывы выгружаются с задержкой в 2-3 дня, а в нашем случае это недопустимая потеря времени.

Как настроить фильтры и столбцы

Лист может содержать следующие столбцы:

Давайте разберем пример такой таблицы и расскажем, как ее настроить:

Столбец «Количество знаков в ответе» содержит формулу =ДЛСТР (адрес ячейки с ответом), которая позволяет не выходить за ограничение по количеству символов для ответа разработчика. В Google Play это 350 символов, в App Gallery – 800, а в AppStore – 5 970.

Ссылка на отзыв в сторе позволяет найти отзыв, даже если прошло много времени, и пользователь написал новый.

В столбцы с проблемами мы ставим 1, если содержание отзыва соответствует проблеме:

Если появляется новая проблема, которая встречается больше одного раза, мы создаем для нее новый столбец, куда так же ставим единицы напротив отзывов содержащих схожее описание.

На следующий день (или раньше — в зависимости от выбранного периода) составляем лист «Общая аналитика» за прошедший день, в котором считаем количество отзывов по каждой проблеме, выявляем главные проблемы дня, озвучиваем их на звонке с командой. Таким образом можно быстро выяснить, с чем связаны выявленные проблемы — со сбоем на стороннем сервисе, который использует приложение, или же с новым релизом, содержащим баг.

Например, по сводке в таблице ниже, можно сказать, что 6 января был сбой в сервисе доставки SMS. 29% отзывов сообщили об этой проблеме — поэтому ее удалось устранить.

После того, как проблема была исправлена, мы можем вернуться на лист за 6 января — отфильтровать отзывы о проблеме с SMS, перейти по ссылкам и сообщить пользователям о том, что сбой устранен. Это побудит клиентов изменить оценку и отзыв о приложении в лучшую сторону.

На листе с общей аналитикой отзывов по дням мы видим актуальное состояние приложения — какие есть проблемы, что больше всего беспокоит пользователей, помогло ли исправление бага устранить сбой и др.

Отдельно стоит вести учет пожеланий и предложений по улучшению продукта. Это можно делать просто в виде списка. Такая информация будет полезна для составления бэклога продукта.

Вести таблицы вручную можно, если у вас немного отзывов. Но если в день приходит несколько сотен, это может вызвать определенные затруднения. В таком случае удобно пользоваться инструментами, в которых уже реализованы механизмы аналитики.

Например, проставление тегов в AppFollow. Ключевой момент – их нужно грамотно настроить: задавая список тегов, лучше всего опираться на те проблемы, которые чаще всего упоминаются. Если раньше вы уже вели таблицы и анализировали отзывы вручную, то это не составит труда.

При проставлении тегов необходимо анализировать, в чем именно заключается проблема пользователей, потому что иногда они описывают одну и ту же проблему по-разному. Например, «авторизация» и «регистрация» – два разных процесса, но при этом в обоих случаях пользователи могут подразумевать именно авторизацию.

При обновлении отзыва, теги, которые были поставлены ранее, сохраняются. Для того, чтобы не искажать аналитику, AppFollow позволяет архивировать старые теги. К слову, AppFollow сохраняет историю изменения отзыва, а AppStore нет.

Таблица тегов позволяет нам увидеть потенциальные «больные места».

Или увидеть потенциальную возможность сбора обратной связи при решении какой-либо проблемы. То есть, при уменьшении доли упоминания после релиза, мы можем полагать, что дефект исправлен и запросить обратную связь – и побудить пользователя изменить свою оценку.

Когда уже есть понимание, что пишут и как часто пишут, можно полностью автоматизировать тегирование отзывов.

На каждый тег необходимо установить правила: из каких слов состоит отзыв или какие слова содержит/не содержит, на что начинается или на что заканчивается. Необходимо регулярно проверять корректность и редактировать шаблоны проставления тегов для исключения неправильной расстановки. Но стоит учитывать, что даже при максимально корректных шаблонах покрыть все отзывы невозможно, тк будут возникать новые проблемы и формулировки к старым.

Если вы начали работу с отзывами сразу с автоматизации, не имея понятия о наиболее встречаемых проблемах, то существуют инструменты семантического анализа: как в составе комплексных решений для работы с магазинами приложений (Asodesk, AppFollow), так и более узкоспециализированные инструменты (Deeray).

С помощью алгоритмов машинного обучения они анализируют значения отзывов, независимо от их количества и оценки. Отзывы анализируются по разным параметрам и семантический анализ дает представление, о чем именно пишут пользователи.

Внутри каждой категории также есть разбивка по тегам, что даст более подробную картину.

В данном случае мы видим, что у нас большое количество отзывов, связанных с обновлением приложения и средняя оценка у них достаточно низкая. Но при этом, после ответов пользователям, наблюдается положительное изменение оценки. А дело в том, что мы оповестили пользователей о форсапдейте приложения, связанного с повышением его безопасности.

Также, семантический анализ позволяет отслеживать отзывы из разных стран на разных языках и общее восприятие приложения.

Помимо автоматического проставления тегов можно настроить и автоответы. Советуем начинать с самых очевидных — например с ответов на отзывы с положительной оценкой. Пользователям всегда нравятся, когда их благодарят за внимание. Автоматические ответы с благодарностью сократят и без того большой объем работы. Если вы уверены в какой-то проблеме, но не уверены в том, будут ли автоматические ответы корректными, то в AppFollow есть два способа публикации: полностью автоматический или с подтверждением.

В статье мы подробно описали возможные варианты выстраивания процессов сбора аналитики.

Должны отметить, пока мы писали эту статью, компания AppFollow объявила, что из-за санкций и невозможности оплаты российскими банковскими картами, доступ к расширенным услугам будет ограничен.

Однако, существуют такие аналоги как: Asodesk, AppTweak, App Radar, Appfigures и Mobile Action. А в качестве инструмента семантического анализа можно использовать Deeray, который мы описали выше.

Принципы работы этих инструментов схожи и в каждом можно найти оптимальное решение для поставленных задач и бюджетов. Но вы можете создать и свой инструмент работы с пользователями :)

Варианты инструментов аналитики, приведенные в статье не взаимоисключают себя. Автоматизировать процессы важно, но стоит учитывать как текущие потребности и возможности компании, так и технические ограничения существующих решений.

Вы можете попробовать все три варианта, а потом выбрать оптимальный для себя и вашего продукта.

Сбор аналитики легко дополняет процесс предоставления ответов, при этом взаимодействие с пользователем переходит на качественно новый уровень. При правильном подходе вы сможете “держать руку на пульсе”: заблаговременно узнавать о потенциальных проблемах и возможностях продукта, избежав падения рейтинга и минимизировав ущерб.

Работа с аналитикой отзывов – это возможность обеспечить высокий клиентский сервис и сформировать фундамент для data driven подхода в развитию цифрового продукта.

Напишите нам, и мы поможем вам в короткие сроки сформировать команду и начать работать с отзывами пользователей.
Узнать подробнее о нас вы можете здесь.