Understand Reviews – сервис для анализа отзывов в App Store и Google Play

Совместив машинное обучение и ручную обработку отзывов, мы достигли максимальной точности анализа и сделали отчеты по-настоящему полезными для разработчиков.
В этой статье мы расскажем вам о нашем продукте understand.reviews и процессе его создания.

Идея создать подобный сервис появилась, когда мы занимались разработкой мобильных приложений. Нам как разработчикам было необходимо знать, что пользователям нравится, что не нравится, с какими проблемами и багами они сталкиваются, какие у них есть пожелания. Для этого мы регулярно анализировали отзывы как на наши приложения, так и на приложения конкурентов.

Пообщавшись с другими разработчиками, мы выяснили, что все решают эту задачу своими силами – составлением отчетов занимаются либо команды поддержки, либо продукт-менеджеры. Сервисами для анализа отзывов практически никто не пользуется – они предлагают лишь частотный анализ слов и фраз, многие из которых не несут смысла. Такие отчеты не представляют пользы для разработчика.

Поэтому, когда пришло время создавать новый продукт, мы решили создать сервис, который сможет решить проблему автоматического и точного анализа отзывов.

Перед тем, как инвестировать время и деньги в новый проект, необходимо было убедиться в наличии спроса на наш будущий продукт.

За 2 недели мы проконсультировались с 20 компаниями, для которых мобильные приложения являются важной частью бизнеса. Мы выяснили, что большинство из них анализируют отзывы в App Store и Google Play, составляют отчеты и учитывают их при дальнейшем планировании. Более того, нам удалось продать свое решение нескольким компаниям, еще не имея готового продукта!

Так мы убедились, что сервис действительно будет востребован, если мы сумеем добиться необходимого качества и точности отчетов.

Существующие сервисы предлагают лишь семантический анализ отзывов – они не учитывают контекст использования слов или фраз, что не позволяет точно и полностью извлечь смысл из отзывов.

Для того, чтобы сделать отчеты полезными, мы анализируем именно их смысл, а не текст. Это сложный процесс, состоящий из нескольких этапов.

В начале мы группируем отзывы по похожести. Для этого используются специальные алгоритмы кластеризации и машинного обучения.

После этого, модераторы проверяют образовавшиеся группы. Для минимизации ошибок используется кросс-проверка, то есть каждый отзыв проверяется несколькими людьми. Модераторы голосуют, согласны ли они с тем, в какую группу алгоритм отнес отзыв. Если по поводу какого-либо отзыва у модераторов возникают разногласия, этот отзыв уходит на голосование еще раз. Если разногласия возникают повторно, то решение принимает супер-модератор.

Сама модерация осуществляется с помощью отдельного продукта, который мы создали для внутреннего использования. Все наши модераторы работают удаленно и по строгому процессу. Мы можем увеличивать или уменьшать количество модераторов в зависимости от объемов заказов без потери качества. Похожие системы мы уже создавали для наших предыдущих проектов, так что старые наработки очень пригодились. О том, как у нас работает система разметки и модерации расскажем в отдельной статье.

На финальном шаге модераторы присваивают группам похожих отзывов теги, которые клиент и увидит у себя в отчете. Разработчики могут объединять теги в логические группы, чтобы привести отчет к нужному для себя виду.

В результате мы получаем отчет, содержащий по-настоящему важную информацию. За каждым тегом стоит действительный смысл, включающий тему и отношение к ней пользователя. В то время как существующие сервисы позволяют собирать данные лишь по широким и абстрактным категориям, например «Design» и «Bugs», наше решение делает возможным гораздо более глубокую разметку отзывов, включая и уникальные для каждого приложения детали.

Более того, наш отчет позволяет точно отследить динамику отзывов по тому или иному тегу по сравнению с предыдущим периодом, что дает возможность отследить реакцию пользователей на те или иные нововведения, или же срочно принять меры в случае возникновения проблем или ошибок.

Нам удалось разработать систему анализа отзывов, которая помогает уже десятку разработчиков. Наши услуги стоят от $39 в месяц. Если вы хотите принять участие в бета-тестировании, оставьте заявку на нашем сайте: understand.reviews