YouScan VS Brand Analytics: что выбрать?
Руководитель отдела мониторинга агентства «Интериум» Анастасия Дубровина подготовила небольшой обзор-сравнение мониторинговых систем.
Социальные медиа позволяют людям высказывать свое мнение о компаниях, брендах, персонах и многом другом. Это делает их мощным исследовательским инструментом для компаний, которые хотят знать, что люди думают о них и хорошего, и плохого. Отслеживание упоминаний и уведомлений является ключом к эффективной стратегии взаимодействия. Вот почему бренды нуждаются в средствах мониторинга социальных сетей.
В настоящий момент на российском рынке существует минимум с десяток специализированных систем для мониторинга социальных сетей. В этом кратком обзоре мы рассмотрим некоторые из их лучших инструментов.
Лидерами, на наш субъективный взгляд, тут являются YouScan и Brand Analytics. Поначалу кажется, эти системы почти идентичны: функционал, выдача, ценообразование схожи. Дьявол, как всегда, кроется в деталях, на которые и стоит обратить свое внимание при выборе системы мониторинга.
Мы решили протестировать оба инструмента на одном и том же поисковом запросе, чтобы максимально объективно оценить их возможности и особенности. В качестве экспериментальной темы мониторинга мы выбрали фильм Кирилла Серебренникова «Лето».
Начнем с YouScan: очень простой и понятный даже для непрофессионалов интерфейс, присутствует возможность автоматической фильтрации спама и предварительного просмотра упоминаний перед созданием темы:
YouScan загружает не только посты с упоминанием объекта мониторинга, но и комментарии к ним. Инструмента фильтрации комментариев без прямого упоминания не предусмотрено.
Итак, достоинства:
- пожалуй, самый большой плюс системы – это почти нелимитированное количество сообщений в папках («темах») мониторинга (до аж 2 млн упоминаний - это действительно много!);
- бесплатный доступ к ретроспективе (архиву сообщений) за год. Самостоятельно можно посмотреть упоминания за прошедший месяц, по запросу менеджеры открывают доступ к периоду в рамках года без доплат;
- еще один плюс – это действительно быстрый сбор данных. Упоминания за месяц в новой теме будут загружены не более, чем за час.
Однако, есть у системы и свои недостатки:
индексация сообщений опаздывает от времени их публикации как минимум на час (задержка индексации упоминаний на сайтах отзывов доходит до суток), что затрудняет быстрое реагирование;
допускает пропуски при поиске сообщений на Facebook. В Instagram система не индексирует посты без знака # и комментарии с прямым упоминанием объекта мониторинга после того, как платформа ограничила доступ сторонним приложениям к API;
отсутствие автоматической разметки тегов в результатах поисковой выдачи. YouScan позволяет создавать для дублей правила, благодаря которым одинаковым сообщениям будут автоматически присвоены определенные характеристики (те же теги или тональность), но это не отменяет ручной «доразметки» всех остальных упоминаний;
некорректное автоматическое определение тональности. К сожалению, пока разработчикам не удалось научить систему делать это приемлемо.
Возможность собирать большие массивы и бесплатный доступ к ретроспективе за год делает систему идеальной для агентств с постоянным запросом на объемные мониторинги, однако, низкая скорость индексации упоминаний и отсутствие доступа к комментариям в Instagram значительно ограничивают возможности оперативного реагирования на имиджевые угрозы в социальных сетях.
У Brand Analytics также простой и понятный интерфейс, язык поисковых запросов, присутствует удобная функция предварительного просмотра упоминаний и статистики.
Достоинства:
- в отличие от YouScan, эта система значительно лучше справляется с функцией оперативной индексации упоминаний – они попадают в поисковую выдачу системы в течение нескольких минут;
- Brand Analytics достаточно эффективно собирает сообщения на Facebook и комментарии в Instagram. За июль системой было зафиксировано 5 666 упоминаний фильма «Лето», из них 2 326 приходятся на Вконтакте, 1 151 – на Facebook, 886 – в Instagram.
- выдача шире. Напомним, что YouScan производит поиск не только сообщений с прямым упоминанием объекта, но и комментариев к ним, поэтому «чистая» выдача Brand Analytics все же больше.
еще одно преимущество Brand Analytics перед YouScan – это автоматическая разметка тегов внутри темы мониторинга. Теги формируются с помощью ключевых и слов-исключений по типу тем и практически не требуют дальнейшей ручной доразметки.
Но у Brand Analytics есть несколько недостатков, которые могут для кого-то стать определяющими:
ограничения во всем: по количеству тем в аккаунте (в самом дорогом тарифе их только 15), по количеству сообщений в аккаунте (в самом дорогом 350 тыс. упоминаний, включая удаленные), доступ к ретроспективе более чем 1 месяц только для премиальных тарифов, в остальных тарифах это стоит от 12 тыс. рублей за каждый дополнительный месяц. Не подходит агентствам с широким портфелем клиентов или не подходит для компаний/брендов/персон с высоким индексом цитируемости – можно разориться на покупке дополнительных лимитов!
длительное время формирования темы мониторинга, доходящее до суток при больших массивах. Это сильно ограничивает возможности аналитики, когда нужно оперативно получить срез мнений пользователей;
некорректное определение тональности. Brand Analytics позиционирует свою технологию как самую точную среди конкурентов, но, к сожалению, и здесь мы не рекомендуем доверять роботу: система не умеет соотносить текст и эмодзи, распознавать сарказм, а тон сообщению присваивает, ориентируясь на стоящие рядом с объектом мониторинга эмоционально окрашенные слова, довольно часто ошибаясь.
И все же Brand Analytics – отличный выбор, если основной потребностью компании является оперативное реагирование на упоминания.
Итого, для того чтобы выбрать мониторинговую систему, нужно определить свои приоритетные задачи. Если у компании есть постоянные запросы на массивную аналитику или исследования (с неопределенными объемами данных) для большого количества клиентов, требующие быстрого доступа к большому объему данных, то стоит выбрать YouScan.
В случае, когда на первом месте стоит реагирование и максимально полная выдача, хорошим выбором станет Brand Analytics.
Просто отлично, что пользователи систем проводят собственные исследования, спасибо вам за время :)
Мы обязательно выясним, что с покрытием в ваших темах, ведь обычно посты попадают в течение нескольких минут (отзовики и форумы могут до часа). Ещё в YouScan автоматическое тегирование настраивается с помощью правил (https://youscan.io/2017/11/rules/).
Стоит заметить, что в сравнении не упомянуты наши смарт-фичи и возможности искусственного интеллекта, которые применяются в YouScan. Например, возможность аналитики визуального наполнения темы - галерея (https://youscan.io/2018/01/visual-gallery/), распознавание логотипов компаний и других объектов на изображениях (https://youscan.io/2018/05/logo-recognition/), смарт-алерты (https://youscan.io/2017/08/smart-alerts/), интеграции с различными системами и мессенджерами (https://youscan.io/2017/03/why_slack) :)
Спасибо и вам за обратную связь! О ваших смарт-фичах знаем, но они появились сравнительно недавно. Нам нужно больше времени, чтобы оценить их практическую пользу. Нам интересен такой обмен опытом, поэтому эта наше не последнее исследование на эту тему.
Коллеги, спасибо за ваш интерес и к Brand Analytics и к YouScan. Желание и необходимость при выборе сравнить системы понятно и логично. Но это сравнение остается в формате «для себя». Результат определяется ровно тем, насколько вы разобрались в инструментах. А это дело весьма непростое. Вопрос независимого сравнения поднимался не раз. Как вариант, все игроки сошлись на том, что если такое сравнение и возможно, то только командой независимых экспертов по нескольким публично прописанным различным задачам. Но и этот вариант вряд ли рабочий. На том все и порешили.
Например, даже в таком ограниченном сравнении допущены неточности в чтении нашего публичного прайс-листа (https://br-analytics.ru/price/). Если пролистать дальше первого экрана, то там представлены старшие тарифы для задач крупных клиентов, которых у нас много. Аналитика на больших данных в реалтайме – как раз наша специализация. Не зря с нами работают все мировые исследовательские компании (Ipsos, Kantar TNS, GFK, Nielsen). А задача реагирования, конечно, требует высококачественной платформы сбора и анализа, но это самый начальный уровень задач, для которых предназначена Brand Analytics. Возможно это просто та задача, в которой вы хорошо разбираетесь. Тогда понятно.
Если говорить о ретро, то тут ваш комментарий тоже неточный. Для решения указанных вами задач у нас есть бесплатный инструмент анализа любого объекта по однопроцентной выборке на годовых данных практически в реалтайме. И это бесплатный для всех клиентов инструмент, который помогает за минуты сделать, например, конкурентный анализ на годовых данных или гораздо более сложную аналитику. Да, полные ретроданные у нас платные. Их качество того стоит и они используются в глубоких исследованиях.
Ожидание от сентимент-анализа точной отработки сарказма немного удивляет. Эта тема обсуждена много раз. Сарказм – это доли процента анализируемых данных. Он ни что не влияет и никто даже не ставит задачи его отрабатывать корректно. Сентимент – это большая отдельная тема. И соревнуются лингвисты на дорожке в рамках конференции «Диалог». Вот там действительно можно ознакомиться с результатами сравнения работы алгоритмов. Да и тут с оговорками – технологии гораздо быстрее идут вперед, нежели ведутся «Диалоги».
Думаю коллеги из YouScan занимают примерно такую же позицию и точно также могут обратить внимание на неточности в материале и его ограниченность. В формате «сравнение для себя» почему нет. Но на публичный сравнительный обзор материал, как нам кажется, претендовать не может. Или мы не правильно поняли и материал на серьезное сравнение и не претендует? Тогда все Ок ))
Пора уже Аналитическим Системам сделать публикацию сравнения уровня экспертизы сотен аналитических команд и фрилансеров, работающих с мониторинговыми и аналитическими системами. Результаты будут интересными, а местами даже шокирующими для конечных клиентов ))
Добрый день, коллеги! Спасибо огромное за такой подробный и развернутый ответ.
Давайте, я отвечу также по пунктам. Поддерживаю ваше желание сделать собственную публикацию, она была бы отличным подспорьем для агентств и клиентов, которые стоят перед выбором с определенным бюджетом и коммуникационными целями. И разнообразие даже полярных мнений только в плюс всем вашим потенциальным покупателям. Это очень прикладное исследование - "для нас", для вас и всех, кто стоит перед выбором мониторинговой системы.
Теперь 3 ваших ключевых ремарки:
ценообразование - рада, что с вами работают такие крупные и уважаемые компании и что они могут себе позволить бюджет до полумиллиона рублей. В целом, не вижу ничего некорректного. Эти лимиты на все - огромная дыра в бюджете коммуникационного агентства. А мы занимаемся не только реагированием, а делаем разнопрофильные аналитические продукты, поэтому регулярно тестируем различные системы, активно интересуемся темой и приветствуем обмен опытом.
ретроспектива - "бесплатный инструмент анализа любого объекта по однопроцентной выборке на годовых данных практически в реалтайме" - человеческим языком это НИЧЕГО. А архив сообщений это очень важная вещь даже для проведения банального медиа аудита. И он за допбюджет. Ретроспективную выдачу мы не тестировали, поэтому здесь мы не можем ничего прокомментировать.
Тональность - спасибо огромное, что так подробно описали все трудности в проведении автоматизированного sentiment analysis. Но задача этого краткого гайда была ответить на вопрос, можно ли доверять ей или нет. Так вот, ответ - НЕТ. Дело не только в сарказме или эмодзи, погрешность в определении тональности робота для нас является критической. Мы не рекомендуем нашим клиентам использовать эти данные в работе.
Это ни в коем случае не критический разбор и жаль, если вы его восприняли подобным образом. Мы старались объективно описать все достоинства и недостатки обоих систем мониторинга.
Ретроспективу вы, конечно, предоставляете. Но далеко не каждого клиента устроит 1,5% выборка, которую вы предоставляете бесплатно. И редкий клиент не задаст вопрос: "А как вы формировали выборку, покажите методику и расчеты". Поэтому, конечно, нельзя сравнивать предоставление доступа к полному архиву и 1,5% выборке. Что касается доступа именно к архиву сообщений, то если речь идет об агентстве - ему еще и заработать хочется, а не спустить весь (еще и в свой карман залезть) бюджет на базу сообщений ))
P.S. как фанат BA искренне удивлена такой болезненной реакцией. Кажется, пока еще в России не вышло закона, запрещающего иметь мнение )) При выборе системы все гуглят пользовательский опыт и сравнивают его со своими потребностями, это нормально.
"когда на первом месте стоит реагирование и максимально полная выдача, хорошим выбором станет Brand Analytics" - Ну да, именно из-за преимущества в реагировании ВА используют все крупнейшие исследовательские компании и аналитические департаменты Сбербанка, Альфы, Х5, Магнита, Инвитро и прочее и прочее . С аналитикой у них так себе, в отличие от автора.
Наталья, добрый день! Уверена, что с аналитикой у них все норм. Но какое количество российских коммуникационных агентств могут себе позволить бюджет Сбербанка? Думаю, ответ очевиден.