Сквозная аналитика: ожидания vs реальность на примере Roistat

Сквозная аналитика — модная тема последних лет. Начавшись с простой передачи данных по конверсиям в аналитические сервисы, она, вместе с бурным развитием call-tracking сервисов, превратилась в сложный комплекс интеграций различных служб, позволяющих свести воедино всю маркетинговую активность компании и мониторить эффективность различных каналов.

А поскольку редкий управляющий откажется от возможности посмотреть на всю картину бизнеса в одном месте, мы тоже этого соблазна не избежали и решили попробовать. Выбор был прост — большинство из присутствующих на рынке систем — Roistat, Alytics, CoMagic и другие, — действительно больше концентрировались на call-tracking возможностях, которые нам были не нужны, а готовую интеграцию с нашим движком Woocommerce предлагал только Roistat.

Никаких особых сложностей регистрация в Roistat у нас не вызвала — всё, как обычно. Несколько необычным оказался звонок менеджера системы, который раздался минут через 20 после регистрации, когда я только еще изучал, с чего начинать работу. Менеджера удалось уговорить перенести подробное общение на через несколько дней, чтобы хоть что-то успеть самим посмотреть, но в процессе разговора вылезла первая странность системы.

Менеджер сразу подтвердил — да, надо поставить счетчик системы, работать будет только в таком виде.

Само требование поставить код системы нас совершенно не смутил, конечно. Мы же хотим получить какой-то дополнительный слой данных, и было бы только естественно дать системе возможность его собрать так, как ей надо. Но отсутствие интеграции с GA означало, что никакой истории в нашей системе не будет, и никаких данных из прошлого (не то, чтобы героического, но в целом славного и содержательного) нашей компании мы проанализировать "по-новому" не сможем.

Код мы поставили и начали ждать. И тут же последовала вторая странность.

Строго говоря, странность последовала не сразу. Сначала прошло несколько часов после подключения, потом прошла полная проверка, а поставился ли код счетчика, и только потом на панели статистики обнаружилась скромная кнопка с символом рефреша, всплывающий текст над которой сообщил, что последний раз статистика считалась часов 10 назад. Что само по себе выглядело странно, учитывая, что 10 часов назад ни сервис, ни наш сайт еще не подозревали о существовании друг друга. Нажатие на кнопку привело к тому, что она начала вращаться. И только минут через пять рядом появилась надпись, что пересчет завершен, поэтому обновите страницу.

Должен честно сказать, что за всё время использования нам так и не удалось придумать убедительное объяснение, почему система онлайн-аналитики в 2019 году нуждается в специальных действиях пользователя, чтобы перестать ему показывать данные многочасовой давности, и при этом даже не в состоянии самостоятельно перезагрузить страницу. А поскольку при этом система демонстративно живет по часовому поясу собственного главного офиса, понять, когда именно была обновлена статистика и что в неё успело попасть, почти невозможно. Более того, сама она тоже как-то обновляет данные, но делает это раз в несколько часов, и понять, от чего это зависит, нам не удалось.

Кстати, нажать на эту кнопку можно только раз в час.

Я так много времени уделяю этой странности еще и потому, что она сильно усложняет внедрение системы. Вы что-то сделали, подождали, ничего не произошло, вспомнили, нажали на кнопку, подождали минут 10, смотрите на отчёт, поняли, что что-то сделано неверно — и такой цикл занимает несколько часов, что даже на фоне Google Analytics, где задержка составляет 20-30 минут, выглядит медленно, при том, что что-то в GA можно увидеть в realtime-отчётах.

Но мы всё же освоились и продолжили осваивать систему. Еще на первом этапе был подключен через специальный плагин наш магазин, потом мы подключили аккаунты в Facebook Ads и Google Ads и решили дать всему комплексу поработать, чтобы накопить хотя бы пару десятков транзакций.

На самом деле всё это проработало дня четыре и, когда мы опять туда посмотрели, странности пришлось записывать.

Пожалуй, это оказалось самым загадочным моментом в поведении системы. Выглядит это так — есть Woocommerce, есть Roistat, получающий все транзакции напрямую из него, есть Google Analytics с расширенной аналитикой электронной коммерции, который работает на сайте и фиксирует все транзакции на нём.

За один и тот же период времени все они показывают следующее:

Можно понять, почему GA не досчиталась нескольких заказов — она в принципе не знает о существовании заказов, которые сделаны не пользователями, а внесены через POS напрямую в базу. Оставшиеся 3 транзакции погоды не делают, впрочем, вполне вероятно, так учтены возвраты, поскольку сумма выручки полностью совпадает.

Но каким образом Roistat, получающий любые данные из Woocommerce напрямую и не зависящий от тонкостей установки кода или срабатывания Javascript, умудрился потерять 15% транзакций? Мы сначала думали, что он тоже не считает оффлайн-конверсии, но поддержка объяснила, что "сделки без номера визита" — это как раз заказы с POS. Разумеется, суммы выручки в Roistat никак не совпадали с реальными.

Тут уже пришлось обращаться в поддержку. Впрочем, поддержка ответила, что:

Забегая вперед, надо сказать, что примерно к этому же сводились и другие ответы поддержки — мол, либо у вас что-то не так настроено, либо так и должно быть, но пришлите скриншоты, мы посмотрим.

Не то, чтобы нам было жалко прислать 60 скриншотов, но идея таким образом и столько времени отлаживать эту систему просто не укладывалась в наше понимание управления маркетингом и продажами. Тем более, что тут же нашлась еще одна странность.

Мы очень активно пользуемся рекламой в Facebook и поэтому интеграция с рекламным аккаунтом нам была критична. И именно поэтому у нас вызвало большое удивление то, что мы увидели в отчете за первую неделю.

Оказалось, что за неделю с платной рекламы Facebook перешло на сайт 270 человек. Удивило нас не это, а то, что мы увидели в списке кампаний, по которым переходили люди. На момент подключения у нас была 1 активная кампания, а в списке Roistat мы увидели 22 кампании, подавляющее большинство из которых значатся выключенными с прошлого года (причем некоторые закончили работать весной 2018 года). Таких переходов было 91, то есть треть от общего трафика.

Это стало еще одним вопросом к поддержке, на что был получен еще более удивительный ответ:

Даже принимая странное предположение, что именно первые дни тестирования Roistat неведомые (и невидимые для Google Analytics) 91 человек решили использовать для массового флешмоба в виде перехода по сохраненным ссылкам, мы с таким объяснением согласиться не смогли. Ну, просто потому, что это не был "канал с utm-метками" — переходы были учтены в строке "Рекламный канал".

Единственным объяснением, которое выглядит вменяемо, может служить такое — после интеграции с рекламным аккаунтом бот системы начал прописывать автоматически метки roistat в ссылки в объявлениях и, видимо, после прописывания он проверяет корректность ссылки. Почему при этом такой тестовый трафик учитывается самой системой — видимо, потому что это баг.

Хотя, если подумать, здесь скрывается еще одна странность.

Roistat предлагает разметить все объявления в рекламных аккаунтах собственными метками, точнее, меткой, в которую собраны следующие параметры:

Но ровно такая же информация содержится в уже имеющихся UTM-метках. Почему нельзя было поддержать имеющийся стандарт, а обязательно придумать свой собственный?

При этом UTM-метки "пока" поддерживаются только для Adwords и Директа — если говорить о рекламных каналах. Впрочем, и тут система полезла проставлять свои метки. Не будем выносить в отдельную проблему тот факт, что по кампании Google Ads тоже пришел трафик, хотя она была выключена. У нас еще одна странность подоспела.

При внимательном изучении основного отчета на dashboard оказалось, что в отчете присутствует сразу несколько источников под названием Facebook.

В "Визиты с сайтов" примерно 60% составляют визиты с адресов m.facebook.com/www.facebook.com/l.facebook.com, а еще 20% — с instagram.com. Это, в принципе, понятно, хотя можно было бы и выделить известные источники отдельно.

Но дальше мы видим Facebook с пометкой UTM — это переходы по ссылкам с UTM-метками, которые у нас используются только в рекламном аккаунте, и Facebook с ID рекламного аккаунта — что тоже переходы по рекламе. При этом вот что удивительно — все конверсии (и, соответственно, доход) отнесены либо к визитам с сайтов, либо к трафику с Facebook с UTM-метками, а все расходы — к рекламному каналу.

Что еще хуже — трафик, учтенный в рекламном канале, совпадает с количеством кликов в аккаунте Facebook. А что тогда посчитано как трафик с UTM, учитывая, что автомату, вероятно, не удалось разметить часть объявлений своей меткой? Получается, что тот же самый трафик?

Мудрая поддержка на вопрос "Что это за трафик и почему он посчитан и там, и там?", ответила в уже привычном стиле:

Вообще, автор этих строк первый свой счетчик поставил 19 лет назад, много лет имел дело с интернет-аналитикой, но впервые встречает такое пристальное внимание к привычке пользователей сохранять ссылки с UTM-метками. До сих пор эти проблемы составляли какие-то доли от общего трафика и только переписка с поддержкой Roistat вывела их на новый уровень в моём понимании аналитики.

Напоследок поддержка посоветовала отфильтровать из отчетов UTM трафик и мы уже не стали пытаться пожаловаться на то, что следование этому совету в разы уменьшает учтенный трафик и вообще прячет и отчеты по трафику с сайтов.

В общем, основной вывод, кажется, понятен — тестовый период закончился и переходить на платный тариф мы не стали. Теперь пройдемся по деталям.

Современные сервисы, особенно в области интернет-маркетинга, очень часто вырастают из внутренних разработок, которые изначально делаются для узкого круга клиентов и фактически просто автоматизируют часть работы менеджеров, таких клиентов сопровождающих. По мере развития и увеличения функциональности, сервис выглядит уже вполне самостоятельным и в какой-то момент становится отдельным продуктом, доступным для использования в более автоматическом режиме, чем раньше. К сожалению, такой сервис может нести в себе — и очень часто несет, — много неочевидных особенностей, отражающих бизнес-логику конкретной группы клиентов конкретного агентства-разработчика, а то и собственную логику разработчика. Проблема в том, что новым клиентам приходится сталкиваться с необходимостью перестройки собственных процессов, чтобы те соответствовали сервису — и хорошо, если сервис действительно предлагает более оптимальный процесс.

Roistat эту особенность демонстрирует достаточно ярко — чего стоит только идея применения собственной метки, повторяющей функциональность UTM, но при этом плохо читаемой человеком. Возможно, отсюда же отсутствие элементарной разбивки источников трафика хотя бы на поисковые системы, соцсети и обычные сайты, хотя по хорошему именно для маркетингового инструмента можно и нужно придумывать и другие группировки. Но продукт, вероятно, изначально разрабатывался для b2b-бизнесов с лидами через сайт — причем самым популярным видом лида был звонок, — и как раз эта часть проработана прекрасно.

Разумеется, это не исключает гибкости системы и возможности всё настроить под себя. Но необходимость всё настраивать — это входной барьер для нового пользователя, и те усилия, которые мы потратили, чтобы хоть немного освоиться в сервисе, не оставили у нас ощущения полезно проведенного времени.

К тому же так и осталось неясно, в чем причина некорректных данных в аналитике, странной атрибуции расходов и конверсий — выражаясь языком главной страницы самого сервиса, его аналитика демонстрировала, что реклама в Facebook является самым неэффективным каналом, при этом переходы из Facebook по ссылкам, которые использовались нами только в рекламных кампаниях, оказались на втором месте по количеству продаж.

Честно скажем, что работа поддержки тоже не вызвала желания задержаться в недешевом сервисе после окончания тестового периода. Регулярные упоминания "сохраненных ссылок", которых не существовало до подключения к сервису (просто потому, что метки roistat там и не могли появиться за 8 месяцев до нашего эксперимента), объяснения, что так оно работает, потому что мы не так настроили плагин, разработанный самим Roistat, установленный по их инструкции и вообще не имеющий настроек, просьбы прислать 100500 скриншотов (включая "скриншоты из вашего личного кабинета Facebook, где видно что за период с 30.01 по 05.02 есть переходы по кампаниям и объявлениям, о которых вы говорили", хотя несколько писем подряд указывалось на то, что эти кампании и объявления выключены несколько месяцев назад и переходов там нет никаких) — ну, может, это и правильно на первой линии поддержки, но можно же было оперативно проэскалировать обращение, если видишь, что не можешь дать вменяемого ответа.

Ну, если кому-то хочется happy end, то он тоже есть — мы решили обойтись довольно аскетичным и бесплатным решением, настроили трансляцию данных по расходам из Facebook Ads в Google Analytics и за бесплатно нас эта аналитика вполне устраивает. По крайней мере, пока.