Оффтоп Ilya Chukhlyaev
6 207

Что делать, если Google Analytics и Google Tag Manager заблокированы Роскомнадзором

Часть IP адресов Google Analytics и Google Tag Manager попали в список заблокированных Роскомнадзором подсетей. Поэтому часть запросов к этим сервисам (по нашим оценкам около 10%) приводит к ошибкам.

В закладки

На что это влияет

У пользователей сайты, на которых установлен Google Analytics или Google Tag Manager могут грузиться с существенной задержкой. А это сотни тысяч веб-сайтов в России.

У аналитиков и маркетологов проблем больше:

  • Панели управления GA и GTM не открываются или работают со сбоями.
  • На сайте не срабатывают теги всех рекламных сервисов, добавленные через Google Tag Manager.
  • В Google Analytics теряется часть данных о действиях пользователей на сайте.

Последний пункт приводит к искажению метрик в интерфейсе Google Analytics, в отчетах Google Sheets, Google Data Studio и всех приложениях, которые получают данные из Google Analytics. Например, увеличивается расхождение между кликами в рекламных сервисах и сессиями, теряются транзакции, уменьшается собираемая для ретаргетинга аудитория.

Использование VPN

Опыт предыдущих блокировок показывает, что часть пользователей установит VPN. Если в компании нет корпоративного VPN, подобные расширения для Google Chrome помогут также аналитикам и маркетологам получить доступ к панелям управления Google Analytics и Google Tag Manager.

Но без восстановления полноценного сбора данных ценность Google Analytics будет существенно ограничена. Кроме того, нет уверенности в том, что данные не перестанут собираться полностью.

Альтернативы Google Tag Manager и Google Analytics

Для Google Tag Manager есть много альтернатив, включая отечественный DigitalDataManager. Но все они платные, и для переноса тегов придется не только настраивать их заново, но и менять формат данных в dataLayer.

Для Google Analytics альтернатив не меньше, включая Яндекс.Метрику, которая по доле рынка занимает уже второе место в мире. Но переход на другую систему аналитики создает очевидные проблемы: потеря исторических данных, готовых интеграций, необходимость повторного внедрения кодов отслеживания на сайте и переобучения сотрудников. Кроме того, часть функционала Google Analytics является уникальной и недоступна в других бесплатных сервисах аналитики.

Все это — решаемые задачи, но вряд ли кто-то хотел бы заниматься ими в срочном порядке, теряя данные и деньги.

Проксирование запросов к Google Analytics и Google Tag Manager

По нашему опыту хорошим и быстрым решением для средних и крупных сайтов является проксирования трафика через выделенный сервер. В этом случае запросы с сайта будут отправляться сначала на ваш сервер, а с него по Measurement Protocol в Google Analytics.

Для этого на сайте достаточно будет заменить домен, с которого загружаются скрипты gtm.js или analytics.js. В нашем случае это выглядит так:

<!-- Google Tag Manager -->
<script>(function(w,d,s,l,i){w[l]=w[l]||[];w[l].push({'gtm.start':
new Date().getTime(),event:'gtm.js'});var f=d.getElementsByTagName(s)[0],
j=d.createElement(s),dl=l!='dataLayer'?'&l='+l:'';j.async=true;j.src=
'https://
google-analytics-suite.bi.owox.com/gtm.js?id='+i+dl;f.parentNode.insertBefore(j,f);
})(window,document,'script','dataLayer','GTM-XXXX');</script>
<!-- End Google Tag Manager -->

Мы используем этот способ для наших клиентов и хотим поделиться рекомендациями по настройке такого сервера:

  1. При выборе хостинга убедитесь, что запросы с сервера будут успешно доходить до сети Google, а сами IP, выдаваемые самим хостером, не являются заблокированными.

  2. При получении запроса к gtm.js или analytics.js ваш сервер должен запросить аналогичный файл с сервера Google, а затем заменить в ответе домены Google на адрес вашего сервера. Это необходимо чтобы запросы к вспомогательным скриптам, например ec.js, также направлялись к вашему серверу.

  3. При получении хита необходимо явным образом указать IP и user-agent клиента, чтобы Google Analytics отображал в локациях посетителей не только ваш офис.

  4. Не забудьте подключить SSL сертификат и настроить 307 редиректы для http-запросов.

  5. Если ваш сервер использует ipv4, убедитесь что при проксировании запросов к сервисам Google ваш веб-сервер использует ipv4, а не ipv6.

  6. Включите keepalive, чтобы сэкономить на сетевых подключениях.

  7. Учтите, что POST-запросы через Measurement Protocol могут отправляться с пустым телом и все данные будут в URL.

  8. Настройте мониторинг, чтобы вовремя среагировать, если серверу станет «плохо», иначе данные потеряются.

События последней недели заставили многие компании задуматься о качестве и сохранности их данных. Крупным проектам разработка собственной системы аналитики действительно может помочь застраховаться от части рисков. Но не стоит забывать, что Google Analytics это наиболее универсальная система аналитики, которая помогает бизнесу, в том числе, контролировать отношения с партнерами.

Поэтому мы рекомендуем всем, кто использует системы аналитики, дублировать данные Google Analytics в хранилище, которое принадлежит вам. Для этого подойдут облачные сервисы Google BigQuery, AWS RedShift или внутренние ClickHouse, HP Vertika.

Материал опубликован пользователем. Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать
{ "author_name": "Ilya Chukhlyaev", "author_type": "self", "tags": [], "comments": 25, "likes": 30, "favorites": 1, "is_advertisement": false, "subsite_label": "flood", "id": 37189, "is_wide": false, "is_ugc": true, "date": "Fri, 27 Apr 2018 15:17:57 +0300" }
{ "id": 37189, "author_id": 167412, "diff_limit": 1000, "urls": {"diff":"\/comments\/37189\/get","add":"\/comments\/37189\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/37189"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 199791 }

25 комментариев 25 комм.

Популярные

По порядку

Написать комментарий...
18

Чтобы пользоваться интернетом – смените страну проживания.

Ответить
2

"(по нашим оценкам около 10%)" - сколько вы ресурсов оценили для такой статистики?

"У пользователей сайты, на которых установлен Google Analytics или Google Tag Manager могут грузиться с существенной задержкой." - код грузится асинхронно, это не окажет влияния на загрузку контента сайта. Не вводите людей в заблуждение.

"Для Google Tag Manager есть много альтернатив, включая отечественный DigitalDataManager. Но все они платные, и для переноса тегов придется не только настраивать их заново, но и менять формат данных в dataLayer." - нет у него реальных альтернатив. DDM - вообще не о том, потому-что долго, дорого и криво. К тому же это частично диспетчер скриптов и тегов, который стоит на амазоновских серверах, которые блокируются. И это не решит проблему, потому-что он точно так же потенциально не будет загружать счетчики и другие скрипты. И ни слова про подобие альтернативы - Tealium.

"Для Google Analytics альтернатив не меньше" - альтернатива, это когда можно заменить и продолжать работать, без существенных потерь, а это совсем не так, в данном случае.

Ответить
6

Владимир, в свою очередь добавлю про DDM.
3. Не GTM, а его улучшенная, морально обновленная и удобная версия. Срок интеграции зависит от желания и целей компании: можно ограничиться базовой интеграцией, а можно нацелиться на продвинутую.
Есть бесплатная версия. Платная версия дает больше функциональных возможностей и позволяет пользоваться суппортом команды для реализации всех хотелок.
Ни один из скриптов DDM не хранится на заблокированных серверах. Вы можете проверить это сами и убедиться, что все скрипты раздаются из Москвы.

Ответить
0

"Не GTM, а его улучшенная, морально обновленная и удобная версия." - чтобы установить GTM - нужно скопировать код и вставить на все страницы сайта, с CMS системой это делается за 5 минут. DMM - нужно перечитывать и изучать всю документацию, менять слой данных, подключать библиотеку и еще очень много всего, за что, в конечном счете, придется платить. Это, наверно, про его улучшенность. Чтобы воспользоваться GTM - нужно просто иметь почту на гугле. Чтобы воспользоваться DDM - нужно заполнять заявку через сайт и ждать ответа (?!). Это, наверно, про его моральную сторону. Чтобы сохранить все настройки GTM и перенести их куда нужно - достаточно двумя кнопками импортировать все в файл json. Если нужно по-быстрому разметить действие на сайте, вставить скрипт, отредактировать dataLayer, добавить переменную - это делается моментально. В случае с DDM это далеко не так. Это, наверное, про удобство.

Ответить
6

Владимир, зачем вводить людей в заблуждение? Вы ведь никогда не работали с продуктом DigitalDataManager. В связи с этим непонятно, откуда вся эта информация?

1. Да, вы можете внедрить контейнер GTM, просто скопировав и вставив код на все страницы. Но что это даст? По факту, GTM — не более чем онлайн-редактор кода, где для работы все равно нужно знать JavaScript и куда ни в коем случае нельзя пускать маркетологов, да и аналитиков не рекомендуется.

DDM также можно внедрить скопировав и вставив код на все страницы. Но тогда и функционал будет лишь на уровне GTM.

Если вы хотите использовать все возможности DDM, то очевидно интеграция нужна. Но в отличии от GTM и других тег-менеджмент систем (Tealium, TagCommander и др.), это будет будет ваша единственная интеграция.

Любые маркетинговые и аналитические сервисы уже можно будет подключать без необходимости знания JavaScript или постановки задач в отдел разработки. И это только вершина айсберга.

2. Про платить — в DDM вы платите за поддержку, а не за использование продукта. Если вы хотите использовать DDM без нашей поддержки — платить не обязательно. Все просто.

Для сравнения — у GTM вообще нет никакой поддержки. Если вы захотите решить даже такую очевидную и простую задачу как подключение GA Enhanced Ecommerce, то скорее всего вы потратите в 10 раз больше, нанимая аналитическое агентство или аналитика на ЗП. Да и то не факт, что они все правильно настроят.

3. >> Чтобы воспользоваться GTM - нужно просто иметь почту на гугле. Чтобы воспользоваться DDM - нужно заполнять заявку через сайт и ждать ответа (?!).

Сомнительное преимущество, если честно)

Заявку мы спрашиваем, чтобы познакомить клиента с продуктом поближе, чтобы не приходилось самостоятельно разбираться во всем.

Конечно, self-serve версия будет тоже. Просто попозже. Пока что DigitalDataManager сфокусирован на компании уровня enterprise, которым self-serve регистрация не нужна, а которым нужно решение их проблем, появившихся от использования GTM.

4. >> Чтобы сохранить все настройки GTM и перенести их куда нужно - достаточно двумя кнопками импортировать все в файл json.

Такой функционал также присутствует.

5. >> Если нужно по-быстрому разметить действие на сайте, вставить скрипт, отредактировать dataLayer, добавить переменную - это делается моментально.

В DDM все указанные функции выполняются разы быстрее и удобнее. Более того, вам не придется создавать 8 разных тегов для передачи одного события в 8 разных систем.

___

Суммируя: Если сравнивать GTM и DDM face-to-face, то победит однозначно DDM.

У GTM нет ни одного преимущества или важного функционала, которого бы не было в DDM. При этом, все преимущества DDM — в GTM отсутствуют.

Если вам интересно — мы можем провести персональную демонстрацию и рассказать, что из себя предоставляет DigitalDataManager на самом деле.

Если же интересно пока что просто подробнее ознакомиться с отличием DDM и GTM, рекомендуем вам этот материал — https://ddmanager.ru/tag-managers-vs-digitaldatamanager.pdf

Ответить
0

«В связи с этим непонятно, откуда вся эта информация?» - разве документации недостаточно? )

«1.» - Даже не знаю, как ответить. Я впервые слышу, чтобы тег менеджмент систему называли редактором кода. Для работы в нем знание JS не обязательно. На счет пускать – кем это вообще рекомендуется? Если аналитик не умеет использовать GTM, то это не аналитик. Любой маркетолог с граммом знаний – может без проблем интегрировать пиксель или разметить кнопку.
«DDM также можно внедрить скопировав и вставив код на все страницы. Но тогда и функционал будет лишь на уровне GTM.»
- ну да, поэтому нужно пройти все круги ада по интеграции и платить на регулярной основе за DDM.

«Если вы хотите использовать все возможности DDM, то очевидно интеграция нужна. Но в отличии от GTM и других тег-менеджмент систем (Tealium, TagCommander и др.), это будет будет ваша единственная интеграция.» - Это зависит от того, какие интеграции нужны. Зачастую GTM точно так же устанавливается один раз, без дополнительных вмешательств в код.
«Любые маркетинговые и аналитические сервисы уже можно будет подключать без необходимости знания JavaScript или постановки задач в отдел разработки. И это только вершина айсберга.»
- далеко не любые и то, если платить деньги. Но в целом, тут у DDM преимущество.

«2. Про платить — в DDM вы платите за поддержку, а не за использование продукта. Если вы хотите использовать DDM без нашей поддержки — платить не обязательно. Все просто.» - без поддержки такой продукт невозможно использовать в полную меру, ну а про предварительную интеграцию и так понятно.

«Для сравнения — у GTM вообще нет никакой поддержки. Если вы захотите решить даже такую очевидную и простую задачу как подключение GA Enhanced Ecommerce, то скорее всего вы потратите в 10 раз больше, нанимая аналитическое агентство или аналитика на ЗП. Да и то не факт, что они все правильно настроят.»
- поддержка есть, к тому же – есть огромное количество готовых материалов, шаблонов, настроек через json и официальных сообществ, где все вопросы могут разрешаться. И да, это еще и бесплатно. Enhanced довольно просто настраивается, но могут быть ошибки, тут согласен.

«Заявку мы спрашиваем, чтобы познакомить клиента с продуктом поближе, чтобы не приходилось самостоятельно разбираться во всем.» - сомнительное преимущество.
«Конечно, self-serve версия будет тоже. Просто попозже. Пока что DigitalDataManager сфокусирован на компании уровня enterprise, которым self-serve регистрация не нужна, а которым нужно решение их проблем, появившихся от использования GTM.»
- проблемы появляются не из-за инструмента, а из-за кривых рук.

«4. >> Чтобы сохранить все настройки GTM и перенести их куда нужно - достаточно двумя кнопками импортировать все в файл json.
Такой функционал также присутствует.»
– это хорошо.

«5. >> Если нужно по-быстрому разметить действие на сайте, вставить скрипт, отредактировать dataLayer, добавить переменную - это делается моментально.
В DDM все указанные функции выполняются разы быстрее и удобнее. Более того, вам не придется создавать 8 разных тегов для передачи одного события в 8 разных систем.»
– за деньги, да ) на счет общей быстроты всего процесса – большой вопрос. На счет тегов - да, тут согласен.

«Если же интересно пока что просто подробнее ознакомиться с отличием DDM и GTM, рекомендуем вам этот материал — https://ddmanager.ru/tag-managers-vs-digitaldatamanager.pdf»
- да, отличия можно сразу выделить, но это реклама продукта, а не сравнение разных решений одной задачи.

Ответить
1

Владимир, мое предложение подробнее рассказать о продукте остается в силе ;)

Ответить
0

Как-нибудь мы это обязательно обсудим )

Ответить
0

Поправьте валидацию адреса в вашей форме заявки, а то он наш сайт (https://cm.center/) за сайт не считает.

Ответить
1

Консерваторы умрут консерваторами.

Ответить
0

У кого-то такт еще при жизни умер

Ответить
0

Есть бесплатная версия?
а как об этом узнать не отправляя заявку?
и вообще, в чем отличие редакций?

Ответить
0

Надеюсь, что смог ответить на вопросы касательно стоимости в предыдущем комментарии Владимиру. Если требуется больше информации — буду рад ответить.

Ответить
5

Владимир, спасибо за вопросы.
1. Это десятки проектов, в основном крупный ecommecre. В целом, вы можете посмотреть долю заблокированных IP
2. К сожалению нет, многое зависит от внедрения. На одном из магазинов не грузилась страница «спасибо за заказ» и данные о конверсии не отправлялись в рекламные сервисы

Ответить
0

1. Ок
2. Так себе внедрение :(

Ответить
0

бывают криворукие варианты, когда грузится синхронно. Или когда напрямую используется ga функция. А при ее отсутствии модуль с этой функцией вылетает по exception

Ответить
5

Вместо GTM лучше использовать DigitalDataManager – ddmanager.ru

Ответить

1

Разлочили же сегодня t.me/rknshowtime/181

для ленивых:
57.[Unblocked] 64.233.163.138/32 - Google LLC - docs.google.co
58.[Unblocked] 216.58.207.202/32 - Google LLC - fonts.googleapis.com
59.[Unblocked] 216.58.207.234/32 - Google LLC - fonts.googleapis.com
60.[Unblocked] 216.58.207.195/32 - Google LLC - google.ru
61.[Unblocked] 216.58.209.131/32 - Google LLC - google.ru
62.[Unblocked] 64.233.163.94/32 - Google LLC - google.ru
63.[Unblocked] 216.58.207.232/32 - Google LLC - googletagmanager.com
64.[Unblocked] 216.58.211.136/32 - Google LLC - googletagmanager.com
65.[Unblocked] 216.58.207.197/32 - Google LLC - mail.google.com

Ответить
0

Пока мы не видим изменений на проектах, с которыми работаем. Все также клиенты не могут получить доступ к Google решениям, а данные без проксирования доходят не все.
Но если ситуация изменится, все только рады будут :)

Ответить
0

К сожалению, не все. Например 173.194.73.102, на который резолвится www.google-analytics.com, все ещё в списке: https://blocklist.rkn.gov.ru/

Ответить
0

Под моим IP до сих пор не работает:
- googletagmanager.com
- google.com ru - отрабатывает.

Ответить
0

У меня чуть жестче проблема - интернет-провайдер заблокировал myaccount.google.com, что автоматически лишило доступа к гугл докс и прочим гугл драйвам. Звонили им - говорят пишите в РКН, типа мы не при делах. При этом дома и с телефона все работает. Вот теперь незнаю даже как быть: ждать пока само разблокируется или надо некие действия предпринимать?

Ответить
0

а DFP как обойти?)

Ответить

0
{ "page_type": "article" }

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Голосовой помощник выкупил
компанию-создателя
Подписаться на push-уведомления
{ "page_type": "default" }