Лого vc.ru

Как обнаружить и устранить поддельный трафик

Как обнаружить и устранить поддельный трафик
Поделиться

Добрый день, уважаемая редакция vc.ru

Меня зовут Михаил Подрабинек, я занимаюсь развитием проекта Avaho.ru, посвященного новостройкам Москвы и Московской области.

Спустя почти год с момента запуска сайта пишу этот текст, чтобы поднять на обсуждение вопрос, имеющий значение не только для меня и моих партнеров по проекту, но и для всех интернет-ресурсов, продающих трафик.

Что происходит

В последние несколько месяцев всем нашим клиентам «наливают» дополнительный поддельный трафик, якобы от нашего сайта.

Пример: мы продаем застройщику-рекламодателю 2 тысячи переходов в месяц. А он видит в своей «Яндекс.Метрике» или Google Analytics 14 тысяч посетителей за этот же период. И у всех наших клиентов приблизительно такая же ситуация.

То есть, на их сайты льется дополнительный поддельный трафик (сокращенно — г****трафик), в обход Avaho, с теми же UTM-метками, которые клиенты используют, чтобы идентифицировать наш сайт как источник перехода.

Более того, подделываются и HTTP-заголовки (реферер).

Какая получается картина у клиента

Все качественные показатели нашего трафика остаются, но дополнительные 12 тысяч поддельного размывают почти все значения (глубину просмотра, отказы, время на сайте). Прежней лишь остается конверсия (в заявки на просмотры, в звонки).

На изображении ниже видно увеличение ежедневного трафика на сайт клиента по UTM-метке до 2–4 тысяч человек в день, вместо 60–80.


Представьте — кто-то тратит свои силы и деньги на целенаправленное вредительство разными способами (в его арсенале и закупка мусорных SEO-ссылок, и даже ложные звонки) — вместо того, чтобы улучшать свой проект. Эта ситуация многим наверняка знакома.

Это вносит определенные неудобства для наших клиентов — рекламных агентств и застройщиков — нужны дополнительные действия по фильтрации этого трафика, а также определенные объяснения, почему так происходит.

Клиенты, к счастью, адекватно и с пониманием воспринимают сложившуюся ситуацию. Более того, им это даже помогает сфокусироваться на более полезных метриках, например конверсии и её стоимости.

Но мы бы хотели им еще как-то помочь.

Хочу спросить читателей:

  • Сталкивались ли вы с подобными ситуациями и как выходили из них?
  • Какие можете предложить механизмы фильтрации такого поддельного трафика?
  • Ваш совет или пожелание?

Спасибо.


Отвечает Леонид Румянцев, экс-топ Seopult, привлеченный эксперт ФРИИ по трафику

Привет.

Если бы подменить реферер домена было так легко — любое агентство контекстной рекламы озолотилось бы, выдавая ботов за клики с «Яндекс. Директ». В первую очередь стоит проверить сервер на вирусы и «бэкдоры» (от англ. back door дефект, встраиваемый в программное обеспечение и позволяющий получить доступ к данным или удалённому управлению программным обеспечением — прим.ред.), например при помощи SiteSecure.

История про подделку реферера звучит двойне странно, с учетом того, что в конце 2014 года Chrome, а в след за ним и многие другие браузеры, начали резать реферер и перестали передавать источник перехода на сайт.

Непосредственно ботов в трафике чистить довольно легко — для этого существует много готовых сервисов, лично я рекомендовал бы ClickFrog. При работе с большими объемами или дорогим трафиком это особенно актуально.


Чтобы задать свой вопрос читателям или экспертам, заполните форму заявки на странице.

Популярные статьи
Показать еще
Комментарии отсортированы
как обычно по времени по популярности

проверьте свой сайт на вирусы, попробуйте для начала бесплатной утилитой от Яндекса
yandex.ru/promo/manul#about

"Наливной" трафик идет к клиенту минуя наш сайт. Это мы видим благодаря 3 инструментам: Google.Analytics (фиксирует события-клики на ТГБ), внутренняя статистика (также фиксирует клики) и access-логи. Поэтому не поможет. И вирусов нет.

Вообще-то подменить реферер действительно очень легко.

Реф спам сейчас на всех сайтах, вот только расценок не встречал на такой вид "го*нопродвижения"

0

Все системы статистики (Метрика, GA) показывают такой всплеск, или только определенная?
Если только GA - реферрер крайне легко подменяется с помощью Measurement Protocol, хоть на Директ, хоть на adWords, хоть на органический поиск:
developers.google.com/analytics/devguides/collection/protocol/v1/devguide
И на сегодня лекарства, к сожалению, не существует.

0

И Яндекс.Метрика видит, и Google.Analytics

Более того, мы видим, что у Яндекс.Метрики еще более скудный инструментарий для фильтрации таких тем

0

> Какие можете предложить механизмы фильтрации такого поддельного трафика?
Не думаю, что кто-нибудь расскажет эффективные способы за бесплатно.

0

Предложите платно

0

Не поленился включить десктоп, чтобы дать развернутый ответ (с телефона это тяжко).

>>Если бы подменить реферер домена было так легко — любое агентство контекстной рекламы озолотилось бы, выдавая ботов за клики с «Яндекс. Директ».
Это очень легко подменить реферрер в боте, скрипте или чем угодно дабы отдать фейковые данные, и этим многие и многие постоянно занимаются.
Выдавать ботов за клики Директа очень плохая идея - в любой день клиент может (самое простое) написать письмо в саппорт Директа и сверить число кликов (уж, не говоря о том, что клиентам зачастую доступен гостевой доступ к статистике).


>>В первую очередь стоит проверить сервер на вирусы и «бэкдоры» (от англ. back door — дефект, встраиваемый в программное обеспечение и позволяющий получить доступ к данным или удалённому управлению программным обеспечением — прим.ред.), например при помощи SiteSecure.
Как именно любой скрипт взлома позволит накрутить данные в стороннем(!) счетчике гугл аналитики?

>>История про подделку реферера звучит двойне странно, с учетом того, что в конце 2014 года Chrome, а в след за ним и многие другие браузеры, начали резать реферер и перестали передавать источник перехода на сайт.
Просто прикрепляю скриншот гугл аналитикса. Реферерры людей за вчера с браузером хром, посетившие один из разделов нашего сайта. Рефы прекрасно видны.
---------
По факту вопроса:
Практически наверняка статистику накручивает один из продавцов трафика. Чтобы покупатель не понял, кто именно из поставщиков накручивает - он накручивает переходы всем.
Соответственно в идеальном мире - нужно проверить качество "лидов" по каждому источнику.
В более простом мире сгенерировать в гугл аналитиксе не сложный отчет: показатель отказов, время на сайте, конверсия по каждому источнику трафика. С огромной вероятностью "читер" будет самым плохим или самым хорошим по одному из показателей.
Немного другой путь - сравнивать браузеры, версии, разрешения экранов, ОС, распределение по гео итд каждого из поставщиков. У читера (если это не супер-пупер профи, который не стал бы заниматься маленькими масштабами накрутки) эти данные будут резко выделяться.
Эти советы более-менее универсальные и помогут любому разобраться, кто из поставщиков его накручивает.

Александр, отличный ответ :-)

Теперь по существу:
1. Бэкдор может работать как редирект кликов, например с pop-up'ов.
2. Хром действительно режет реферер. Попробуй напрячь кодеров поймать его без GA - сильно удивишься результату.
3. Скинь в личку ссылку на софт по подделке реферера. Очень хочется его потыкать :-)

0

Это же какой уровень знаний должен быть у "ЭКСПЕРТА ПО ТРАФИКУ", который не знает про referer в chrome, и который не знает насколько легко подделать referer в скрипте. Редакция, как уровень его "экспертности" оценивался? В аттаче скриншот из chrome devtools. Погуглить по запросу например "fake referer php" предлагаю "эксперту" самому

здесь виден юзерагент хрома полностью:

Хочу заметить, что я эксперт по трафику, а не по ботам :-)

0

Привет, Леня!
Рад тебя слышать, давно не виделись :)

1) Я бы скорее преположил, что владелец сайта аяксом или во фрейме накручивает перехода. Накручивать через бекдор скрипты, сливая туда попап - злобно как-то тратить ресурсы.
2) Эм, прикрепляю скриншот за вчера из Яндекс.Метрики
А есть какие-то пруфы? Я думаю, тут что-то смешалось связанное с тем, что поисковики перестали кейворды отдавать. Так что я даже запаниковал сначала - неужели действительно :)
3) Я имел в виду банальный скрипт который отправляет гетом запрос с поддельным реферерром. Как когда-то дорвейщики делали trackback спамилки для блогов.

P.S. До меня с утра дошло, что статья возможно просто рекламная - так что чего-то я загнался вчера. :)

У меня просто лендинги по рефереру определяли с какой соцсети пришел человек и на автомате подставляли кнопочку "войти через Вконтакте" или "войти через Фэйсбук", в ноябре 2014 это все упало т.к. хром отключил передачу реферера. Нам пришлось все переделать под ютм-метки, хотя это решение хуже, например для естественного трафика.

Если гуглы включили реферер обратно - это хорошая новость. Но этот момент, я видимо, как-то пропустил. Хотя метрика может считать это по косвенным показателям, тут надо разбираться.

P.S. И да, вопрос в редакцию мне тоже показался странным и возможно был сделан для получения трастовой ссылки.

"эксперт" по трафику оказывается не знает про то, что referer не передаётся при переходе с сайта с SSL-соединенем (HTTPS), считает что это "хром не передаёт"

и про боты никто не говорил, все нюансы про referer

так что вопрос про уровень даже базовых знаний "эксперта по трафику" открыт

Фэйсбук перешел на https 01.08.2013, а резать реферер стали в ноябре 2014.

0

А вы пробовали смотреть реферерры при переходе с https на https ? Не могу понять имеет ли значение, чтобы сертификат был подтвержден :(

0

С социалками такая история - что они периодически перестают с концами отдавать реферер, например, при переходе из мобильного приложения нативного.
Летом это частично пофиксили, соответственно резко выросли переходы, например, с m.vk.com , но до сих пор с этим бывают проблемы.
А с телефона, как ты понимаешь, кнопочка не отработает - люди очень редко залогинены в браузере в телефоне в социалочки.

А кнопки G+, Я.Логин и @Mail без сбоя работают?

0

В телефонном браузере со всеми кнопками ничего не выходит. Ходят легенды, что в каком-то браузере у андройда нет проблем с гуглом))
По моим прикидкам лучше всего отрабатывает попап предлагающий открыть соответствующую форму в соответствующем мобильном приложении (там уже будут все виды логинов).
Заодно и пуши можно будет слать. По идее если ты гонишь лиды на разную хренотеребень и там значимый процент мобайла, то вполне возможно, что такой способ выведет тебя в плюс (я, конечно, не пробовал).
(для арбитража) То есть у тебя приложение, где собраны все твои лидо формочки, то вполне возможно, что оно может дать тебе бонус относительно конкурентов :)

0

Нам это не нужно :) А ваш "комментарий эксперта" очень однобок и скуден.

0

Статья не рекламая. Эта проблема наша боль. Я нашел только 1 способ 100% отфильтровать этот трафик. В случае, если рекламодатель не использует UTM метки и наш трафик виден как реферальский, то параметр "полный путь перехода" настоящий - это "avaho.ru/ext/", а вот у накрученного трафика полный путь перехода - это разные страницы, включая несуществующие в равных долях c2n.me/3rd8uFF.png

А вот так выглядит настоящий трафик: c2n.me/3rd8JMk.png

А если UTM метки используются - то "URL" будет "not set" и у настоящего трафика и у поддельного!

0

Если утм метки используются вы еще можете смотреть любой другой системой статистики. У них реферрер это реферрер :)

Посмотрите в сторону https протокола

0

Обычно ботов легко отследить по техническим параметрам. Например, построить отчет по браузерам/версиям браузеров (это могут быть какие-то странные разрешения экранов, скрытые рефереры, неопределяемые операционные системы или также устаревшие). Картина будет примерно следующая: трафик с версии Chrome 46.00.34234 (текущей) и какая-то часть трафика с Chrome 30.00.34984 (примерно года 2 назад такая версия была), учитывая автообновление большинства браузеров, логично предположить, что это боты.
Плюс если отчет немного расширить, например, добавив метрики: показатель отказов, среднее количество просмотренных страниц за сессию, среднее время сессии, то для "старых" версий браузеров эти метрики будут сильно отличаться от "нормального" трафика.

Мы советуем строить рекламодателям отчеты с сегментом "посетители без отказов", так как показатель отказов у накрученного трафика 100%. Это просто и эффективно.

0

Тогда вы ловите не всех ботов.

0

Пока это помогает. В декабре накрутчики вроде успокоились. Тишина пока. Надеюсь так и будет :)

0

github.com/T-igra/ItSALive
Этот небольшой код защищает статистику Яндекс Метрики (и GA) от действий рефспам-ботов.

0

Avaho.ru ничего, что у вас сайт под Минусинском? О каком реальном трафике, конверте и пользе для вашего рекламодателя вы рассказываете? ) на вашем сайте не то что за 99 000 рублей avaho.ru/advertise/, за 9 900 размещаться не стоит.

0

Максим, вы правы насчет Минусинска - с этой субботы, 5 декабря Яндекс наложил санкции из-за грязных seo-ссылок, закупленных конкурентами.

При этом, несколько месяцев назад, когда мы обращались в Яндекс с вопросом - стоит ли нам беспокоиться (нам не удавалось заблокировать эти ссылки) - Яндекс советовал не переживать вообще.

Сейчас мы ведем переговоры с Яндексом, а также нам все-таки удалось заблокировать эти ссылки, так что скоро все будет нормально.

Ну и надеюсь, что вы не считаете органику Яндекса единственным источником целевых посетителей для застройщиков.

0

Нереально минусинск словить размещением ссылок на говносайтах. Снимайте свои покупные.

Александр, вы написали бред.
Равно как и я написал бред в ответ на ваше сообщение.
Знаете почему? Потому что кроме слова "нереально" у вас нет ни одного аргумента, а я кроме слова "бред" пока не хочу публиковать все алгоритмические выкладки, графики, кеши яндекса и доказательную базу обратного.
Буду готов и посчитаю нужным - опубликую.
Что касается конкретно авахо - их реально слили под минусинск. И делали это долго. После разговора с Владимиром вчера это проверили и детально.

Торгующим сайтам по недвижимости, будь то они "мошенники" или "накрутчики" изначально, либо "честные" проекты нужно бояться того же.

Реальная возможность ограничить покупку ссылок "на конкурентов" - ввести систему "подтверждения прав на проект/домен" в сапе, пульте и других ресурсах похожего толка. Так, как вы делаете, когда добавляете сайт в Вебмастер Гугла или Яндекса.
Но, вряд ли хоть один из проектов подобного толка пойдет на это.

0

Давайте я вам аргумент приведу. В Минусинск залетают за ссылки, которым 10 мес. отроду (это на данный момент 10.12.15).

Алгоритмические выкладки, графики и кеши приводить не буду, тк не считаю нужным. Но расскажу, что есть опыт вывода из под Минусинска 7 сайтов с замерами и четким пониманием, когда именно и почему сайты выпрыгивают из под него. А выприыгивают они, именно когда снимаются старые ссылочки и кол-во новодела на это никак не влияет. Поэтому вы хоть обставьтесь ссылками на конкурента это ничего не даст. Ставить нужно было тогда, когда еще никто не знал, что этим можно загасить.

Байки про бедных несчастных вебмастеров разивающих сайты для людей и не знающих что такое покупные ссылки оставьте для Платона, или для своей жены, тк Платоны давно на это не ведуться.

Все кто есть в серьезных топах - накрутчики.

P.S. если вы не знали, в сапе можно ограничить покупку ссылок на свой домен, просто нужно захотеть сделать это. Но помимо сапы есть еще много прекрасных мест, где можно помочь нерадивым вебмастерам поверить в то, что минусинск на их сайте дело рук конкурента, а не их собственных былых накруток и ручной наводки конкурента.

0

Я мог бы в это поверить, но увы.
Циферки доказывают обратное. Сайт закупался в сапе тупо арендными ссылками с нормальными анкорами, после минусинска, все ссылки были сняты. Я таких "бедных" овечек в месяц пачками вижу, которые, не покупали, не накручивали.
Даже, если представить, что это действительно не вы, то объясните мне, почему год видя эти беклинки в вебмастере, вы не заблочили домен в сапе? Вот за это и минусинск.

0

Ссылки на нас закупались с февраля. В сапе заблочили сразу. Пульт нас послал вежливо в суд. Платон Щукин обещал, что ничего страшного... Это длилось долго.

После наложения санкций удалось убедить генерального Пульта, чтобы они заблокировали возможность покупать ссылки.

В ближайшее время пройдем ВСЕ существующие биржи и заблокируруем их тоже.

В Управление "К" написано заявление, если удастся с ними договориться - постараемся найти исполнителя по биллингу.

Все слово готов подтвердить, если кому надо, документами, историей переписки и так далее.

Огульно обвиняя нас в том, что это мы "бедные овечки"... вы показываете свой уровень интеллекта и воспитания!

Всем спасибо за внимание!

Ну конечно не считаю. Зато я все еще считаю, что красная цена размещению на вашем сайте - 9 900 рублей

Для тех цен, которые вы просите за размещение и тех циферок, которые рисуете в переходах, - на контекст нужно тратить в 10 раз больше spywords.ru/sword.php?sword=avaho.ru
Чтобы с рекламы на вашем сайте была отдача.

Ну и 2.5-3к уников в сутки (да еще видимо и до минусинска) как то смешно для означенных в прайсе цен на рекламу.

Нулик один в конце уберите, будет норм )
Хотя не знаю, может у вас там в недвижке все долбанутые на голову, тогда впаривайте дальше, не отвлекаю.

P.S. ирония в том, что пост сделан ради seo ссылки, а seo ссылки придется чистить ) Хотя вру, эту ссылку можно не трогать она прям естественной получилась.

0

Сделать ничего нельзя. Налить трафик с подменой рефереров элементарно. Хоть 1000, хоть 100к в сутки. И это будут разные IP, разные разрешения дисплеев, операционные системы и т.д.

0

Сегодня мне показывали как это делается. Я слегка прифигел от того насколько это легко и просто. Остается только верить в то, что те кто это делают поймут, что их действия, хоть и довольно большой гемор для нас, но глобально ситуацию не меняют. Наоборот, в стремлении настроить статистику клиентов так, чтобы не учитывать эти накрутки мы все больше и больше сближаемся со своими рекламодателями, и происходит понимание того, ХУ ИЗ ХУ! :)

0

Привет :)
А вам сеошник на удаленку не нужен? Интересный проект :3

0

А ты можешь? Позвони - поговорим!

0

Доброго дня всем. Не в защиту авахо, а в защиту справедливости. Итак, если говорить о Минусинске и том, что "это вы, гады, сами ссылки ставите". Не факт, как показывает практика: kvadroom.media/rulim/47307/

Максим, в недвижимости совсем не "все долбанутые на голову работают". И даже с "может" звучит оскорбительно.

>http://kvadroom.media/rulim/47307/
Снимаю шляпу. На моей памяти 4 дня - рекорд.
Обычно Платона вывести на конкретный человеческий ответ больше занимает.
Интересно через кого общались? Неужели есть лобби в Яндексе?

0

У нас нет "лобби". Общались как и все - через техническую поддержку.

0

С нас сняты все санкции Яндекса 11 декабря в 21-30 :) Яндекс прислал письмо с извинениями!

0

Видимо Минусинск пошел уже не тот )

0

> Если бы подменить реферер домена было так легко
> привлеченный _эксперт_ ФРИИ по трафику

Эксперт

0

Возможность комментирования статьи доступна только в первые две недели после публикации.

Сейчас обсуждают
Олег Волков

Вот хороший пример, как ребята начав с узкой ниши - база данных по вкладам + новости отрасли превратились в главного игрока в отрасли.

Я думаю очень большие шансы, что взлетит, если предложат хорошую ценность для участников сети, хотя бы аналог linkedin приходит на ум.

Сейчас у них очень сильная платформа для PR-а этого проекта, налаженные связи с банками. Что стоит просто дать объявление по базе, сказать что резюме будет доступно кадровикам и агентствам.

Почти все банкиры карьеристы - работа тяжелая, нервная, допоздна. Поэтому с удовольствием идут с места на место для повышения заработной платы и должностей.

p.s. начинал свою карьеру в ВТБ в отделе по работе с корпоративными клиентами.

Основатель «Банки.ру» Филипп Ильин-Адаев объявил о запуске социальной сети для банкиров — Bankir.com
0
Андрей Захаров

Всё уже сказано до нас: "Грешно смеяться над больными людьми"

Видео: Герман Греф в «костюме инвалида» в отделении «Сбербанка»
0
Павел Сайк
Студия Палыча

Статья хорошая, но мне кажется что автор не может сделать вывод. На языке вертится, но в слова не складывается

«Никому не выгодно, чтобы у вас скапливались деньги»
0
Константин Замуренко

Ещё немного и после слов "я футуролог" человека будут бить по лицу

«Боты станут умнее, а вы потеряете свою работу»
1
Константин Шукалов
Делаем в России

Не совсем понятно какую ценность несут ваши комментарии к вопросу Сергея )) Зачем вы их писали? В чем был смысл вот этих вот строк про деградантов и почитайте книгу?

Были заданы конкретные вопросы на которые на ровном месте посыпались оскорбления и набор шаблонов из разряда "эта страна". Особенно забавно слышать о деградирующем большинстве от человека, у которого книга 2008 года издания появилась раньше интернета XD

«Через 50 лет стран не будет — останутся только города»: основные тезисы лекции Кьелла Нордстрема о будущем
0
Показать еще