Оффтоп Илья Чекальский
14 610

Google из-за стороннего спамера забанил vc.ru

История о хорошем способе подставить любой сайт. И решение проблемы пока не найдено.

В закладки

В октябре прошлого года несколько наших клиентов написали нам, что результаты рекламных кампаний по их счётчику оказались на порядки скромнее тех данных, что мы предоставили со своей стороны. Выглядело всё так, будто реферер терялся по пути на клиентский сайт или клиентская Analytics вообще не видела переходов от нас.

Первым делом мы начали сетовать на HTTPS — может быть, мы неверно что-то настроили и браузеры обрезают реферер из-за этого? Оказалось, что всё окей, все наши тестовые переходы засчитывались один к одному. Мы экспериментировали с разными тестами, а я решил погуглить — может быть, кто-то ещё сталкивался с подобной проблемой.

И очень неожиданно наткнулся на статью с инструкцией о том, как заблокировать реферальный спам с домена vc.ru на каком-то сайте.

Что?! Какой реферальный спам?

Для владельцев сайтов с установленной Google Analytics это выглядит, будто бы vc.ru генерирует фейковые переходы на их сайт, засоряя статистику и привлекая внимание к своей странице.

Оказалось, что ещё в феврале мы написали про некоего Виталия Попова, у которого Google решила отобрать домен, который тот использовал для реферального спама. И, видимо, Виталий начал рассылать спам, подставляя домен vc.ru со ссылкой на статью про него.

А Google спустя некоторое время перестал отображать во всех аккаунтах Analytics переходы c vc.ru.

Вместе с этим мы также попали в спам-листы Piwik, а я нашёл упоминания vc.ru во многих репозиториях на GitHub со скриптами, защищающими от реферального спама. Вместе с этим начались проблемы с доставкой почты с домена vc.ru, некоторые получатели расценивали письма как спам. Но самое главное — из-за того, что Google Analytics является стандартом де-факто для измерений результативности рекламных кампаний, наши клиенты не видят в нём переходы от нас.

С аналогичной проблемой сталкивались The Next Web и Motherboard.Vice — но я не знаю, как решилась проблема у них.

Сейчас мы пытаемся справиться с проблемой, используя UTM-метки, но это не панацея — по каким-то причинам метки не учитываются аналитикой, когда трафик проходит через кликовый трекер (AdFox, AdRiver или Doubleclick).

Мы обратились в компанию Google по всем каналам, но последний ответ был примерно таким: «мы будем продолжать блокировать домен до тех пор, пока есть реферальный спам, можем вернуться к обсуждению через несколько месяцев».

¯\_(ツ)_/¯

{ "author_name": "Илья Чекальский", "author_type": "editor", "tags": [], "comments": 72, "likes": 102, "favorites": 30, "is_advertisement": false, "subsite_label": "flood", "id": 31218, "is_wide": false, "is_ugc": false, "date": "Mon, 15 Jan 2018 17:24:00 +0300" }
{ "id": 31218, "author_id": 75, "diff_limit": 1000, "urls": {"diff":"\/comments\/31218\/get","add":"\/comments\/31218\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/31218"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 199791 }

72 комментария 72 комм.

Популярные

По порядку

Написать комментарий...
39

А не надо было писать про Виталика!

Ответить

Комментарий удален

1

Про Бутерина можно, а вот Попов реально довольно "разжиревшая" личность чтобы писать о нём.

Ответить

Комментарий удален

19

Кстати, да. Быстрее сделать новый домен и через него редиректить. У гугла ведь обезьяны в поддержке, что от него ждать?

Ответить
1

Если человек за них всерьез взялся, то разошлет спам с двумя доменами, и будет и первый и второй в спаме, а также их связка - тоже.
Не нужно подставляться, просто ... назвались "Комитет", а ГБР не обзавелись, ну как так можно :)

Ответить
12

Ребятки из vc.ru, скорее всего вас утешит тот факт, что вы не одни. Домены наших изданий вносились в спам где только можно, мы получали постановления о блокировки по судебному решению, от Роскомнадзора за статью о самодельной пиротехнике, на нас оставляли крайне негативные отзывы ребята которые получили за 10к руб. «всего 800» переходов. За 6 лет мы от какой только херни не страдали. И личные угрозы и государственные халатности и обозлённые клиенты с читателями.
Но мы живы и уверен что и вы выживете.
А тут есть момент, касательно гугла. Как то у нас появилось в веб-мастере предупреждение о том, что мы пытаемся манипулировать поисковой системой с помощью ссылок. Речь шла о статье, которая являлась подборкой статей с наших ресурсов. Гугл предложил либо ссылки закрыть, либо мы схватим фильтр. Ссылки мы конечно закрыли и переотправляли страницу на проверку. Нам выдали фильтр. За 4 дня мы написали почти 200 обращений в гугл и даже нашли туповатый повод для досудебного обращения. Фильтр убрали. Думаю просто потому, что кто то вручную сделал то, с чем налажал алгоритм фильтра.

Ответить
0

У меня ситуация интереснее, и после разнообразных попыток исправить или улучшить, я в-общем решил что не жили богато, нефиг и начинать :)
Но идеи поискать норм. специалиста со знанием требований поисковиков и умением претворять их в жизнь с помощью php/perl массовых операций над контентом сайта, меня периодически посещают ... Кстати, была одна из причин начала активности на vc - но здесь все так увлечены намазыванием миллионов на миллиарды, что скорее всего я услугу "Идите Вы к черту со своими конфетками", как в том анекдоте :)

Ответить
–2

Можно было бы попробовать пойти в суд, но с нашей системой будет долго и скорее безрезультатно. Остаётся метод Тинькова, заслать к нему мальчиков с Петровки 38, быстро, надёжно, с гарантией, да и дешевле :D

Ответить
33

К кому? К Пейджу или к Брину?

Ответить
0

к Виталику.
Какие тут претензии к Пейджу или к Брину?

Ответить
1

А толку? Виталик сделал свое дело, сейчас то уже проблема не в нем, а в Гугле.

Ответить
0

Есть кейсы чтобы людей закрывали или штрафовали за спам?)

Ответить
2

Есть кейс с "Центром Американского Английского", который заспамил всё живое в начале нулевых. Пытались судить - бесполезно, говорил "мопед не мой". Владельца центра убили. Спам прекратился.

Ответить
0

Уверена его убили не за спам))

Ответить

Комментарий удален

0

Этот пример лишь подтверждает, что кейсов реальных на тему нет.

Ответить

Комментарий удален

0

Официально вроде какие-то разборки, но кто его знает :)
Спам приходил практически каждый день месяцами и никакие фильтры не спасали.
Забили насмерть бейсбольной битой, так что я бы не исключал никакой вариант :-|

Ответить

Комментарий удален

Комментарий удален

2

Ну тогда мы не стали бы переживать и выносить это в публичное поле. Мы лишь хотим показывать конверсии там, где удобно клиентам. В данном случае, речь идет о GA.

Ответить
2

Пару лет назад была тема, не помню подробностей, но по ссылке открывался сайт прослойка один в один с vc.ru Я даже вроде вам на почту писал про это. Или в каментах скрин постил. Подробностей не помню, но точно помню, что на тот момент это была схема накрутки переходов. И меня это удивило. Зачем такому уважаемому сайту накручивать траф.

Ответить
1

Это абритражники такие темы используют, они через них конверсии увеличивают.

Ответить
2

Неудивительно, что Гугл обиделся, этот спамер Виталя пасётся тут в коментах и пиарит свой сайт, а ваши сотрудники лыка не вяжут, чтобы его забанить и отфильтровать.
Я конечно пожелал ему удачи и хорошего настроения, но пока не сработало:

https://vc.ru/27504-google-i-yandeks-isklyuchili-rutracker-iz-poiskovoy-vydachi#comment-534030

Ответить

Комментарий удален

0

Яндекс Метрика и любая другая система считают.

Ответить

Комментарий удален

2

Нельзя быть СМИ, пишушим на проблемные темы, и не ловить такие "подарочки" от обиженных, а то и DDos атаки, или фейковые рассылки "Как будто от vc" с вирусной ссылкой, и прочее-прочее-прочее. Кстати, на них и проверяется чего стоит схема защиты проекта - есть ли сценарии "Что если", или все на авось ...
 
Схема со спамом со ссылками на домен конкурента очень старая. Разослать спам про компанию Б, чтобы их сайт/почту забанили, анонимно по заказу компании А
Я очень удивлен, что схема продолжает работать и в 2017-м году - я думал она осталась в глубоком прошлом.

Это уже вторая публикация за неделю о том, как зоопарк из разномастной аналитики выдаёт фортеля. Уже две недели Нового года любуюсь на Waiting for mc.yandex.ru на разных сайтах (тоже метрика небось), и непосредственно вчера на vc.ru ругалось на просроченный сертификат некоего домена - но это скорее всего Eset Nod32 опять дурит (у него бывает). В пятницу и в понедельник два раза достал письма от клиента из спама - и настроил правило "Никогда не отправлять в спам" - список там у нас на 500+ адресов уже, кстати (Google Mail).
 
Я для чего написал абзац выше? Что это ежедневная Internet рутина (тайм-ауты, подвисания, глюки), которая лояльной аудитории не мешает заходить на _нужные_ и _полезные_ сайты.
 
Далее, я откровенно бешусь от кормления рекламодателей аналитикой. Это удобно, это солидно - куча цифр, особенно распечатанных на 10-15 листочках с графиками - это материальное подтверждение чего-то осуществленного, это создается автоматически и бесплатно сторонними средствами ... но я хочу сказать что это вторично по отношению к непосредственно продажам, как бы оно не помогало в них. Вторично! А сейчас мода объявлять эту аналитику альфой и омегой продаж - т.е. на аналитике начинать объяснение эффективности и ей же заканчивать. Данная история - яркий пример того, что бесплатно кататься на чужой карусели (Google Analytics) можно до поры, до времени, а так нужно иметь что-то своё - кабинет рекламодателя, показы, переходы, ref, и так далее.

Далее, я бы не отказался кликать на рекламу - если бы она была мне релевантна, но на vc.ru я такую рекламу (для себя) вижу крайне редко. К сожалению.

Ответить

Комментарий удален

4

когда руководству нужно показать "понятный" ответ.

Это переносит фокус на прикрытие очаровательной попы маркетолога, вместо формирования устойчивых продаж от рекламы. И именно это мне не нравится, я предпочитаю работу на результат, как бы это не было сложно.

 > вопрос "проверки" показанных цифр.
Да, и поэтому дать где-то рекламу или нет - это прежде всего вопрос _доверия_ к тому, что аудитория ресурса может стать клиентской базой.

поясню

Развитие отрасли в женском направлении - т.е. в сторону вот таких красивеньких отчетиков, вот таких графичков, а еще можно сравнить то с этим, а это с урожаем бананов в Эквадоре - это все больше и больше рюшечки и кружева, которые, я повторюсь, призваны скрыть реальную попу с продажами/эффективностью ...
Я безусловно за необходимый и достаточный уровень статистики для рекламодателя - это стандарт в отрасли де-факто сейчас. Мне лично, на своём рабочем месте, не все удаётся в этом направлении, но я четко вижу границу между _реальным_ кол-вом просмотров-кликов (честным), и страницами распечаток цифири для отвода глаз.
За цифирь, как за спасательный круг, хватается тот (та:), кто толком не понимает что он/а делает, для кого, надолго ли на этой работе, и что представить в качестве отчета, если он/а написала пару е-мейлов, 5 раз позвонила, получила счет и отнесла в бухгалтерию - за месяц работы :)

Ответить

Комментарий удален

1

ставить себя на место бизнеса

На уровне ЛПР бизнеса - "хотим мы там рекламироваться или нет" и все. А вот дальше, на уровне, извините прокладок между ЛПР и рекламной площадкой - начинаются всякие согласования, уточнения, переделки, вот отчеты еще - которые _очень_ часто, нужны для обоснования своей нужности и полезности не очень уверенным в себе дамам. Потому что ЛПР может мельком глянет, и спросит продажников - ну что, Вы считаете, сработало? А может и не спросит - потому что ему уже _друзья_ сказали что видели его рекламу и это было круто. И этого достаточно.
 
Заявляю это на основании "двиганья пикселей" в макетах - последние, пожалуй что 20 лет - и в качестве рекламодателя, и в качестве рекламной площадки.

ИП-шника, торгующего, например постельным бельем,

который начнет городить свой счётчик.

Он рекламодатель. Зачем ему свой счётчик? Зачем ему в принципе счетчик, ему нужно комплексное решение по организации продаж, и сами эти продажи.
 
лучше считать хоть что-то, чем вообще ничего.

Извините, это иллюзия, подпитываемая _наличием_ готовых данных в удобной форме. Лучше, прежде всего думать и анализировать, планировать, отрабатывать на фокус-группах - на живых людях. До пришествия Internet, как-то создавались и осуществлялись рекламные кампании в офф-лайне, и знаете, неплохо получалось ...

Ответить

Комментарий удален

0

квотить текст можно с помощью > знака больше

1/ Бизнес строится на отношениях, и на ощущениях тоже.
2/ Уровень технологичности рекламы может иметь связь с ее эффективностью, а может и не иметь.
3/ Во время своей работы сталкиваюсь с невниманием к технических деталей применяемых решений - каковое - убивает или как минимум серьезно снижает какой-то бы то ни было эффект.
Примеры:
1. "Мы хотим видеть переходы" - лепят редиректы (переходы считаются!), только сами редиректы бросают на link not found - ведь ссылки указаны как domain/ru (вместо domain.ru)
2. Мы поставили ref ссылки! Молодцы - только сайт не понимает ?para=value&para2=value ? refby=value и мало того что ref не указывает, так и вместо конкретной ссылки бросает на page not found :) Спокойно меняю ? на & = а это не помогает, перебрасывает в начало сервера с сообщ. об ошибке parameter not found - это поле refby не заведено в настройки :)
3. Наконец - редиректы работают, все отлично перекидывает - но сайт не открывается, сам по себе "Ой, у нас он чего-то перегружен последнюю неделю, у нас (из офиса внутри) открывается нормально, а клиенты жалуются что пробиться не могут, ну так пусть звонят"

...

Ответить
1

Гугл анал и яндекс анал режутся всеми блокировщиками рекламы, даже бесплатными, даже собранными из желудей и палок на старом роутере.
Поэтому лучше уж пусть каждый бизнес на своем поддомене ставит Piwik (Matomo), чем сливает (совсем неполные) данные неизвестно куда.

Ответить

Комментарий удален

0

Мы ни с кем не "договариваемся". Главное отличие (и проблема из-за которой их режут) Г анала и Я анала от своей системы аналитики (Piwik) в том, что они уничтожают приватность пользователей. А мы всегда на стороне пользователей. Тем более, что они нам за это платят. И нам не требуется искать методы монетизации из сферы вымогательства или продажи пользовательских данных.

Значит решение всё то же - ставьте Piwik, дорабатывайте Piwik (исходный код открыт). Централизованные аналы будут резаться всегда и везде.

Ответить
0

Смешно про вымогательство. Сами поисковики – вымогатели #1 в современном интернете.

Ответить
0

Блокировщиками по умолчанию режется не аналитика как таковая, а ретаргетинг (вручную-то, понятно, можно зарезать что угодно)

Ответить
–14

подобного вредительства очень много происходит. людей которым припекает от успеха проектов просто навалом ) нужно послать гугл и вредителей заодно, и продолжить развивать свои проекты. я например статистику посещений никогда не смотрел даже, а добился оборота почти в 100 лимонов в год. с своим "несерьезным оскорбляющим любого специалиста" школо подходом. пусть специалисты из офисов гадят и дальше, меня это не останавливало никогда.

в прошлом году какой-то вредитель после публикации успехов тоже спамил одним из сотни моих доменов. и короче сделал мне тиц больше 1000 :) реально просто накрутил мне тица и до сих пор осталось.

Ответить
13

Когда случайно попадаю на ваш «корпортивный» сайт и читаю пару статей нахожусь в перманентном ахуе: сотни отраслей, направлений, ноды, вдс, биллинги, форумы, срач на 100 постов с каким-то жирным мужиком, ониме, домены team.work.abdc.xyi.

Хуй пойми что там происходит, черт ногу сломит, а вы все хуячите и хуячите. Знаете, иногда мне кажется, что у вас маниакальное расстройство. Без обид.

Ответить
2

Это он все регистрирует хостинги и домены, а потом продлевает их тысячами, типа это империя и круто. Тоже показалось что с головой что-то не так :)

Ответить
0

Что за сайт то? Где ссылка?

Ответить
0

Не знаю, чего Вас минусуют - ведь правильно говорите - надо работать для аудитории и рекламодателей, а не для посещаемости и поисковых систем.
 
Собственно, тот же Яндекс именно в этом направлении ужесточает свои требования - или по крайней мере декларирует именно такие пожелания к сайтам - чтобы для живых людей и удобные в использовании.
 
А в самом начале работы сайта - приходится работать для себя и группы друзей - чтобы найти посетителей / завсегдатаев которым будет интересно именно у Вас.
Дальше уже - получилось - не получилось - но вначале работа "в стол", потом "для друзей и знакомых", и уже потом на публику.

Ответить
0

Честно, складывается полное ощущение, что Яндекс уже сам не знает, как работает его алгоритм и на основании каких факторов его ИИ ранжирует сайты. Происходят какие-то невообразимые качели. Даже сайты самого яндекса скачут на десятки позиций

Ответить

Комментарий удален

2

У меня на мой сайт переходов с vc не меньше половины)))

Ответить
1

По статистике Google Analytics?
Если «да», то на самом деле больше текущих 100%!

Ответить
0

Яндекс метрике

Ответить
0

В ней все учитывается :)

Ответить
0

могу дать личный доступ к метрике

Ответить
0

точнее публичный

Ответить
0

Спасибо большое за предложение, но с учетом в Метрике проблем нет. GA теряет большую долю, хотя единичные переходы все же фиксируются.

Ответить

Комментарий удален

0

Да-да )) Накосячат сами в статьях, а после обижаются, что лоханулись и трут комменты.

Ответить

Комментарий удален

1

перестал отображать во всех аккаунтах Analytics переходы c vc.ru

недавно и правда не отображался сайт vc.ru в качестве источника,
сейчас указан по стрелке

Ответить
2

а ниже нет, вот так было со всеми переходами одно время (с месяца 2 назад)

Ответить
–4

Виталик, прекрати!

А вообще предлагаю предложить Виталику удалить материал в обмен на остановку спама.

Ответить
3

И стоило ради такого комментария регистрироваться?

Ответить
1

Мда, вот тебе и ИИ... да и человеческий похоже ничем не отличается. Удачи Вам, Редакция.

Ответить
1

У Гугла все через жопу, как всегда.

Ответить
1

Андрею Липатцеву напишите, он может запушить ваш тикет дальше поддержки.

Ответить
0

¯\_(ツ)_/¯

Ответить
0

¯\_____(ツ)_____/¯ угадайте мем

Ответить
0

Больше нелепых комментов.
Ɠ(ツ)(ツ)ℊⱠę

Ответить
0

А я и думаю чего это вдруг vc в алексе так просел c октября еще, и так и не восстановился:
https://www.alexa.com/siteinfo/vc.ru

Ответить

Комментарий удален

0

С кем в Google контактировали?

Ответить
0

Так вот почему у меня все дайджесты от vc в спаме. Ясно-понятно.

Ответить
0

С***а-то, ты какая, Гугл!

Ответить

Комментарий удален

Комментарий удален

0

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Команда калифорнийского проекта
оказалась нейронной сетью
Подписаться на push-уведомления