Яндекс-Мэдофф: переход на тёмную сторону Силы (часть 1)

Дисклеймер: данный материал носит субъективный характер и всего лишь выражает личную точку зрения автора.

По моему глубокому убеждению, Яндекс – не просто поисковик, это огромная и во многих отношениях самая удобная и комфортная цифровая экосистема, при том, что я пользуюсь далеко не всеми её возможностями. Когда-то это был знакомый многим из нас с вами мальчик с запредельным уровнем мидихлорианов в крови (кстати, а вы замечали, что слова «Яндекс» и «Энекин» почти неуловимо созвучны)?

Как же так могло случиться, что Яндекс склонился к тёмной стороне Силы? Как могло случиться, что из Энни Скайуокера он стал Барни Мэдоффом, или по крайней мере, пошёл по стопам последнего? И могло ли такое случиться, или же это всего лишь фантазии автора?

Попробуем разобраться. Как и в случае с Энекином, мотивы весьма банальны. Но обо всём по порядку.

Приблизительно в 2017 году ключевым фактором ранжирования интернет-сайтов поисковой системой «Яндекс» стал поведенческий фактор – проще говоря, анализ удовлетворённости посетителей контентом. Логика ранжированя в крайне грубом изложении такова: если гость долго пробыл на сайте и при этом активно себя вёл (дрыгал туда-сюда курсором мыши, прокручивал страницу вверх-вниз, кликал по ссылкам) – значит, он доволен содержимым сайта, а стало быть, сайт качественный, и его следует подвинуть вверх в результатах поиска. И соответственно – наоборот: если гость зашёл на сайт и сразу же ушёл, курсором не дрыгал, страницу не прокручивал и по ссылкам не кликал – понижаем сайт в выдаче.

Формально – безупречная логика: действительно, кто может лучше оценить качество сайтов, чем живой, реальный пользователь в поисках нужной ему информации?

Прошло некоторое время, и ответ на этот вопрос нашёлся. Ибо как ни совершенен был бы алгоритм ранжирования – всегда найдутся те, кто постарается обмануть его и найти обходные пути по принципу «минимум усилий – максимум эффекта».

И по интернету начали медленно, но неуклонно расползаться боты – компьютерные программы, обученные заходить на сайты и имитировать человеческое поведение. Постепенно совершенствуясь, они научились практически всему, что умеет делать человек на странице сайта: бессистемно и хаотично двигать курсор мыши, прокручивать страницы, взаимодействовать с интерактивными элементами, заполнять формы и разгадывать капчи. Сейчас поведение бота на странице сайта уже крайне сложно отличить от поведения живого человека – лишь специальные компьютерные программы всё ещё способны уловить разницу.

На первый взгляд, сама по себе имитация ботами человеческого поведения на web-страницах – не более чем забавный фокус. Но это только если не учитывать ключевой фактор ранжирования сайтов алгоритмами Яндекса – поведенческий фактор. А отслеживает Яндекс этот фактор весьма тщательно – анализируя как переходы из поисковой выдачи и возвраты в неё, так и посредством Яндекс-Метрики, установленной непосредственно на несметном количестве сайтов в отечественном сегменте. Вот для него боты и стараются: изо дня в день их бесчисленные орды фабрикуют себе «цифровую биографию», путешествуя из поисковой выдачи на сайты и старательно изображая интерес к информации различной тематики. Давным-давно кануло в Лету время разрозненных ботов-одиночек: сегодня этим видом деятельности занимаются так называемые «ботофермы», с серверов которых ежедневно расползаются по отечественному сегменту интернета сотни тысяч «репликантов». Отныне уже не человеческое поведение, а поведение многочисленных ботов определяет, какие из веб-сайтов окажутся выше в поисковой выдаче, а какие ниже.

Следует оговориться, что компания «Яндекс» заявляет об активной (и весьма успешной) борьбе с ботами как со средством манипуляции результатами поисковой выдачи, категорически противоречащим правилам поисковика. Проще говоря, Яндекс утверждает, что в подавляющем большинстве случаев способен отличить человека от бота.

Следует ли поверить этому заявлению?

Если не поверить – следовательно, Яндекс пока не в состоянии справиться с этой задачей. И это в лучшем случае.

Потому что если поверить – то всё гораздо хуже, чем можно было бы себе представить.

Поисковые результаты Яндекса, как всем известно, состоят из бесплатной (органической) выдачи – это те сайты, которые содержат качественный и интересный контент, качественно оформлены и интересны множеству людей, – и из рекламных ссылок РСЯ (рекламная сеть Яндекса).

Тут уместно будет вспомнить, что много лет назад интерфейс настройки и запуска рекламной кампании в РСЯ был прост как две копейки и позволял любому желающему (хоть частному лицу, хоть организации) буквально за пятихатник заполучить к себе на сайт десяток-другой целевых посетителей, при условии не слишком «хайповой» тематики сайта. Однако с тех пор многое изменилось: интерфейс преобразился до неузнаваемости и по сложности настройки уподобился пульту управления межпланетным шаттлом, сумма в несколько сотен рублей стала сопоставима разве что с ценой одного целевого клика, а стоимость простейшей, базовой настройки и запуска рекламной кампании РСЯ – начинается у специалистов с цифры в десять-пятнадцать тысяч рублей.

Отчасти это объяснимо: клик для перехода на рекламируемый сайт – ещё не покупка товара. Куда ближе к этой цели конверсия – последовательность действий, предшествующих заказу на сайте. За что платить Яндексу деньги – решает либо сам предприниматель, либо (по его поручению) специалист по настройке рекламной кампании: можно за клики, можно за конверсии. Можно так, можно эдак, ведь любой из вариантов предшествует оформлению заказа на сайте.

Вот тут-то и прозвенели первые тревожные звоночки. Предприниматели начали всё чаще замечать на своих сайтах кипучую активность посетителей из РСЯ, которая не завершалась заказами. В ответ на запросы в техническую поддержку Яндекса неизменно следовал ответ в духе «вероятно, у вас некачественный сайт, поэтому переходящие по рекламе посетители не могут или не хотят покупать ваш товар, попробуйте улучшить свой сайт». А при упоминании ботов –что-то вроде «все автоматические визиты из размещённой вами рекламы распознаны и заблокированы нашими алгоритмами, деньги не списаны либо возвращены на ваш рекламный счёт».

Многим после таких ответов пришлось поломать себе головы: как же так, ещё год назад заказы сыпались с сайта как из рога изобилия, сам сайт не менялся, но при этом всего за год из качественного превратился в некачественный? Одни принялись искать у себя на сайте вирусы, другие – срочно приводить сайт в соответствие с современной модой, а третьи – искать способы ухватить реальную проблему за руку...

Даже сейчас мало кому известны способы, как хотя бы определить, кто зашёл к тебе на сайт из РСЯ – бот или человек. Тем не менее по крайней мере один надёжный способ существует: поверх рекламируемой в РСЯ web-страницы вешается мутная полупрозрачная вуаль, а поверх неё – какое-нибудь сообщение, например, «Здравствуйте, рады видеть вас на нашем сайте», с кнопкой «Закрыть это окно и больше не показывать». Главный критерий надёжности – нестандартный идентификатор элемента кнопки «Закрыть» в HTML-коде: не надо называть его «close» – гораздо лучше назвать его ну хотя бы «thank_and_goodbye» или «no_more_show».

Принцип действия этого способа прост до смешного: ни один человек не сможет разглядеть содержимое сайта сквозь мутную вуаль и потому сразу же закроет окно нажатием соответствующей кнопки и до завершения своего путешествия по сайту больше это окно не увидит. А бот попросту не догадается, что вуаль с окном нужно закрыть, она ему не мешает – ведь он «видит» страницу в виде HTML-кода. И потому, если на сайте установлена Яндекс-Метрика с активным Вебвизором – довольно забавно просматривать записи визитов, глядя, как посетители сайта на протяжении десятка минут прокручивают страницы и кликают по ссылкам и изображениям прямо сквозь мутную полупрозрачную пелену.

Впрочем, такой просмотр забавляет ровно до тех пор, пока не оценишь масштабы бедствия: доля таких «забавных визитов» – до 90% посетителей. И за каждый такой визит с бюджета рекламодателя списываются деньги.

Вот тут-то нам пора вернуться к вопросу: верить ли Яндексу, что его алгоритмы прекрасно распознают ботов и умеют отличать их от людей?

Конец 1-й части. Продолжение следует...