«Яндекс» и Google против оптимизаторов: Как эволюционировали алгоритмы в борьбе за чистоту поиска

Два крупнейших поисковика рунета с разницей в несколько недель объявили об изменениях своих алгоритмов. С 21 апреля Google изменяет поисковую выдачу в пользу сайтов с мобильной версией. С 15 мая «Яндекс» понижает в выдаче сайты, для продвижения которых используются SEO-ссылки.

ЦП вспомнил, как эволюционировали поисковые алгоритмы «Яндекса» и Google и как развивалась их борьба с оптимизаторами — с 2008 года до сегодняшнего дня.

История изменения поисковых алгоритмов «Яндекса»

«Магадан»

14 апреля 2008 года по адресу buki.yandex.ru «Яндекс» начал тестировать новый поисковый алгоритм под названием «Магадан» (компания решила называть поисковые алгоритмы в честь российских городов). В нём сервис научился понимать аббревиатуры — например, если пользователь искал «МГУ», поисковик понимал, что пользователю интересен «Московский Государственный университет». Кроме того, алгоритм научился понимать транслит — например, запросы «БМВ» и «BMW» стали практически тождественны, а результаты поиска по запросам — схожими.

«Магадан» научился распознавать переходы из одной части речи в другую. Например, для существительного «разработка» переходом стал глагол «разработать», таким образом при поиске по запросу «разработать сайт» релевантным стали документы, содержащие слова «разработка сайтов».

Генеральный директор SEO-компании i-Vi Дмитрий Рузанов тогда отметил, что изменения коснулись и ранжирования по запросам, слова которых в релевантных документах идут далеко друг от друга, например, «хармс цирк вертунов»: «Правда, на деле это вылилось в такую ситуацию, что поиск по многим многословным запросам начал выдавать результаты хуже — в выдаче стали появляться более авторитетные сайты, но с плохим текстовым содержимым. Из-за попадания таких сайтов в топ, конкуренция по низкочастотным запросам усилилась».

На поисковую выдачу также повлияла массовая индексация «Яндексом» зарубежных сайтов (в индекс был добавлен почти 1 млрд страниц на зарубежных языках). Это привело к усилению конкуренции по запросам, содержащим только иностранные слова, так как в выдаче начали появляться зарубежные сайты, отметили SEO-специалисты.

Релиз «Магадана» состоялся 16 мая 2008 года. Тогда SEO-специалисты заметили, что изменения в поисковом алгоритме привели к тому, что продвижение по всем запросам, содержащим слова-переходы, стало дороже — теперь у рекламодателей появилась необходимость конкурировать не только с теми сайтами, которые продвигаются непосредственно по ключевому слову, но и с теми, кто продвигается по слову-переходу.

Вторая версия алгоритма «Магадан» вышла в июле 2008 года, она содержала дополнительные факторы ранжирования (например, уникальность контента).

«Находка»

Вслед за анонсом «Магадан 2.0» началось тестирование новой версии алгоритма под названием «Находка». По заявлениям «Яндекса», основные изменения в программе связаны с новым подходом к машинному обучению и, как следствие, отличиями в способе учета факторов ранжирования в формуле.

Компания улучшила ранжирование по запросам, содержащим стоп-слова — союзы, предлоги. Расширился тезаурус (словарь связей). Например, по запросу «авто ваз» в поисковой выдаче показывались результаты и по «автоваз».

Специалисты заметили, что по ряду запросов произошло «разбавление» выдачи сайтами информационного характера. В частности, по многим запросам в выдаче начала появляться интернет-энциклопедия «Википедия».

В «Находке» «Яндекс» сделал первый шаг к увеличению разнообразия в поисковой выдаче — поисковик предлагал как коммерческую составляющую, так и информационную. Это в свою очередь привело к усилению конкуренции по многим запросам.

11 сентября 2008 года «Находка» появилась в основной выдаче.

«Арзамас»

«Яндекс» запустил «Арзамас» 10 апреля 2009 года — сразу в основном поиске, без выкладки на тестовый. 20 августа вышла версия «Арзамас 2» c новым классификатором гео-зависимости запросов.

Первым нововведением стало внедрение алгоритма снятия омонимии. На основании лексической статистики слов «Яндекс» научился определять наиболее частотную форму омонимичной фразы, а также научился по дополнительным словам из запроса определять наиболее вероятный смысл фразы. Например, при запросе «стойка лука» в результатах поиска отображались сайты о технике стрельбы из лука и, в частности, описана правильная стойка при стрельбе.

В «Арзамасе» «Яндекс» впервые начал учитывать регион пользователя. Выдача стала отличаться в зависимости от него. Пользователи, отправившие запрос «такси» в Москве, получали в результатах поиска сайты московских служб такси, а пользователи из Санкт-Петербурга — петербургских.

В поддержку регионального поиска был создан классификатор гео-зависимости запросов. Запросы начали делиться на два типа — гео-зависимые и гео-независимые. Соответственно, по гео-зависимым запросам регион пользователя учитывался, а по гео-независимым — нет, и выдача у всех пользователей России была идентична.

«Арзамас» значительно повлиял на рынок продвижения сайтов. Появился термин «региональное продвижение». Например, раньше компаниям из регионов сложно было конкурировать с московскими фирмами — почти всегда они находились выше в поисковой выдаче. Теперь же ситуация изменилась.

Однако, по мнению специалистов, молодым сайтам стало сложнее и дольше пробиваться в топ выдачи, из-за того, что у многих сайтов «Яндекс» не мог определить региональную принадлежность. Могло несколько месяцев продвижения уходить лишь на то, чтобы нарастить ссылочную массу и подать заявку в «Яндекс» на присвоение нужного региона.

«Снежинск»

Алгоритм «Снежинск» был анонсирован 10 ноября 2009 года:

Нам удалось создать более точную и гораздо более сложную математическую модель, которая привела к существенному приросту в качестве поиска. Благодаря переработке архитектуры ранжирования в поиске удалось реализовать учет нескольких тысяч поисковых параметров для одного документа.

Основным нововведением «Снежинска» стало внедрение нового метода машинного обучения — технологии «Матрикснет». «Яндекс» связал все показатели, характеризующие сайты и запросы, чтобы итоговое ранжирование было максимально релевантным. С этого момента оптимизаторам стало сложнее просчитывать алгоритмы продвижения сайтов.

Использование сложных зависимостей в «Снежинске» привело к тому, что в различных ситуациях изменение одного и того же показателя по-разному влияло на итоговый показатель — релевантность. Например, для молодых сайтов закупка ссылок с авторитетных площадок не давало такого эффекта, как для старых, отмечает Рузанов.

В «Снежинске» ранжирование по гео-зависимым и гео-независимым запросам стало отличаться еще сильнее. По многим частотным гео-независимым запросам большинство коммерческих сайтов пропало с первых позиций, уступив свое место информационным ресурсам. Это случилось из-за того, что гео-независимые запросы отождествляются поисковиком с информационными запросами

Все это привело к том, что коммерческим сайтам стало сложно попасть в топ-10 по высокочастотным запросам.

В идеальном случае хочется, чтобы на первую страницу фирмы попадали, исходя из качества услуги, которую они оказывают. Для этого, правда, придется сначала научиться оценивать качество услуги. Более простая цель — чтобы в выдачу попадали наиболее известные компании, хорошо представленные как в сети, так и в офлайне.

— из блога «Яндекса»

В начале 2010 года произошли значительные изменения в методике анализа текстового содержимого сайтов. Страницы, насыщенные ключевыми словами, начали попадать под фильтр и исчезать из выдачи. На первый план вышел качественный копирайтинг — умение написать релевантный текст, при этом не получив санкций со стороны «Яндекса».

Обновленная версия «Снежинска» — «Конаково» — вышла в декабре 2009 года. Компания улучшила региональное ранжирование: теперь гео-зависимые запросы работали в 19 регионах, и в 1250 городах России.

«Обнинск»

В сентябре 2010 года у «Яндекса» появился новый алгоритм «Обнинск». Улучшилось ранжирование по гео-независимым запросам пользователей из России, была расширена формула ранжирования — её объём теперь достигает 280 МБ.

«Обнинск» снизил влияние искусственных ссылок (SEO-ссылок) на ранжирование. «Яндекс» начал бороться с документами, продвигаемыми некачественными покупными ссылками.

«Краснодар»

«Краснодар» появился в декабре 2010 года. В новом алгоритме «Яндекс» введрил технологию «Спектр» — «разбавление выдачи» по общим запросам (всего порядка 60 категорий запросов — города, товары и прочее). На момент релиза «Краснодара» у компании было 60 категорий. Если пользователь не достаточно конкретизировал свой запрос, «Яндекс» выводил ему сайты в соответствии с этими категориями.

Теперь поисковик ввел классификацию поисковых запросов и начал выделять ключевые объекты (имена, названия, модели). В «Краснодаре» «Яндекс» добавил расширенные сниппеты для сайтов организаций — появилась возможность включить в сниппеты адреса, телефоны компании и другое.

Еще одним крупным нововведением стала индексация социальной сети «ВКонтакте» — «Яндекс» научился показывать в результатах своей выдачи профили пользователей из соцсети.

«Рейкьявик»

Алгоритм появился в августе 2011 года и стал первым шагом компании в направлении персонализации поиска: каждому пользователю — своя поисковая выдача.

Работа начала с языковой персонализации. Например, если пользователю по англоязычным запросам нужны иностранные сайты, «Яндекс» отображал именно их. Если же алгоритм решит, что пользователь всё-таки ищет русскоязычный контент, то будут показаны соответствующие русскоязычные сайты.

«Яндекс» добавил «колдунщики» — например, при вводе математической формулы в строку поиска, сервис сразу выдавал результаты. Также улучшен показ поисковых подсказок для новостных запросов: обновление подсказок происходит в течение часа.

«Калининград»

«Калининград» в декабре 2012 года ввёл глобальную персонализацию поиска. Результаты поиска начали подстраиваться под интересы пользователя. Поисковый алгоритм изучал ранние запросы пользователя в поиске, а также его поведению на сайтах, статистика которых ему известна.

Информацию об интересах пользователей «Яндекс» пополнял раз в сутки и делил их на долговременные и кратковременные. Таким образом, по одному и тому же запросу могла быть сформирована совершенно разная выдача.

Например, если «Яндекс» решит, что к интересам одного пользователя можно отнести фильмы, а к интересам другого – путешествия, то по запросу «Мадагаскар» первому будет показана выдача относительно мультфильма «Мадагаскар», а второму — относительно острова Мадагаскар.

Подобные изменения характерны и для поисковых подсказок — они тоже начали «подстраиваться» под интересы пользователя.

Теперь специалистам по продвижению сайтов приходилось совершать все действия комплексно: для сервиса были важны не только ссылки и ключевые слова, но и контент, дизайн сайта, его удобство для пользователя. Всё это привело к подорожанию стоимости услуг оптимизаторов.

«Дублин»

«Дублин» — модификация «Калининграда», выпущенная 30 мая 2013 года. Если «Калининград» делил интересы на долговременные и кратковременные, то новый алгоритм научился реагировать и на сиюминутные интересы — обновление происходило за несколько секунд.

Например, если ранее было выявлено, что пользователю интересны фильмы, но вдруг у него возник интерес к географии или путешествиям, то по запросу «Мадагаскар» будет показана выдача относительно острова Мадагаскар, а не мультфильма с тем же названием.

«Острова»

В июле 2013 года «Яндекс» анонсировал «Острова» — интерфейсное изменение поисковой выдачи. Главным нововведением «Островов» являлись интерактивные блоки, которые показывались в поисковой выдаче и позволяли взаимодействовать напрямую с содержимым найденных сайтов.

Так, введя название фильма в поисковую строку, пользователь сразу видел расписание сеансов в кинотеатрах. Также прямо из выдачи можно бронировать билеты на самолеты, записываться на прием к врачу, отслеживать перемещение посылок и так далее. Компания предполагала, что «острова» будут создаваться владельцами сайтов.

«Минусинск»

15 апреля 2015 года компания анонсировала новый алгоритм «Минусинск». «Яндекс» заявил, что с 15 мая сайты, для продвижения которых используются SEO-ссылки, могут ранжироваться ниже. Представители «Яндекса» заявили, что хотят направить деньги владельцев сайтов из ссылок в реальное улучшение ресурсов.

В 2014 году в качестве эксперимента компания полностью отключила учёт ссылок в ранжировании для ряда коммерческих запросов в Москве. В «Яндексе» отметили, что, несмотря на это, использование таких ссылок «продолжает оставаться массовым видом спама».

«В течение последних лет мы постепенно ограничивали влияние SEO-ссылок (платных ссылок) на ранжирование. Но их всё равно продолжали покупать, тратили на покупку ресурсы, которые могли бы быть потрачены с большей пользой — на развитие сайтов», — рассказала пресс-служба «Яндекса».

Немедленно избавиться от вредной привычки будет сложно. Поэтому новый алгоритм будет раскатываться постепенно и коснется в первую очередь сайтов, которые занимаются закупкой ссылок давно и в больших масштабах. С учетом того, что снятие ссылок и переиндексация страниц происходит не мгновенно, мы настоятельно рекомендуем владельцам сайтов не ждать отдельного предупреждения и отказаться от покупки ссылок как можно быстрее. Единственно верное направление развития вашего сайта — это системное улучшение сервиса, контента и дизайна, то есть инвестиции в удобство и оригинальность.

— из блога «Яндекса»

История изменения поисковых алгоритмов Google

В отличие от «Яндекса» Google неохотно раскрывает информацию о работе алгоритмов. Владельцам сайтов и оптимизаторов приходилось самостоятельно вычислять принципы работы поисковых технологий Google. В 2008 году компания запустила алгоритм «Дьюи» — однако детали его работы Google не раскрыла. В 2009 году поисковик запустил Google Suggest — поисковые подсказки.

«Кофеин»

В июне 2010 года Google завершил работу над инфраструктурным проектом «Кофеин». По словам представителей компании, в результате было обновлено около 50% индекса. В августе обновление алгоритма позволило брендам получать сразу по несколько строк в результатах выдачи.

В сентябре компания запускает Google Instant — формирование выдачи «на глазах» пользователей. В ноябре поисковик добавляет возможность предпросмотра сайта — рядом с результатами поиска появилась кнопка с лупой.

«Панда»

В январе 2012 года Google исключил из индекса популярный сайт Overstock.com — за использование «черных» SEO-тактик. Начинается активная борьба поисковика с оптимизаторами.

Алго­ритм Google «Панда» был запу­щен 23 фев­раля 2011 года и повлиял на 12% всех результатов поиска. С его появ­ле­нием тысячи сай­тов поте­ряли свои пози­ции в поисковой выдаче, что взбу­до­ра­жило многих владельцев сайтов. Пона­чалу опти­ми­за­торы думали, что «Панда» штра­фует сайты, заме­чен­ные в уча­стии в ссы­лоч­ных схе­мах. Однако позже стало известно, что основная задача алгоритма — оценка каче­ства сайта.

Какие именно фак­торы учи­ты­вает «Панда» при ран­жи­ро­ва­нии сай­тов, точно не известно. Однако специалисты выявили закономерности в его работе. В частности, «Панда» обращает внимание на качество контента — его новизну, уникальность и ценность для посетителя. Это стало своеобразным ответом Google на огромное количество спама и скопированного контента.

30 марта 2011 года Google добавила кнопку «+1» в результаты выдачи для оценки контента пользователями Facebook и Twitter. По замыслу компании, это должно было повлиять на органическую выдачу.

За четыре года Google более 20 раз официально обновлял алгоритм. Например, в результатах появляются ссылки на разделы популярных сайтов, изменяются некоторые факторы ранжирования, что приводит к незначительному снижению влияния «Панды» на выдачу. Однако специалист отдела качества поиска Google по работе с вебмастерами Джон Мюллер во время очередной видеоконференции в Google+ 12 февраля 2015 года заявил, что алгоритм «Панда» не обновлялся с октября 2014 года.

«Пингвин»

Борьба с накруткой в 2012 году началась с технологии Page Layout — с ее помощью Google определял структуру страницы и количество полезного контента на экране. Чем меньше площадь полезной информации, тем ниже сайт выдается в поиске. В феврале 2012 года Google добавляет «Венецию» — технологию, учитывающую гео-позицию пользователя.

«Пинг­вин» был запу­щен 24 апреля 2012 года. В отли­чие от «Панды», этот алго­ритм наце­лен на борьбу с неесте­ствен­ными обрат­ными ссыл­ками. По некоторым оценкам, под фильтр попало около 25% сайтов коммерческих тематик.

Авто­ри­тет и зна­чи­мость сайта в поисковой выдачи начали формировать исходя из того, какие ресурсы на него ссы­ла­ются. «Пингвин» научился распознавать авто­ри­тет­ность источ­ников. Если раньше, все ссылки на сайт имели одинаковый вес (из-за чего появилось больше количество ссылочных оптимизаторов), то теперь Google определял вес каждого источника.

Кроме того, в результаты поиска добавились профили социальных сетей.

В сентябре 2012 года Google начала бороться с доменными именами сайта, содержащими ключевые слова — например, «сделать-визу-недорого.рф». Поисковик понизил такие ресурсы в поисковой выдаче.

«Колибри»

Google «Колибри» называют самым «пони­ма­ю­щим» алгоритмом. О его запуске стало известно 26 сен­тября 2013 года — при этом Google упомянула, что алгоритм работает уже целый месяц. Из-за этого многие веб-мастера посчитали, что попали под фильтр «Пингвина».

Алго­ритм «Колибри» был раз­ра­бо­тан для того, чтобы лучше пони­мать запросы поль­зо­ва­те­лей. Теперь, когда поль­зо­ва­тель вво­дит запрос «В каких местах можно вкусно поесть в Ека­те­рин­бурге», поис­ко­вая система пони­мает, что под сло­вом «места» под­ра­зу­ме­ваются ресто­раны и кафе.

В октябре 2014 года Google также обновила алгоритм Pirate 2.0, наказывающий сайты за использование контента, нарушающего авторские права.

«Mobilegeddon»

С 21 апреля 2015 года Google запустил новый алгоритм сортировки поисковой выдачи на мобильных устройствах, о котором компания объявила еще в феврале. Теперь в поиске с мобильных устройств предпочтение отдается сайтам, которые имеют мобильную версию — западные СМИ уже успели назвать событие «Mobilegeddon».

Google собирается автоматически проверять сайты на mobile-friendly по четырем критериям:

• отсутствие контента, который поддерживается не всеми мобильными устройствами (например, Flash);
• наличие текста, который доступен для чтения без масштабирования;
• использование контента, который не требует горизонтального скроллинга или масштабирования для просмотра;
• расстановка гиперссылок на достаточном расстоянии друг от друга, чтобы на них можно было легко нажать пальцем.

По оценкам специалистов, сайты, которые не предпринимали никаких мер по адаптации, потеряют 5-15% трафика из Google.