Фаст-ранк и первичное ранжирование

В очередной раз нырнём в исторические залежи. В данном случае речь идёт о первичном ранжировании, основанном на алгоритме фаст-ранк. Освежим понятие.

Технически фаст-ранк – это алгоритм, используемый в линейной алгебре для быстрого вычисления ранга матрицы. Если вы имеете дело с большой и разреженной матрицей (с которыми обычно и имеет дело поисковая система), то этот метод быстрее классических и требует меньше вычислительных ресурсов благодаря возможностям распараллеливания.

Однако есть у него и слабое место: меньшая точность, поскольку это вероятностный метод, и результаты нужно перепроверять более точными алгоритмами. Как, собственно, и поступают поисковые системы.

Первичное ранжирование можно определить как присвоение некоторого начального рейтинга опубликованному документу для какого-то поискового запроса. Этот начальный скоринг определяет дальнейшую динамику ранжирования документа в поиске, и высчитывается он самыми простыми и грубыми средствами.

Изначально «фаст-ранк» использовался как синоним первичного ранжирования, хотя это и некорректно. Поскольку длинные слова людей только расстраивают, а ролик, где Алексей Чекушин упоминает сингулярное разложение стал в сеошной среде мемом, понятно, почему термин за 15 лет полностью ушёл из профессионального лексикона.

Поисковые алгоритмы и основные факторы ранжирования никогда и никуда не исчезают: они дополняются новыми, трансформируются, меняют значимость, но по-прежнему основаны на одних и тех же принципах. Нет необходимости держать в голове сложные математические формулы и даже использовать их на практике – тем более, что реальные формулы всегда были коммерческой тайной поисковых систем. Но знать базовые принципы и их особенности – необходимость.

Фаст-ранк позволяет поисковым системам ускорить латентно-семантический анализ (LSA), оценку ссылочной структуры веб-графа, грубо кластеризовать коллекции документов, но самое важное – ускорить процесс индексирования и поиска по индексу. Когда вы отдаёте в индекс новый сайт или публикуете новую страницу, при индексировании будет задействован именно этот алгоритм.

Первичное индексирование и ранжирование, основанное на алгоритме фаст-ранк, остаётся такой базой информационного поиска, и будет оставаться – как минимум, до тех пор, пока в дата-центры поисковых систем не поставят квантовые компьютеры, традиционный поиск не заменят чат-боты, а SEO в очередной раз не умрёт.

Пока ничего не изменилось в этой сфере, разберем, как устроено первичное ранжирование.

Первые поисковые системы использовали принципы наивного поиска. Пользователь обращается с запросом, поисковая система находит в своей базе документы, содержащие слова из запроса. Каким бы ни был запрос, из него отфильтровываются стоп-слова, а для всех остальных слов система ищет все доступные словоформы. А поскольку с запросом-однословником к поиску не обращается никто, запрос приобретает внушительные объёмы в сотни термов.

Далее все эти термы поисковик пытался найти в индексе – словаре, где все слова упорядочены по алфавиту, приведены к некоторой базовой форме и сопровождаются информацией, где встречается, в каком месте, в какой словоформе.

Понятно, что подобный поиск годится только для небольших коллекций документов и не может быть релевантным. Кроме того, результаты ещё нужно как-то отранжировать по степени соответствия запросу. Для этого использовались простейшие алгоритмы уровня TF-IDF и более поздней вариации – BM25. Оба основаны на частотности заданных ключевых слов и не умеют работать со смыслом и контекстом. (Собственно, в большинстве тематик этого вполне достаточно: вот у нас запрос «самовар купить», а вот листинг, где «самовары» упоминаются 10 раз, «самовар» – 25, «купить» – 25, листинг консолидирован из 10 страниц пагинации. Чего ж вам ещё? Хороший ассортимент, хороший продавец, ещё и рейтинг на Маркете – 4,8).

Релевантность определялась запросным кворумом: каждому слову назначался определенный вес. Чтобы ранжироваться по запросу, документ-кандидат должен был набрать определенную сумму весов ключевых слов. Не набрал – не прошёл.

Всё это требовало достаточно простых вычислений, однако с учётом роста количества сайтов и пользователей интернета появилось две серьёзные проблемы:

Чтобы исключить из списка документов те, что не соответствуют запросу, начали использовать машинное обучение. Для этого привлекаются асессоры – люди, которые оценивают соответствие сайтов из заданного списка определенному запросу. Благодаря их оценкам создаётся разметка, которую в дальнейшем использует нейросеть для самостоятельной оценки сайтов.

Иными словами, речь идёт о некоторой шаблонизации результатов выдачи: списке метрик, по которым оценивается документ. Чтобы документ был признан соответствующим запросу – надо пройти некоторое пороговое значение общей суммы анализируемых метрик.

Таких метрик – сотни, а формула, присваивающая веса каждой отдельной метрике и суммирующая результат, своя для каждой тематики. Разумеется, асессоры проверяли самые простые метрики. Есть тут телефон на "8-800"? Rel. "Корзина"? – Rel. Бесплатная доставка на видном месте упоминается? – Вообще Rel+.

Единственный способ хоть как-то понять, какой должна быть страница, чтобы попасть в топ выдачи – это сравнение своей страницы с топом поисковой выдачи. Эти сайты уже прошли заданный порог, признаны поисковой системой соответствующими запросу, а медианные данные по ним могут служить эталоном, с которым можно сопоставлять свой сайт.

Казалось бы, всё просто. Хочешь в топ – делай с нами, делай как мы, делай лучше нас. Но есть нюансы.

Соответствие разметке, используемой нейросетью на стадии первичного ранжирования – обязательно. Но на этом процессы не заканчиваются.

Вы можете воспроизвести показатели сотен малозначащих метрик, но топ выдачи будут определять какие-то отдельные и супермощные факторы, где никакое машинное обучение уже ничего не даст.

«Не тот момент» может быть обусловлен ещё и тем, что определяя эталонный корпус, вы публикуете документ, когда этот корпус меняется. Да, Яндекс периодически устраивает ротацию в топах, заменяя все сайты в зоне видимости на другие – точно такие же. Топ – один, а претендентов на него много, и все практически одинаковые. Каждому – свой час славы. Но динамика может быть обусловлена сменой интента, сменой формулы ранжирования, появления каких-то новых фильтров и т.п. Был запрос коммерческим и ранжировались категории – а теперь там статьи, и все ваши BM25 применительно к ссылочным анкорам можете считать с пользой проведенным досугом, но уже без практического эффекта.

Каждый новый веб-документ уже имеет некоторый начальный рейтинг. Он зависит от хоста, тематики, запроса, контекста, исторических данных по всему сайту. На сайте без истории и лояльной аудитории даже очень релевантный контент не получит высоких позиций в поиске, тогда как относительно слабый, но опубликованный на авторитетном домене, может практически сразу занять место в топ-3. Хотя, вероятно, и ненадолго.

Фаст-ранк при первичном индексировании – это всего лишь прохождение первичного порога соответствия запросу. У вас примерно та структура, что и надо, порядок с ключевыми словами, нет технических проблем. Примерно как у выпускника вуза с дипломом: формально он получил необходимые знания и сдал экзамен. Но можно ли его назвать состоявшимся специалистом? Может, он диплом купил.

Закрепить результаты можно только повторным (вторичным) ранжированием – оценкой взаимодействия с пользователями и более глубокими оценками контента поисковыми алгоритмами.

Если при первичном скоринге вы набрали высокий начальный балл – повторное ранжирование произойдёт быстрее, а эффект от него будет сильнее. Вы сможете быстрее набрать необходимые метрики, которые обеспечат сайту уверенный рост в выдаче.

Простой пример: владелец сайта, болтающегося где-то вне зоны кликабельности, и ссылки на страницу закупает в промышленных масштабах, и поведенческие факторы накручивает, и сайт разгоняет по Google Speed Insight – а динамики никакой. На сниппеты в SERP даже смотреть больно: просто сияют. Жаль только, что на кликабельность это никак не влияет, поскольку до 5 страницы в поиске никакая птица уже не долетит. При этом всё то же самое в пределах топ-10 даёт куда как более интересный эффект.

Любой документ, отправляемый в индекс, сразу получает какой-то оценочный балл. Примерно так же устроен рейтинг в Яндекс-Отзывах: вы начинаете не с нуля. Но в поисковых системах всё несколько сложнее: один и тот же контент будет иметь разные начальные баллы на разных хостах. Если вы публикуете один и тот же материал на разных сайтах, Google может выбрать в качестве канонического тот URL, что получил максимальный балл при индексировании. Если вы используете синдикацию контента – это надо иметь в виду.

Начальный скоринг страницы может быть изменен после повторного ранжирования. Однако первоначальный рейтинг может повлиять не только на динамику, но и на обнаруживаемость документа. Исторические данные по странице могут самым негативным образом повлиять не только на результаты повторного ранжирования и даже на саму возможность повторной оценки страницы поисковиками.

Предыдущий текст о SEO-археологии.