XML умер, да здравствует Yandex Search API

Привет! Команда SEOWORK последние месяцы пристально следит за новостями про Яндекс XML и делимся наблюдениями.

Мониторим новости из официальных рассылок, telegram-каналов и от подруги друга брата мужа директора Яндекса (последнее под звездочкой). Вот что получилось собрать из всей вереницы слухов и опасений.

XML умер, да здравствует Yandex Search API

Краткий экскурс

Яндекс XML, один из самых популярных инструментов для вебмастеров, готовится к серьезным изменениям. Со 2 октября новые пользователи не смогут зарегистрироваться в сервисе, а для тех, кто уже использует его, будут введены ограничения. Каждую неделю количество лимитов будет снижаться на 25%, что значительно затруднит работу вебмастеров.

Но это еще не все — с 1 ноября все лимиты Яндекс XML будут отключены, и сервис будет доступен только через Yandex Search API. Это означает, что вебмастерам придется адаптироваться к новым условиям работы с Яндексом и/или использовать другие инструменты для оптимизации своих сайтов.

<i>Правила тарификации для Search API от Яндекс</i>
Правила тарификации для Search API от Яндекс

Помимо XML

Для сбора данных из Яндекс также используется парсинг выдачи (HTML) — он производится непосредственно по результатам выдачи по конкретному запросу. Этот способ технически сложнее, дольше и дороже. Тем не менее, данных полученных таким методом значительно больше, и они ценнее для аналитики ― это 100% повторение поведения пользователя с учетом множества факторов, которые не отдаются в XML.

Отличия кратко описали в таблице:

XML умер, да здравствует Yandex Search API

Яндекс затягивает гайки, желая по максимуму монетизировать свои ресурсы. Видимо, ситуация для Яндекса с обновлением и закупкой нового серверного оборудования усложняется, им нужно показывать рост доходности. Недавнее обновление капчи при парсинге выдачи и борьба с разработчиками софта, решающим смарт капчу с юридическими угрозами, все в одну копилку. Цены во многих SEO сервисах вырастут, так как то, что можно было получить раньше условно бесплатно, теперь будет стоить копейки, на объеме превращающиеся в десятки тысяч.

— Рамазан Миндубаев, Head of SEO в TRINET.Group

Влияние на рынок

1) Посредники и их позиция

Поставщики, такие как xmlstock.com, который предлагал доступ к Яндекс.XML за 5 рублей за 1000 запросов, теперь вынуждены пересматривать свои цены. Текущая стоимость достигла 20 рублей за 1000 запросов.

XML умер, да здравствует Yandex Search API

Судя по текущим изменениям, можно предположить, что Яндекс будет усиливать меры против парсинга выдачи. В частности благодаря обновленной капче которую Яндекс выкатил месяц назад, а также ещё ряде усложнени парсинга. Впереди нас, вероятно, ждут новые инновации и изменения в политике Яндекса.

— Александр Александров, Chief Product Officer SEOWORK

2) Агентства и сервисы

Агентства и сервисы аналитики SEO, которые активно использовали Яндекс.XML, будут искать альтернативные источники данных или корректировать стоимость своих услуг. На данный момент массового изменения в их ценообразовании не наблюдаются, т.к. присутствует персональный подход:

<i>Официальные рассылки от Яндекс с предложением особых условий для клиентов</i>
Официальные рассылки от Яндекс с предложением особых условий для клиентов

Некоторые агентства договорились с Яндексом об индивидуальных условиях для непрерывной работы:

<i>Скриншот из поста telegram-канала Пиксель Тулс</i>
Скриншот из поста telegram-канала Пиксель Тулс

Однако некоторые сервисы начали пересматривать финансовую модель:

<i>Скриншот из поста telegram-канала ARSENKIN TOOLS</i>
Скриншот из поста telegram-канала ARSENKIN TOOLS

3) Реакция рынка

С учетом изменений возможны новые коллаборации и партнерства, особенно в области парсинга выдачи. Многие компании ищут альтернативы, чтобы обойти новые ценовые барьеры. Вероятно, Яндекс будет бороться и дальше с помощью капчи, других инструментов. Нейросетей?) Рынок же будет сопротивляться.

Позиция SEOWORK

Для сбора данных в платформу SEOWORK был выбран парсинг реальной выдачи в качестве предпочтительного метода. Он предоставляет наиболее точную картину поисковой активности.

SEOWORK подчеркивает, что, несмотря на изменения в Яндекс.XML, цены на услуги компании останутся неизменными. Сервис продолжит предоставлять высококачественные услуги своим клиентам, используя различные источники данных.

Делитесь в комментариях своими прогнозами: какие опасения или точки роста видите?

2323
14 комментариев

если в общем и целом, то лично меня касалось это только вопросом по кластеризации по выдаче, ну штош , будем собирать дату из гугла

3

А как же быть с персонализацией при парсинге реальной выдачи?

Так она же отключаемая что в Яндекс, что в Google.

С другой стороны, абсолютно любая выдача является персонализированной. У вас персонализированная, у меня персонализированная. С инкогнито вы зайдете, с нового устройства, с новой локации и так далее.

Ну и HTML всё-таки более "боевые" данные отдает, тогда как XML, скорее, лабораторные.

2

какая разница, она и так меняется по неск раз на дню) любая, с персй и без нее, но если парсить неск раз то можно вычислить среднюю позицию

1

Это ВС, а не ватцап

2

Кстати, а кто как сейчас собирается парсить выдачу?