Как узнать поисковой трафик конкурента? Сравнение точности оценок разных сервисов

Чтобы опередить конкурентов, нужно сначала хорошо проанализировать их показатели. Без этого не получится выявить стратегии роста, которые они используют. Обычно для оценки трафика я беру данные одновременно из трех сервисов:

• Ahrefs;
• Semrush;
• Similarweb.

Первые два оценивают только SEO трафик - собирают выдачу Google по всем известным им ключевым запросам, а затем исходя из:

• позиций сайта,
• данных о популярности каждого ключевого запроса,
• средней кликабельности конкретной позиции в выдаче

прикидывают количество кликов, которые сайт может получать в месяц.

Например, если распределение кликабельности по позициям в выдаче поисковой системы выглядит примерно так:

и если запрос “рецепты салатов” получает два миллиона показов в месяц, то сайт стабильно занимающий вторую позицию получит:

2,000,000 * 10.5% = 210,000 кликов в месяц.

Similarweb использует другую методику оценки. Изначально они как и Alexa собирали данные о том, на какие сайты заходили пользователи установившие их расширение для браузера, и экстраполировали эти данные на всю интернет аудиторию. Сейчас все намного сложнее, поэтому, их оценка точнее, чем, например, у Alexa.

Similarweb покупает данные у интернет провайдеров, популярных браузерных расширений, парсит открытые данные, использует данные счетчиков Google Analytics, которые владельцы сайтов сами подключают к их системе. Потом они чистят данные, совмещают и делают оценки.

Я решил проверить насколько точно каждый из трех сервисов оценивает поисковой трафик. Чтобы собрать данные по реальной посещаемости, сначала решил спарсить открытые счетчики Яндекс Метрики.

Создал в интерфейсе Метрики новый счетчик и получил его id 46355739. Сделал скрипт, который в обратном порядке перебирал id счетчиков, проверяя открыты данные или нет. Парсинг шел медленно, открытых оказалось не так уж много, парсить пришлось бы долго. В основном попадались сайты с небольшой посещаемостью, по которым сервисы или не давали оценок трафика, или оценки были неадекватные.

Поэтому, я пошел другим путем - спарсил топ 1000 сайтов Liveinternet и взял среди них 100 самых больших сайтов с открытыми данными об источниках трафика. Затем, собрал по каждому сайту оценки Semrush, Ahrefs и Similarweb. Для Similarweb взял именно оценку поискового трафика, не общего. Semrush отдает величину трафика для каждой страны отдельно, я взял оценки для России. Вероятно, если бы сложил Россию с их данными по Украине, Белоруссии и Казахстану, то получилось бы намного точнее.

Пример полученных данных:

И посчитал отклонение оценочных данных от реальных:

Чтобы удостовериться, что Similarweb все-таки не использует метод оценки на основе парсинга выдачи, раздельно посчитал отклонение их оценки от суммы трафика из Яндекса и Google, и отклонение только от Google трафика.

После удаления выбросов, по 100 сайтам получились следующие медианные значения отклонений оценочных данных от реальных и их среднеквадратичные отклонения:

Распределение отклонения оценки поискового трафика по Similarweb от суммы трафика из Яндекса и Google (по оси Х - трафик):

Распределение отклонения оценки поискового трафика по Similarweb от трафика только из Google:

На графике выше оценки сильно завышены. Это значит, что Similarweb хорошо учитывает Яндекс трафик, делает оценку поискового трафика явно не с помощью парсинга выдачи Google, как это делают конкуренты.

Распределение отклонения оценки поискового трафика по Ahrefs от реального трафика только из Google:

Распределение отклонения оценки поискового трафика по Semrush (Россия) от реального трафика только из Google:

Получилось что Similarweb делает наиболее точную оценку поискового трафика, но надо быть готовыми к ошибке в плюс-минус 70%, в отдельных случаях ошибки могут быть еще более значительными.

Ahrefs и Semrush считают только трафик из Google, но и его значительно занижают, что довольно логично с учетом того, что они делают оценку на основе анализа выдачи, а значительная часть трафика идет по уникальным супер низкочастотным запросам, которые пользователи задают всего один раз, и этим сервисам нет смысла парсить по ним выдачу. Ahrefs точнее Semrush, но думаю, что если бы я добавил Semrush данные по другим странам, их оценки были бы близки.

Зная, что Similarweb довольно хорошо оценивает весь поисковой трафик, а Ahrefs и Semrush делают несколько заниженные оценки Google трафика, вы можете примерно понять и учитывать при анализе конкурентов какую долю трафика конкурент получает из Яндекса, а какую - из Google.