Снимаем точные позиции сайта с «Яндекс Поиска» бесплатно через API «Вебмастера»
Последние 3 месяца, стало очень проблематично снять точные позиции сайта с фактически любых сервисов. Xml выдача уже давно не выдает реальной картины.
Если условно брать topvisor, то он может показывать постоянно топ-1 позицию но это может быть далеко не так. Либо перемешивание позиций в течении дня от топ1 до топ10 в моменте. Из-за этого посмотреть реальную позицию сайта текущими сервисами фактически нереально.
Мониторинг запросов (β) в Вебмастере
В вебмастере относительно недавно появилась функция мониторинг запросом, до этого Яндекс мог отдавать данные только по API
Мониторинг запросов в Яндекс Вебмастер
Но данная система на текущий момент сырая и плохо читаемая.
- 20 запросов на одну страницу
- отображение данных только за 2 недели
Но в любом случае это лучше чем ничего.
Выгрузка данных с API
Яндекс позволяет выгружать данные вебмастера по API, и он позволяет получить довольно полезные данные.
- Дата / поисковый запрос
- TOTAL_SHOWS Количество показов.
- TOTAL_CLICKS Количество кликов.
- AVG_SHOW_POSITION Средняя позиция показа.
- AVG_CLICK_POSITION Средняя позиция клика.
Для выгрузки с API я написал небольшой php класс который отлично выгружает данные в удобном виде для работы.
Сам класс:
<?php
class YandexWebmaster
{
public $parametrs = array();
function __construct()
{
$this->token;
$this->token_webmaster;
$this->user_id;
$this->url = "";
$this->url_path_config = "";
$this->answer = array();
$this->parametrs = [];
$this->parametrs_webmaster = [];
}
public function GetFromWebmaster() {
$parametrs = []+$this->parametrs_webmaster;
$this->GetCurlWebmaster($parametrs);
return($this->answer);
}
public function GetFromWebmasterData ($method, $parametrs = array()) {
$this->url = "https://api.webmaster.yandex.net/v4.1/user/{$this->user_id}/hosts{$method}";
$this->parametrs_webmaster = $parametrs;
return (object) $this->GetFromWebmaster();
}
public function GetCurlWebmaster($parametrs) {
$get = curl_init($this->url . urldecode($this->http_build_query_multi($parametrs)));
curl_setopt($get, CURLOPT_HTTPHEADER, array('Authorization: OAuth '.$this->token_webmaster));
curl_setopt($get, CURLOPT_RETURNTRANSFER, true);
curl_setopt($get, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($get, CURLOPT_HEADER, false);
$result = curl_exec($get);
curl_close($get);
$result = json_decode($result, true);
$this->answer=$result;
if ($result['error_code'] == 'INVALID_OAUTH_TOKEN') {
echo 'ОШИБКА: Авторизация к API webmaster не выполнена. Невалидный токен.' .PHP_EOL;
} elseif ($result['error_code'] == 'INVALID_USER_ID') {
echo 'ОШИБКА: Авторизация к API webmaster не выполнена. Невалидный юзер ид вебмастера.' .PHP_EOL;
}
}
//Стата ключей с вебмастера
public function webmaster_popular_words_data ($host, $start_day, $end_day, $offset, $limit) {
$method = "/{$host}/search-queries/popular?";
$parametrs = [
'order_by' => 'TOTAL_SHOWS',
'date_from' => $start_day,
'date_to' => $end_day,
'offset' => $offset,
'query_indicator' => ['TOTAL_SHOWS', 'TOTAL_CLICKS', 'AVG_SHOW_POSITION', 'AVG_CLICK_POSITION'],
'device_type_indicator' => ['ALL'],
'limit' => $limit,
];
$webmaster_day_data = $this -> GetFromWebmasterData($method, $parametrs);
if ($webmaster_day_data->queries) {
//echo "Собрано ключей с вебмастера: {$host} | {$start_day} | {$limit}" .PHP_EOL;
}
$data_words_key = [];
if ($webmaster_day_data->queries) {
foreach ($webmaster_day_data->queries as $value) {
$word_key = $value['query_text'];
$shows = $value['indicators']['TOTAL_SHOWS'];
$click = $value['indicators']['TOTAL_CLICKS'];
$avg_show = $value['indicators']['AVG_SHOW_POSITION'];
$avg_click = $value['indicators']['AVG_CLICK_POSITION'];
$data_words_key[$word_key] = array('shows' => $shows, 'click' => $click, 'avg_show' => $avg_show, 'avg_click' => $avg_click);
}
}
return $data_words_key;
}
public function data_webmaster($config_data = array()) {
$period_date_list = $this->getDatesFromRange($config_data['date'], $config_data['end_date']);
$data = [];
foreach ($period_date_list as $date) {
$config_data['date'] = $date;
$data[$date] = $this -> freq_data_webmaster($config_data);
}
return $data;
}
public function freq_data_webmaster($config_data = array()) {
$this->token_webmaster = $config_data['token_webmaster'];
$this->user_id = $config_data['user_id'];
$host = "https:{$config_data['domain']}:443";
$count_days = 1;
$webmaster_data = call_user_func_array('array_replace_recursive', $this->freq_data_webmaster_per_day($host, $config_data['date'], $config_data['date'], $config_data['limit'], $config_data['pages']));
$freq_data = [];
foreach ($webmaster_data as $word_key => $word_data) {
$ctr = ($word_data['click'] / $word_data['shows']) * 100;
$word_key_clean = $this->strpos_array($word_key, $config_data['bad_keys_arr']);
if ($word_data['shows'] >= $min_shows && $word_key_clean == NULL) {
$freq_data[$word_key] = array(
'webmaster_freq' => round($word_data['shows'] / $count_days, 0, PHP_ROUND_HALF_UP),
'webmaster_click' => round($word_data['click'] / $count_days, 0, PHP_ROUND_HALF_UP),
'webmaster_avg_click' => round($word_data['avg_click'], 1, PHP_ROUND_HALF_UP),
'webmaster_avg_show' => round($word_data['avg_show'], 1, PHP_ROUND_HALF_UP),
'webmaster_ctr' => round($ctr, 1, PHP_ROUND_HALF_UP),);
}
}
foreach ($freq_data as $word_key => $value) {
if ($value['webmaster_freq'] > 0) {
$total_avg_pos = ($value['webmaster_avg_click'] + $value['webmaster_avg_show']) / 2;
$total_data_ya_webmaster[$word_key] = array(
'wm_freq_avg' => (int)$value['webmaster_freq'],
'wm_visit_avg' => (int)$value['webmaster_click'],
'wm_avg_click' => (float)$value['webmaster_avg_click'],
'wm_avg_show' => (float)$value['webmaster_avg_show'],
'total_avg_pos' => (float)round($total_avg_pos, 1, PHP_ROUND_HALF_UP),
'wm_ctr' => (float)$value['webmaster_ctr']
);
}
}
return $total_data_ya_webmaster;
}
public function http_build_query_multi($array, $qs='',$index = false) {
foreach($array as $par => $val)
{
if($index)
$par = $index;
if(is_array($val))
{
$qs = $this->http_build_query_multi($val, $qs,$par);
}
else
{
$qs .= $par.'='.$val.'&';
}
}
return $qs;
}
public function getDatesFromRange($start, $end, $format = 'Y-m-d') {
$array = array();
$interval = new DateInterval('P1D');
$realEnd = new DateTime($end);
$realEnd->add($interval);
$period = new DatePeriod(new DateTime($start), $interval, $realEnd);
foreach($period as $date) {
$array[] = $date->format($format);
}
return $array;
}
public function strpos_array($haystack, $needles) {
if ( is_array($needles) ) {
foreach ($needles as $str) {
if ( is_array($str) ) {
$pos = strpos_array($haystack, $str);
} else {
$pos = mb_strpos($haystack, $str);
}
if ($pos !== FALSE) {
return $pos;
}
}
} else {
return mb_strpos($haystack, $needles);
}
}
public function freq_data_webmaster_per_day($host, $start_day, $end_day, $limit, $pages) {
$i = 0;
$webmaster_data_arr = [];
$limit = $limit;
$offset = $limit;
$limit_split = $pages;
for ($i = 0; ; $i++) {
if ($i === 0) {
$offset_i = 0;
} else {
$offset_i = $i*$offset;
}
$webmaster_data_arr[$i] = $this->webmaster_popular_words_data ($host, $start_day, $end_day, $offset_i, $limit);
if (empty($webmaster_data_arr[$i])) {
echo 'BREAK 1';
}
if ($i == $limit_split) {
break;
}
}
return $webmaster_data_arr;
}
}
?>
Получение данных и прототип таблички
<?php
require_once 'YandexWebmaster.class.php'; //фаил с классом
$config_data = array(
'token_webmaster' => 'XXXXXXXXXXX-XXXXXXXXXXX', //токен https://oauth.yandex.ru/client/new
'user_id' => 'user_id', //user id от токена
'date' => '2023-06-01', // начальная дата с которой будем собирать данные
'end_date' => '2023-06-03', // конечная
'domain' => 'domain.com', // имя домена
'limit' => 10, // количество запросов (от меньшего к большему максимально 500)
'pages' => 0, // страницы, до 5 страниц т.е 3000 запросов (считается от 0)
'bad_keys_arr' => array('.','-') //стоп слова для фильтрации
);
$YandexWebmaster = new YandexWebmaster();
$webmaster_data = $YandexWebmaster->data_webmaster($config_data);
?>
<!DOCTYPE html>
<html>
<head>
<link rel="stylesheet" href="https://maxcdn.bootstrapcdn.com/bootstrap/4.0.0/css/bootstrap.min.css">
</head>
<body>
<div class="container">
<table class="table">
<thead>
<tr>
<th scope="col">Запрос</th>
<th scope="col">Частота в день</th>
<?php
// Динамическое создание заголовков таблицы с датами
foreach($webmaster_data as $date => $data) {
echo "<th scope='col'>{$date}</th>";
}
?>
</tr>
</thead>
<tbody>
<?php
// Сбор всех уникальных запросов
$allQueries = [];
foreach($webmaster_data as $data) {
foreach($data as $query => $query_data) {
if(!in_array($query, $allQueries)) {
$allQueries[] = $query;
}
}
}
// Создание строки для каждого запроса
foreach($allQueries as $query) {
echo "<tr>";
echo "<td>{$query}</td>";
// Общая частота в день для запроса
$totalFreq = 0;
$daysCount = 0;
foreach($webmaster_data as $data) {
if(isset($data[$query])) {
$totalFreq += $data[$query]['wm_freq_avg'];
$daysCount++;
}
}
$avgFreq = round($totalFreq / $daysCount, 0, PHP_ROUND_HALF_UP);
echo "<td>{$avgFreq}</td>";
// Данные для каждой даты
foreach($webmaster_data as $data) {
if(isset($data[$query])) {
echo "<td><small>Позиция просмотра {$data[$query]['wm_avg_show']} <br> Поз.кл {$data[$query]['wm_avg_click']} <br> CTR {$data[$query]['wm_ctr']}<br> Визитов {$data[$query]['wm_visit_avg']}</small></td>".PHP_EOL;
} else {
echo "<td></td>";
}
}
echo "</tr>";
}
?>
</tbody>
</table>
</div>
</body>
</html>
- Лимит запросов до 3000
- Можно выгружать данные за 90 дней (больше API не хранит).
- Возможность фильтровать данные от мусора
- Работает из коробки на php 7.4+
В выше указанном коде можно сказать прототип, результат работы класса. С дизайном я не озадачивался.
Как можно улучшить
Итоговый результат который можно получить.
Можно привязать к БД и логировать данные, также можно соотнести данные с Яндекс Метрикой, добавить графики и.т.д
- Видеть ср. позицию клика и ср. позицию просмотра
- Видеть просмотры всей выдачи по всему кластеру ключей
- Видеть суточный AVG всех позиций
- Замерять суточные клики из вебмастера
А вот так выглядят позиции того же сайта в topvisor... или любом другом сервисе.
Бандит Яндекса постоянно мешает выдачу, я пока не видел проектов где AVG прошел отметку 2.5. Возможно на небольших сайтах AVG может и пробьет отметку в 2.5.
Минусы
- Для сбора корректной информации ключ должен быть в топ10
- Данные идут с задержкой 1-3 дня
Плюсы
- Мы получаем реальную картину позиций сайта
- Бесплатно
- Мы получаем гораздо больше данных чем может дать классический сервис
- Выбор мобилы/десктоп/планшеты
Подписываемся на Блог, будут ещё полезные материалы.
UPD: скрипт получения oath токена яндекс API https://hastebin.com/share/guxibigawo.php
Все конечно хорошо, но будет инструкция для особо одаренных, как пользоваться скриптом?
Данные идут с задержкой 1-3 дня
т.е. нет смысла устанавливать вчерашнюю дату?
Да, в вебмастере можете посмотреть последнюю актуальную дату
Офигеть, то есть, позиции в Яндексе скачут настолько часто? Спасибо за информацию.
И вопрос по строчке "Бандит Яндекса постоянно мешает выдачу, я пока не видел проектов где AVG прошел отметку 2.5" - имеете в виду, что никто в выдаче не находится всегда в топ-1 на самом деде и Яндекс постоянно смещает/возвращает сайт на 1 позицию или что-то другое?
да
не меняет, выдача конечно живая, но главное то, что она персональная, каждому человеку + - своя позиция
По ссылке пусто