Извлекаем URL и анкоры из SERP Яндекс и Google в один клик: сделал простое решение

Приветствую! В этой статье поделюсь простым и бесплатным решением по извлечение URL-адресов из результатов поиска по любому ключевому слову из Яндекс и Google.

Данная процедура может понадобиться совершенно для разных задач, например:

получение точного перечня проиндексированных URL по любому сайту с помощью запроса "site:domain.ru";
подготовки перечня сайтов для последующего анализа и парсинга;
поиска доменов для линкбилдинга с помощью различных поисковых операторов;
...и многое другое.

Качаем и устанавливаем плагин gInfinity для Chrome, настройки оставляем дефолтные, теперь выдача Google автоматически загружается при скроллинге на нужную нам глубину (для Яндекса плагин не нашел, можно выгружать результаты постранично с помощью пагинации);
Нажимаем правой кнопкой мыши на панель закладок в Chrome и выбираем "Добавить страницу";
В поле "Название" - Инструмент извлечения URL из SERP Yandex и Google, в поле "URL" - копируем и вставляем код ниже:

javascript:(function(){output='<html><head><title>Инструмент извлечения URL из SERP Yandex и Google</title><style type=\'text/css\'>body,table{font-family:Tahoma,Verdana,Segoe,sans-serif;font-size:11px;color:#000}h1,h2,th{color:#0000CD}th{text-align:left}h2{font-size:14px;margin-bottom:3px}</style></head><body>'; output+='<h1>Инструмент извлечения URL из SERP Yandex и Google</h1><h2>Сделал - <a href=\'https://hello.akulov.pro\' target="_blank">Артем Акулов</a></h2><br>'; pageAnchors=document.getElementsByTagName('a'); divClasses=document.getElementsByTagName('div'); var linkcount=0;var linkLocation=''; var linkAnchorText=''; output+='<table><th>ID</th><th>URL</th><th>Анкор</th>'; for(i=0;i<pageAnchors.length;i++){ if(pageAnchors[i].parentNode.parentNode.getAttribute('class')!='iUh30'){ var anchorText = pageAnchors[i].textContent; var anchorLink = pageAnchors[i].href; var linkAnchor = anchorLink + '\t'+anchorText; var anchorID = pageAnchors[i].id; if(anchorLink!=''){ if(anchorLink.match(/^((?!google\.|cache|blogger.com|\.yahoo\.|youtube\.com\/\?gl=|youtube\.com\/results|javascript:|api\.technorati\.com|botw\.org\/search|del\.icio\.us\/url\/check|digg\.com\/search|search\.twitter\.com\/search|search\.yahoo\.com\/search|siteanalytics\.compete\.com|tools\.seobook\.com\/general\/keyword\/suggestions|web\.archive\.org\/web\/|whois\.domaintools\.com|www\.alexa\.com\/data\/details\/main|www\.bloglines\.com\/search|www\.majesticseo\.com\/search\.php|www\.semrush\.com\/info\/|www\.semrush\.com\/search\.php|www\.stumbleupon\.com\/url|wikipedia.org\/wiki\/Special:Search).)*$/i)){ if(anchorID.match(/^((?!hdtb_more|hdtb_tls|uh_hl).)*$/i)){ linkLocation+=anchorLink+'<br />'; linkAnchorText+=anchorText+'<br />'; linkcount++; if (anchorText === undefined) anchorText = pageAnchors[i].innerText;output+='<tr>'; output+='<td>'+linkcount+'</td>'; output+='<td>'+pageAnchors[i].href+'</a></td>'; output+='<td>'+anchorText+'</td>'; output+='</tr>\n'; } } } } } output+='</table><br/><h2>Все URL</h2><div>'; output+=linkLocation;output+='</div><br/><h2>Все анкоры</h2><div>'; output+=linkAnchorText;output+='<br/>%C2%A0<br/><p align=center><a href=\'https://hello.akulov.pro\'>hello.akulov.pro</a></p>'; with(window.open()){document.write(output);document.close();}})();

Нажимаем кнопку "Сохранить", всё готово!

Открываем Google, вводим любой поисковый запрос, например "обучение английскому с нуля":

Извлекаем URL и анкоры из SERP Яндекс и Google в один клик: сделал простое решение

Листаем страницу вниз сколько нужно, хоть до топ-200;
Нажимаем на ранее созданную закладку в панели закладок:

Попадаем в новое окно с результатами: все URL и анкоры представлены списком:

Копируем все URL в Excel и чистим дубли в один клик, получаем список:

Если нам нужны уникальные домены из этого списка, то воспользуемся формулой:

=ПСТР(A1;НАЙТИ(":";A1;4)+3;НАЙТИ("/";A1;9)-НАЙТИ(":";A1;4)-3)

Получаем готовый список доменов и чистим его от дублей:

Готово!

7 комментариев

Полезно

Спасибо, работает. Этот букмарклет можно использовать в любом браузере, а не только в Chrome

Артем Акулов

Автор

Да, все верно

Александр

11.10.2023

Подскажите, как исправить ошибку в формуле?
https://skrinshoter.ru/sMFPG774xXf?a

skrinshoter.ru

Скриншот-11-10-2023 11:16:07.jpg

14.10.2023

Проверить какие данные находятся в ячейке А1. Формула берет для работы именно эту ячейку. Нужно другую - меняешь на какую надо. Формула работает в MS Office 2021, в других версиях неизвестно.