Google Disavow Links — как отклонить «плохие» ссылки?

Всем привет!

Давайте я представлюсь и вкратце расскажу про себя.

Меня зовут Айрат Рахимзянов. В SEO я с 2011 года. У нас небольшое агентство. SEO основная услуга. Специализируемся мы на ссылочном. Помимо этого, оказываем услуги по контекстной рекламе, контенту и есть технический отдел для внедрения правок. Ну и ещё я автор Телеграмм-канала, который называется «SEO-секретики».

Основная тема — это сервис Google Disavow Links (далее GDL). И ещё, по ходу буду охватывать всё, что может быть с этим связано.

Наверняка, многие из вас знают, что это за сервис, но на всякий случай напишу. GDL — это сервис Гугла, с помощью которого можно отклонять учет любого ссылочного. В этой статье я расскажу, как найти и отклонить именно плохое ссылочное (еще могут искать по запросу: удалить ссылки в Google).

На первый взгляд, методология определения плохих доноров может показаться сложной, но на самом деле, все просто. Единственный момент, как и многое в SEO – это нюансы. Они могут появиться по ходу, но разберем все популярные случаи (например, подозрение на токсичность доноров и т.п.). Разберем полный алгоритм действий по шагам. По сути, я перескажу нашу инструкцию, по которой мы проводим данную работу у себя внутри SEO-агентства (нативочка).

Вообще, файлов по этой задаче у нас сразу три:

Допустим, есть проект в работе. Предполагаемый средний срок жизни данного клиента 1,5 года. Значит в течение этого времени, мы как специалисты можем поддерживать ссылочный профиль данного проекта в чистоте и порядке. Такая гигиена ссылочного профиля получается. Мы все как специалисты, думаю, уже начали привыкать к обновлениям раз в 3-4 месяца (я имею ввиду коп-апы и прочие спам апдейты в Google), когда максимально трясет выдачу и те сайты, которые либо агрессивно качали ссылочное или как-то необдуманно – начинают проседать, именно поэтому важно формировать приятное ссылочное, устойчивое к обновлениям алгоритмов в Google.

Итак, приступаем к созданию файла. Создаем файл в Гугл таблицах или в старом любимом Excel, где и будем сводить всю информацию и далее принимать решение по донорам.

Создали файлик и заполнили базовые данные, такие как:

Файлик рабочий создали. Теперь нужно получить данные по ссылкам. Был базовый набор данных до этого, теперь к ним ещё добавляем оставшиеся нужные данные. Выгружаем данные по входящему ссылочному анализируемого сайта и добавляем их в наш рабочий файл как на предыдущем скриншоте. Считаем сервисом по умолчанию — ссылочный анализатор это ahrefs.com (далее ахрефс) и параллельно теперь semrush.com (далее семраш). Можно использовать любой другой сервис, необязательно брать ахрефс.

Минутка ненависти к ахрефсу. Жаль, что в сервисе сокращаются полезные отчёты (например, отчет по изменению ключей или по разбросу позиций в органике). Историю с лимитами и принудительным переключением с Legacy тарифов знаете сами. Думаю, что это не совсем долгосрочная стратегия сохранения пользователей и я, надеюсь, что такие игроки как keys.so догонят подобных гигантов в ускоренном темпе.

Но тем не менее, с ахрефсом всё еще сильно проще. Плюс чаще всего, база гораздо шире чем у семраша или серпстата. С ахрефсом получается такой упрощенный вариант, но если есть доступ к другим сервисам, то достаем ссылочное отовсюду, откуда только можем, чтобы помимо анализа всех доноров, мы еще смогли дальше по плану, выполнить другие подготовительные ссылочные работы, такие как, склейка битого ссылочного, например, или пробив в индекс хороших доноров, которые на момент анализа почему-то не в индексе. Другие подготовительные ссылочные работы были перечислены в этой статье.

Если брать все сервисы, то какие нам нужны? Сначала рассматриваем бесплатные и те к которым есть доступы у всех. Имеются ввиду вебмастера. Правда, Яндекс.Вебмастер сразу пропускаем, так как он до сих пор показывает только информацию о битых внешних ссылках, поэтому из вебмастеров берем только данные из Google Search Console.

Также берем информацию из самой поисковой выдачи. Я не совсем понимаю, почему именно этот источник часто пропускают, но он доступен для всех и там очень много полезных данных, поэтому выпаршиваем как вам удобно поисковую выдачу, чтобы достать упоминания о компании, например. Можете дополнительно далее валидировать эти урлы на наличие в них ссылок на продвигаемый сайт через любой парсер, например, Screaming Frog SEO Spider. Или же через А-парсер, где можно задать в редакторе два парсера поочередно: сначала выпаршиваем выдачу, а потом сразу пробиваем наличие ссылки.

Далее подключаем платные варианты

В таблице представлен наш рейтинг:

Кейсо с выкатыванием нового отчета по ссылкам здорово зашёл. Дополнительная норм база. SEO Power Suite довольно громоздкая и неудобная, поэтому тут по желанию. На очереди по тестам еще базы из Мегаиндекса и Серпстата. В принципе, этого уже хватает, но если не хватает, то есть еще moz.com и любые другие анализаторы, в том числе бесплатные, openlinkprofiler.org особенно бы выделил. Можете перейти по ссылке и сохранить себе полный список этих анализаторов. Пригодятся при анализе конкурентов и составлении ссылочной стратегии.

В таблице представлена информация по уникальным найденным доменам. То есть, в нашем конкретном случае, большая часть уникальных доменов находится именно по ахрефсу. Сейчас это так и очень хочется, чтобы когда-нибудь ситуация по полноте баз изменилась. На опыте заметил, что такое распределение не является эталонным и процент уникальности будет меняться от проекта к проекту.

Далее всех доноров сводим в один список, чтобы удалить дубли. И теперь у нас есть всё ссылочное отовсюду, из всех возможных источников. Далее в рабо будем добавлять все недостающие данные по этим донорам, которые дальше разберем.

Заполняем данные по столбцу «Домен». Он нам необходим для того, чтобы при повторном анализе ссылочного профиля не тратить время на анализ доменов, которые уже были проанализированы ранее.

Для заполнения столбца Domain копируем в него данные по найденным урлам. Удаляем суффиксы, протоколы и всё, что идёт после слешей. Для этого идём по порядку и просто удаляем:

Данные действия нужны для того, чтобы привести домены к одному виду.

Теперь мы выгрузили отовсюду доноров. Домены в рабочем файле указали. Далее производим сам анализ доноров. В первичном отсеве ориентируемся на тайтлы, язык и анкоры. Используем вспомогательные параметры, особенно, если ссылок очень много, такие как: DR, трафик и прочее. Также можно фильтровать список по экзотическим доменным зонам или по маске урлов (например, при поиске определенного типа ссылок — допустим, ссылок из форумных профилей).

Когда мы понимаем что из ссылочного плохое, а что хорошее, то на этом этапе домены начинаем маркировать по следующему принципу:

Приведу пояснения, чтобы понимали общую картину:

Получается такой светофорчик, то есть, перед нами разные цвета, распределяющие доноров по уровню их качества (по нашему мнению).

Рекомендация по желтым доменам. Пройдемся чуть-чуть по механикам как можно ускориться. Важно пройтись по желтым донорам вручную. Можно открывать каждый урл или для ускорения, задействовать сервис url-opener.com, либо любой другой аналог. В зависимости от мощности компьютера и размера монитора в браузере можно открывать по 20-30 ссылок за раз.

Следующая механика для ускорения, это когда мы отсеиваем свои ссылки. Что имеется ввиду? Идем в свою базу, забираем оттуда точно норм площадки на текущий момент и замазываем их сразу зелеными в рабочем файле, как бы по умолчанию считая их хорошими. Довольно большое количество ссылок (особенно каталогов) можно отсечь сразу из анализа. Наша база всегда в актуальном состоянии, так как каждый день туда вносятся правки (плохих доноров убираем, новых хороших добавляем).

Также, упростить задачу по желтым донорам нам поможет чектраст. В интерфейсе сервиса выбираем все параметры для сбора одним запросом. Так будет выгоднее. Вообще, чектраст считаю вспомогательным инструментом, потому что нельзя на 100% доверять данным этого сервиса. Решение о том хороший донор или плохой должно приниматься на основании совокупности параметров и комплексного анализа. Ни один параметр сам по себе (по-отдельности) не может являться критерием отсева. Если только не какие-то критические случаи, которые дальше разберём.

Давайте пройдемся по пунктам, которые нас беспокоят.

Резкое падение в ноль (по видимости, ключи в топе, например, разницы нет). Но при этом, важно понимать, что только сам факт отсутствия трафика — это слишком жесткий критерий в данном случае, так можно и без доноров остаться, поэтому важно соблюдать баланс. Стабильный трафик, без резких падений — уже норм.

Вирусы, фишинг — это то, о чем пингуют любые сервисы типа Safe Browing у поисковых систем. Ошибки с SSL-сертификатом туда же. Обычно, таких доноров пропускаем, чтобы в следующий раз их перепроверить.

Много акцепторов — тут все понятно, это означает большое количество исходящих ссылок. Есть нюансы, например, каталоги — этот тип ссылок изначально предполагает, что исходящих будет много, поэтому другие критерии должны быть в приоритете, например, в первую очередь ориентироваться на органический трафик.

Сайты-анализаторы — ничего полезного, отсеиваем любую автоматику на первом уровне ссылочного.

Другие языки кроме продвигаемого нас не интересуют, особенно экзотика.

Ну и любой спамчик.

Под спамом имею ввиду любые страницы или доноры, у которых есть какая-либо аномалия в контенте или в анкор-листе (во входящем или исходящем), но на практике бывают разные ситуации, например, когда в контенте было минус слово и на автомате заминусовали этот сайт из проверки, хотя это был сайт адвокатской конторы, где были представлены члены какой-то ассоциации:

Похожее было и в строительной тематике, с вибраторами для бетона, например.

Кстати, rush-analytics.ru всегда рекомендую для проверки автоматикой. Контент по веб-архиву проверяется за последние 5 лет и анкорка по ахрефсу, но только входящая. Исходящую анкорку самим вручную придется проверять, если есть ахрефс или другой ссылочный анализатор.

Кстати, список минус-слов сохраните себе, пригодится в работе же. Часто используем при пробиве дроп-доменов.

Допустим, спец выполнил эту задачу, нужно перепроверять его более опытному спецу, чтобы подтвердить корректность анализа. На этом этапе спец может оставить желтые площадки, которые у него под сомнением, чтобы посоветоваться и принять окончательное решение.

После проверки задачи ответственным по проекту и внесенных корректировок, желтых доменов не должно оставаться — получается, что домены либо хорошие, либо плохие. Ну и по итогу, создаем текстовый файл для его загрузки в Google Disallow Links.

Есть нюансы по оформлению этого файла (для GDL). А именно:

Вот так выглядит итоговый файл с отклоненными ссылками, где отсортированы все домены:

Далее отчитываемся перед клиентом, чтобы он понимал, что мы сделали. Все эти манипуляции ему могут быть и не нужны, главное, есть конечный результат — сам файл с отклоненными донорами, плюс описанная логика.

Итак, в конце работы у нас есть:

Норм.

У Гугла есть специальный инструмент для отклонения плохих ссылок, но как быть в Яндексе? В рамках эксперимента, мы около года, отправляли Платонам список плохих доноров и просим в письме не учитывать эти плохие ссылки. Само по себе, письмо вообще ничего не гарантирует, но мы надеемся, что, возможно, это учтется.

Похожим способом, действовали ранее, когда, например, обнаруживали, что сайт крутят по поведенческим факторам. Логика была такой:

Так вот, подобные письма, по факту, никак нам не помогли. Негативный опыт — это тоже опыт. Зафиксировали и идём дальше.

Я часто про это говорю:

Поэтому, у нас есть, отличная возможность попытаться добиться индексации хороших доноров на старте проекта.

Небольшой производственный кейс. До работ по добавлению в индекс, «естественная» индексация качественных ссылок выглядела так как на скриншоте:

Поскольку мы не имели доступа к этим площадкам и не могли корректировать контент на них, нами были использованы сервисы добавления страниц в индекс поисковых систем. Отправляли в индекс каждые 4 дня, аккуратненько по 10-15% от общего объема не проиндексированных. Это отличная точка роста на ровном месте. Результат приятный, всем рекомендую.

В работе использовали этих двух ботов:

Чтобы вы могли вспомнить все основные моменты данной статьи и попробовать повторить создание данного файла по описанной механике, на моем Телеграм-канале есть чек-лист.

Мы можем вам помочь с разработкой ссылочной стратегии, чистке ссылочного профиля, а также по выстраиванию, покупке и добыче ссылок (в том числе и по сильно конкурентным тематикам). Работаем правда только на абонентке. Чтобы обсудить ваш проект, то напишите мне в личку в Телеграмм. И не забудьте подписаться на Телеграм-канал «SEO-секретики».

Если возникнут вопросы, то напишите их под этой статьей. Буду рад ответить!