Focus 2 Ultra от Nubia
Возможный релиз MacBook Air?
Автопилот Tesla на бездорожье
SVG-битва нейросетей
Карманный проектор
Полёт над Луной

SEO:Disavow для сайта с помощью Python

SEO:Disavow для сайта с помощью Python

Создание и обновление файла disavow — это занятие, которое обычно является скучным и занимает довольно много времени, но, к сожалению, его необходимо выполнять, поскольку отсутствие контроля за ссылками и несвоевременное отклонение некоторых спам-ссылок может повлиять на ранжирование вашего сайта. Даже если считать, что Google значительно продвинулся в обнаружении этих спам-ссылок и не учитывает их, такое может быть, но это не может распространяться на все ссылки 100%, и по этой причине отклонение спамных ссылок по-прежнему важно.

В сегодняшнем посте я покажу вам, как можно очень легко частично автоматизировать создание файла disavow с помощью Semrush и Python.

Извлечение ссылок и их оценка на токсичность с помощью Semrush

С помощью Semrush мы можем запустить аудит обратных ссылок, чтобы присвоить каждой ссылке оценку токсичности, которая покажет, насколько вероятно, что ссылка будет считаться таковой. Чем выше будет этот показатель токсичности, тем больше вреда будет приносить эта ссылка.

Чтобы проверить свой профиль обратных ссылок, вам нужно будет перейти в раздел, расположенный на боковой панели, под названием «Аудит обратных ссылок» и создать проект для домена, который вы хотите проверить.

SEO:Disavow для сайта с помощью Python

После проведения аудита на вкладке «Аудит» у нас будет доступ к каждой ссылке, сгруппированной по доменам и с их оценками токсичности.

SEO:Disavow для сайта с помощью Python

Делаем экспорт этого отчета в файл Excel, чтобы начать работать с ним с помощью Python и создать наш файл.

Выбор токсичных ссылок

Сначала мы импортируем файл Excel с помощью Pandas и преобразуем фрейм данных в список. Этот список будет содержать список для каждой обратной ссылки, в котором будет четыре метрики: URL, анкор, рейтинг и оценка токсичности.

import pandas as pd semrush_read = pd.read_excel ('file_from_semrush.xlsx') list_df = semrush_read.values.tolist()

После этого начинаем перебор списка и разедение URL-адресов обратных ссылок, чтобы изолировать домен от остальной части URL-адреса, так как отклонение будет полностью всего домена. В конце цикла добавим в список переменную домена. Как вы можете видеть ниже, для разделения URL-адреса будем использовать библиотеку tldextract.

from tldextract import extract for x in list_df: tsd, td, tsu = extract(x[0]) domain = td + "." + tsu x.append(domain)

Теперь, когда мы уже получили домены, мы можем начать процесс фильтрации, чтобы включить в файл отклонения те URL-адреса, которые имеют высокую оценку токсичности. Порог токсичности может варьироваться в зависимости от тематики или от того, на какой риск вы готовы пойти. Для своего сайта я не переступаю порог токсичности в 60 баллов.

Поэтому мы перебираем список с переменными для каждой ссылки, и если токсичность выше 60, мы добавим домен в новый список, который будет использоваться для создания файла отклонения.

threshold = 60 list_disavow = [] for x in list_df: if x[3] > threshold: list_disavow.append(x[4])

Кроме того, просматривая доменные имена, которые ссылаются на наше доменное имя, нужно обратить внимание, на домены из доменных зон исходящих из подкаталогов спама, и даже если их оценка токсичности ниже 60, их также стоит добавить в файл disavow.

Итак, мы сейчас сделаем следующее, повторим итерацию по главному списку, и добавим в список отклонения те домены, у которых есть cctld спамных зон. Наконец, воспользуемся функцией словаря, чтобы удалить эти элементы из списка.

for x in list_df: if ".pw" in x[4]: list_disavow.append(x[4]) list_disavow = list(dict.fromkeys(list_disavow))

На примере выше были взяты доменные имена с доменной зоной “pw”.

И теперь, когда мы собрали доменные имена, которые мы хотели бы отклонить, создаем файл отклонения:

f= open("disavow_file.txt","w+") for x in list_disavow: f.write("domain:" + x + "\n") f.close()

В результате, получим файл с отклоненными доменными именами. Данный код подойдет больше для работы с пачкой сайтов, которые имеют не одну сотню ссылок. И не подойдет категорически для одного домена.

реклама
разместить
Начать дискуссию
США начали обсуждать план по смягчению санкций против России — Reuters

Госдеп и Минфин готовят предложение по снятию санкций с отдельных юрлиц и физлиц. С кого именно — неизвестно.

77
22
11
11
Загадка для Украины сегодня: а как бы также как США взять и переметнуться на побеждающую сторону?
реклама
разместить
Суд приговорил инфоблогера Елену Блиновскую к пяти годам колонии и штрафу в 1 млн рублей

Также суд на четыре года запретил ей заниматься коммерческои деятельностью и удовлетворил гражданский иск на 587 млн рублей.

Источник: Суды общей юрисдикции города Москвы
5050
3131
99
88
66
11
11
Как двойственно - вроде и поделом за тупое дробление и откровенное инфоцыганство, с другой стороны она от бизнеса а не от чинушья , и как то неприятно, когда сажают человека бизнеса
Apple может представить новый MacBook Air уже на этой неделе

Генеральный директор Apple Тим Кук намекнул на скорый анонс нового продукта, опубликовав короткое видео со словами «что-то витает в воздухе». Учитывая упоминание Air, предполагается, что речь идет о новых моделях MacBook Air на базе процессора M4.

Стоимость биткоина упала за сутки на 9%, до $83,9 тысячи

Как отмечают аналитики, эффект от новостей о включении некоторых монет в крипторезерв США не мог продлиться долго.

77
22
В сети алкомаркетов «Ароматный мир» начался корпоративный конфликт — СМИ

Суть спора пока неизвестна. В начале марта 2025 года у ритейлера перестали работать сайт и приложение — компания объяснила это сбоем и «переездом» сайта на новый адрес.

2121
77
22
11
11
"Ты меня уважаешь?")
Microsoft представила ИИ-помощника Dragon Copilot для врачей

Чтобы те «могли сосредоточиться на пациентах, а не компьютере».

Источник: Microsoft
1818
44
22
После обновления дизайна, продажи не выросли, как ожидалось, а упали. Кейс юзабилити
После обновления дизайна, продажи не выросли, как ожидалось, а упали. Кейс юзабилити

После исправления ошибок, конверсия в заказ услуги из рекламы выросла на 49%, конверсия из SEO-трафика на 54%. Количество заказов увеличилось в 1,7 раза.

Создатель бота для «пробива» данных «Глаз Бога» рассказал, что сервис приостановил работу из-за обысков у поставщика данных

Сервис не работает с 28 февраля 2025 года — тогда СМИ сообщили об обысках у команды «Глаза Бога», но основатель бота это опровергал.

2323
66
22
22
11
Законно собирать и сливать персональные данные можно только некоторым компаниям, это их корова и они её доят.
[]