Кейс Okko: борьба за трафик с “пиратскими” сайтами

Как определить в поисковой выдаче сайты с пиратским контентом? Именно на эту задачу приходится тратить множество часов специалистам из okko.tv. Мы постарались максимально оптимизировать этот процесс и сократить затраты компании, используя платформу SEOWORK.

Кейс, который мы описали в этой статье, будет актуален не только для онлайн-кинотеатров, эта проблема затрагивает и другие сайты с уникальным контентом, защищенным авторскими правами: видео, книги или софт.

Сайты с пиратским контентом быстро индексируются и выходят в ТОП-10, таким образом забирают трафик у первоисточника по нашей семантике. С этим и старается бороться Okko ― коллеги находят проекты, которые нарушают DMCA и отправляют жалобы в Google, после удаления таких проектов, позиции кинотеатра естественным образом улучшаются. Изначально все делалось вручную: выгружали слепки ТОП-100, искали сайты с нелицензионным контентом, формировали списки и отправляли жалобы в соответствующие инстанции. Этот процесс занимал много времени у специалистов, которое можно было потратить значительно эффективнее.

Мы предложили алгоритм для детекции пиратов с использованием готовых фильтров “Новички” и “Лидеры” в модуле “Конкуренты”, который значительно сокращает трудозатраты на эту задачу.

Суть алгоритма — создать списки сайтов "не пиратов" (партнерские сайты, которые забирают контент на законных основаниях) и "пиратов". После этого - смэтчить подоменно с сайтами в слепках ТОП-10.

Мы будем использовать модуль “Конкуренты”, где отображаются все сайты, которые ранжируются по нашему семантическому ядру. Таких находится 1760 сайтов — разбирать список вручную долго и сложно.

Достаточно выгрузить 100 сайтов лидеров по видимости (ТОП-100 сайтов) и разметить их вручную "пират" / "не пират". Большинство сайтов из ТОП-100 будут “не пиратами”.

Дополнительно - в файле выгрузки можно отфильтровать сайты по столбцу “конкурент” и “тип”. Если конкурент определен как “Прямой” - автоматически проставляем метку “не пират”. Если у сайта присутствует какая-то разметка в “Типе” - так же автоматически проставляем метку “не пират”. Эти данные подтягиваются с нашей БД, т.е. если сайт размечен, значит он либо есть у нас в системе, либо это один из популярных сайтов предварительно размеченных Сеоворком.

Следом воспользуемся новым готовым фильтром "Новички". Благодаря этим фильтрам мы можем быстро найти сайты конкурентов, которых ранее не было видно по отслеживаемым запросам в ТОП-10.

После применения этих фильтров получаем список сайтов, практически все из которых пираты (дополнительно стоит их бегло просмотреть, но там даже из названий доменов понятно, что это какое-то очередное зеркало).

Объединяем полученные списки “не пиратов” и “пиратов”.

Выгрузка слепков ТОП-10 + мэтчинг

Сюда же следует добавить слепки ТОП-100 выдачи по запросам, где Окко в ТОП-10 и находим соответсвия с полученными данными по нашим спискам. Это также можно сделать с помощью инструментов в SEOWORK.

Из полученных слепков ТОП-100 оставляем для анализа только ТОП-10 по каждому запросу, где вытаскиваем из урлов выдачи в отдельный столбец название доменов и мэтчим их с нашими списками "не пират" или "пират".

Сайты, которые оказались по итогу неразмеченными (таких на выходе получается немного, т.к. первые 2 шага по разметке “пират” и “не пират” покрывают большинство сайтов в наших слепках ТОП-10), можно оценить по сроку жизни домена и посещаемости (молодые и щуплые сайты тоже пометим пиратами).

Таким образом мы разметили практически все сайты, которые как-то могут повлиять на значимые позиции Okko, а остаток неразмеченных доменов можно посмотреть и разметить вручную, после всех итераций таковых останется очень мало или не остается вовсе.

По итогу на выходе мы получим размеченный файл ("не пират"/"пират") по всем слепкам ТОП-10, где присутствует Окко. Из полученных слепков можно легко составить жалобу DMCA на сайты, которые мы разметили “пиратами” + прилагая к заявке сайты “не пираты”.

Полезен ли вам такой кейс?

Кейс подготовлен ведущим аналитиком SEOWORK Сергеем Горобий