Как вывести сайт из-под фильтра «малополезный контент»: опыт Digital Strategy и сайта «Овкусе.ру»

Чтобы пользователи не утонули в результатах выдачи, поисковые сети фильтруют контент, избавляясь от «некачественного». Критерии качества у каждой сети свои — например, некачественным считается текст, наводненный ссылками, или сайты, которые полностью копируют друг друга по содержанию.

В статье мы расскажем, как столкнулись с фильтром «малополезный контент» от Яндекса, и как нам удалось успешно вывести сайт с рецептами «Овкусе.ру» из под него.

У Яндекса три основных критерия фильтра «малополезный контент»:

• на сайте нет оригинального и ценного контента, и не предоставляются полезные услуги (а какой контент является ценным — определяет Яндекс своими алгоритмами);
• реклама затрудняет просмотр страниц сайта;
• на сайте используется поисковый спам: переоптимизация, SEO-ссылки и прочее.

На практике мы убедились, что малополезным может быть признан любой сайт, и предугадать алгоритмы не так просто.

В 2023 году пользователи начали жаловаться на фильтр, не скрывая — например, вот большая статья на VC, а еще владельцы сайтов рассказывали о проблемах с фильтром на специализированных форумах, таких как searchengines.

Сайт нашего клиента https://ovkuse.ru/ 15 сентября 2023 года тоже получил в Вебмастере сообщение о фатальной ошибке.

Сайт попал под фильтрацию в три этапа. Первый этап — предварительный фильтр, трафик упал в два раза, но шел и на страницы рецептов и на главную страницу. При этом никаких сообщений в панели Вебмастера не было, а трафик падал весь август 2023. Это был первый этап, и хочется заметить, что такое падение трафика должно всегда настораживать, даже если потом он возвращается, потому что за такой пессимизацией может последовать фильтр. Второй этап падения трафика был в сентябре-октябре 2023, но в Вебмастере уже появилось сообщение о том, что на сайт наложены санкции. Третий этап начался 7 октября 2023 и тогда уже со страниц рецептов исчез весь трафик. Единственный трафик из Яндекса, поступающий на сайт в этот период — это брендовые переходы.

Изначально было предположение, что Овкусе попал под фильтрацию из-за долгой непростой истории сайта. Овкусе был основан в 2008 году как сайт кулинарных рецептов, однако в 2017 году был выкуплен крупнейшим кулинарным сайтом мир Cookpad, базирующимся в Японии, после чего слит с этим сайтом посредством редиректов в 2018 году. В январе 2023 года платформы договорились о разделе — рецепты Овкусе были удалены из базы Cookpad, и стали доступны на старом домене https://ovkuse.ru/. За 15 лет работы сайта сменилось несколько структур, существовал отдельный мобильный поддомен, но после переезда владельцы сделали новый дизайн и развернули новую структуру.

Мы проанализировали сайт, учли возможные причины из справки Яндекса, и выдвинули несколько гипотез, почему Овкусе.ру попал под фильтр:

• некорректная работа алгоритма Яндекса;
• значительные технические ошибки на сайте;
• очень много 404 страниц, оставшихся после изменений структуры сайта и множества переездов;
• проблемы со сменой доменов или поддоменов;
• ошибки и дубли генерации метатегов;
• отличия в структуре сайта: во время анализа конкурентов обнаружили, что у всех них на тот момент была разветвленная структура каталога, которой не было у сайта нашего клиента.

Мы провели аудит сайта, анализ панелей вебмастеров, Яндекс.Метрики и начали переговоры с поддержкой. К сожалению, первый раунд не дал никаких результатов — критичных ошибок не было найдено, мелкие недочеты, такие, как дубли метатегов, были оперативно исправлены, общение с поддержкой зашло в тупик и закончилось таким сообщением.

Мы стали думать дальше, и провели дополнительный анализ Яндекс.Метрики. Во время него обнаружили:

1. 14.09.2023 на сайт заходят 24 раза 11 разных асессоров Яндекса на страницу https://ovkuse.ru/recipes/12099558 (теперь уже удаленную). Асессоры — это пользователи сервиса Яндекс.Толока, которые переходят из карточек задания с данного сервиса для оценки сайта по их критериям. На основании их выводов Яндекс может вносить корректировки в ранжирование сайта. Отслеживать подобные переходы можно по метке перехода с iframe-toloka.com.

2. 15.09.2023 трафик из Яндекса значительно снижается;

3. Изображение одного из товаров было множество раз скопировано на различные сайты (см поиск по картинке Яндекса).

4. При этом у страницы относительно уникальный текст. Относительно, потому что в тематике рецептов сложно соблюсти высокую уникальность, однако, по данным проверки, текст лишь частично совпадал с другими текстами в интернете.

Итог — причиной попадания сайта под фильтр стали неуникальные изображения, обнаруженные во время визита асессоров Яндекса.

После того, как мы поняли причины попадания сайта под фильтр, пришло время думать, как это решать. Мы предложили два варианта:

• Поиск дублей рецептов. В этом варианте разрабатывался скрипт, который проверял изображения и тексты рецептов на уникальность в Яндексе. После обнаружения неуникальных рецептов они отправлялись на дальнейшую ручную модерацию, после которой удалялись с сайта. В итоге, через несколько месяцев работы каталог сайта был бы очищен от скопированных рецептов, и мы бы отправились в поддержку с этими данными. Замена изображений уникальными или рерайт неуникальных рецептов казались хорошим решением, но противоречат концепции UGC;
• Полное закрытие всех старых рецептов. В этом варианте все рецепты, попавшие на сайт с Cookpad, признаются потенциально скопированными, и закрываются от Яндекса тегом noindex.

Руководством ресурса было выбрано второе решение. При этом мы столкнулись с серьезной проблемой — часть страниц рецептов хотелось сохранить в индексе, так как они приносили трафик или были относительно новыми. Поэтому, было разработано следующее решение:

В header страниц рецептов зашивается метатег <meta name="yandex" content="noindex, nofollow" /> для закрытия страниц от индексации именно для роботов Яндекса. Оказалось, что у Яндекса есть отдельный метатег.

Создается «белый лист» рецептов, в котором оказываются рецепты от проверенных авторов и вручную проверенные на уникальность.

Для рецептов из белого листа noindex не устанавливается.

5 декабря доработка была внедрена на сайт, что привело к быстрому выпадению части страниц из индекса Яндекса. А ещё мы составили и отправили обращение в поддержку Yandex.

25 декабря фильтр был снят с сайта, и трафик стал снова расти.

Чтобы вывести сайт из под фильтра МПК Яндекса, важно детально проанализировать возможные причины попадания под фильтр, и, в зависимости от них, подготовить уникальное для каждого сайта решения. В нашем случае для сайта Овкусе.ру решением стало закрыть часть страниц рецептов от поиска.

Для других ресурсов это может быть смена домена, удаление части контента или даже решение не бороться с фильтром.

Если у вас остались вопросы по вашему проекту – мы открыты в комментариях и нашей почте [email protected].