Как вариант — проверять, кто зашёл на сайт: поисковый робот или кто-то другой — и выдавать контент в зависимости от этого.
На сколько мне известно, это можно определить по User Agent.
Хотя если кто-то, кто разбирается в вопросе, замаскируется — сможет спарсить весь платный контент.
Как вариант — проверять, кто зашёл на сайт: поисковый робот или кто-то другой — и выдавать контент в зависимости от этого.
На сколько мне известно, это можно определить по User Agent.
Хотя если кто-то, кто разбирается в вопросе, замаскируется — сможет спарсить весь платный контент.
ну за такие финты можно схлопотать блокировку от поисковика. Такое поведение называется клоакингом.
однако многие форумы клоачат по юзерагенту. от гуглботов не требуют регистрации, а от юзеров требуют.
Или просто нажмёт кнопочку "сохранённая копия".
это запрещено поисковиками.
понял, спасибо за информацию)
а если часть статьи находится в открытом доступе, а поисковику показывать полную версию? в целом контент же будет более-менее соответствовать?
Либо не забрать его (контент) из поисковой выдачи.
Как вариант - генерировать пачку страниц с фрагментами из платных статей. (Как собственно гугл делает с книгами)
Что только наделали на Подстроительство, но новости так и не индексируется
Индексацию новостей как проверяли ? И насколько новости полные (одна строчка или полноценный текст) ?
Только что жеж))))