Как вариант — проверять, кто зашёл на сайт: поисковый робот или кто-то другой — и выдавать контент в зависимости от этого.
На сколько мне известно, это можно определить по User Agent. Хотя если кто-то, кто разбирается в вопросе, замаскируется — сможет спарсить весь платный контент.
Как вариант — проверять, кто зашёл на сайт: поисковый робот или кто-то другой — и выдавать контент в зависимости от этого.
На сколько мне известно, это можно определить по User Agent.
Хотя если кто-то, кто разбирается в вопросе, замаскируется — сможет спарсить весь платный контент.
ну за такие финты можно схлопотать блокировку от поисковика. Такое поведение называется клоакингом.
Или просто нажмёт кнопочку "сохранённая копия".
это запрещено поисковиками.
Либо не забрать его (контент) из поисковой выдачи.
Как вариант - генерировать пачку страниц с фрагментами из платных статей. (Как собственно гугл делает с книгами)
Что только наделали на Подстроительство, но новости так и не индексируется
Индексацию новостей как проверяли ? И насколько новости полные (одна строчка или полноценный текст) ?