По мне хорошее решение. Админы сайтов думаю знают, что в день может десяток таких ботов зайти на сайт и начать скачивать данные. Раньше приходилось бороться самому с ними. Теперь это геморой хостера будет.
Гугл можно оставить. А остальные все пол нож. И российские тоже.
начать скачивать данные. Какие данные? Вот про какие данные ты пишешь? Твои портянки текста? Из по щелку пальца у тебя заберет любой вебмастер. И никакая защита не поможет.
По мне хорошее решение. Админы сайтов думаю знают, что в день может десяток таких ботов зайти на сайт и начать скачивать данные. Раньше приходилось бороться самому с ними. Теперь это геморой хостера будет.
Гугл можно оставить. А остальные все пол нож. И российские тоже.
А ведь ты это всё на полном серьезе из своей головы вытащил.
Некоторые головы конечно очень занятные.
А какой толк от сайта, который не индексируется?
начать скачивать данные. Какие данные? Вот про какие данные ты пишешь? Твои портянки текста? Из по щелку пальца у тебя заберет любой вебмастер. И никакая защита не поможет.