В этой статьей рассмотрим детальную настройку сервиса CloudFlare для защиты сайта от всевозможных роботов, ботов, парсеров.
...получается, если бот будет использовать user-agent маил. ru, тогда на сайте автора проблем у него не будет..
В таком случае придется делать для проверки обратный DNS запрос методами прокси сервера, чтобы убедиться что айпишник бота относится именно к постам go mail ru