Пользуясь случаем, хочу передать привет semrush и сказать, что ваш бот охренеть как достал! Может послать сотни запросов в минуту на один маленький сайт. По моему единственный кто себя так ведёт.

На втором месте яндекс. Тоже может начать сканировать с лютой скоростью. Одно спасенье, регистрировать домен в веб-мастере и выключать опцию "Доверять Яндексу"