Инструкции для агентов в коде сайта: игнорирование и проблемы

Все чаще встречаю такое: в коде сайта инструкции для агентов что делать, а что не делать (которые мой клод успешно игнорирует)