Парсинг сайтов ваших конкурентов самостоятельно: от «сделай сам» до «заверните мне ещё один гугл, пожалуйста»
Меня зовут Максим Кульгин, моя компания xmldatafeed занимается парсингом сайтов в России более четырёх лет. Мы подготовили свежий обзор лучших решений для самостоятельного парсинга сайтов: это и программируемые средства с открытым исходным кодом, и плагины для браузеров, и облачные сервисы наших зарубежных конкурентов.
С полгода наверно как, у меня в Яндекс метрике, посещаемость сайта увеличилась раз в 10. Причем теперь процентов 90 это прямые заходы. Парсят же меня получается?
Боты могут поведенческие факторы накручивать, понижая ваш сайт в выдаче поисковых систем и повышая позиции сайтов зловреда. Если прямой траф растет, то скорее это происходит прогрев ботов. Ну или парсят, но там обычно весь сайт сверху-донизу выкачивают. У меня тоже так было пришлось навыки защиты осваивать. Тут много статей по этому поводу есть