На seojnik.ru мы ведём базу по поисковому продвижению. Домен до этого был интернет-магазином. В логах за день Googlebot почти не открывал новые статьи: он запрашивал старые адреса каталога /frontend/web/catalog/ и получал то 404, то 301 на случайную страницу. WordPress угадывал «похожий» URL, если в запросе был параметр page.
Для краулера это мёртвы…