Привет! Меня зовут Андрей Баранов, я — SEO-тимлид в агентстве поискового маркетинга Rush Agency. Почти 2 года мы продвигаем электронную библиотеку словарей. Сайт важного социального проекта плохо индексировался в поисковых системах из-за низкой уникальности контента.
О, ловец ботов крутая тема. Насколько трудоемким был процесс внедрения, как часто обновляли привязку не проиндексированных url к страницам и как массово проверяли индексацию?
Клиент сам внедрял, но процесс достаточно трудоемкий.
В ТЗ мы планировали брать api Rush Analyrics, но выходило для такого объема достаточно дорого и мы решили сократить и посмотреть, что выйдет.
Сделали некий упрощенный вариант - мы собираем статистику по всем переходам и понимаем сколько раз мы показали блок ПС и сколько раз бот перешел на эту страницу. В этих блоках мы показываем все страницы, где не было показов/переходов. Все заточено для того что бы загнать робота на те страницы которые он не видел.
Этого оказалось достаточно.