Обзор краулера To scan: полезные функции, максимум автоматизации и месяц SEO-аудита бесплатно

Краулерами SEO-специалистов уже не удивить – ими пользуются все, чтобы отслеживать технические ошибки на сайте. Проблема в том, что почти все они одинаковые, не всегда удобные, а большинство давно не обновляется. Поэтому мы создали свой веб-сканер To scan, который можно один раз настроить и каждый день получать детальные отчёты.

Рассказываем, чем To scan отличается от аналогов, какие функции спрятаны «под капотом», и самое приятное – даём месяц бесплатного использования.

Краулер – это программа, которая анализирует страницы на сайте, находит технические ошибки и сообщает о них владельцу сайта. Чтобы получить такой отчёт, нужно открыть краулер, запустить его вручную, дождаться окончания проверки и уже потом переходить к исправлению ошибок. И так каждый раз.

Главное отличие To scan – тут достаточно один раз всё настроить, запустить, и сканер сам каждый день будет обходить весь сайт, находить ошибки и отправлять вам уведомления. Не придётся ждать, пока «Яндекс.Вебмастер» или Search Console сообщат про ошибки 404, 301 редиректы, метатеги noindex и другие неприятные вещи – вы сразу будете понимать, если на сайте что-то идёт не так.

Такой вариант подойдёт:

● владельцам сайтов, чтобы быстро находить ошибки, которые замедляют рост органического трафика;

● агентствам и SEO-специалистам, чтобы упростить себе процесс аудита и снизить себестоимость услуги для клиента.

Кейс нашего клиента. К нам обратился банк, у которого есть свой отдел SEO и, помимо него, много других отделов – дизайнеры, контентщики, таргетологи, A/B тестировщики и т.д.

Сайт большой, работа над ним идёт постоянно – заливают контент, тестируют разные формы/дизайны, меняют шаблоны. Для сеошника всё это большая головная боль, потому что любое изменение может плохо сказаться на ранжировании страниц. Приходится за всем этим постоянно следить.

SEO-специалистам нужен был удобный инструмент, который облегчит задачу и оперативно будет показывать изменения в разных разделах сайта. Мы предложили клиенту подключить To scan, и через какое-то время получили обратную связь о том, что все затраты давно окупились.

На сайт банка в раздел дебетовых карт залили новую версию страниц с метатегом noindex. Уже наутро сеошники получили отчёт о том, что все страницы этого раздела содержат этот метатег. Если бы они моментально не отреагировали, банк бы потерял солидную сумму денег.

По словам клиента, такие ситуации у них – обычное явление. Есть своя статистика убытков, которые банк несёт после каждого такого сбоя. Как оказалось, после подключения To scan они уже несколько раз окупили эту сумму. К сожалению, точную сумму не назвали, но факт остаётся фактом – наш тушкан работает.

Сначала кратко расскажем обо всех возможностях. To scan умеет:

● проводить полное или выборочное сканирование страниц на сайте по большому числу показателей;

● сохранять все ежедневные сканирования в архиве, чтобы в любой момент посмотреть отчёт за любой день и сказать что и как было (например доказать что ты не верблюд)

● сканировать все страницы на наличие дублей title, h1, description и когда h1 повторяет title

● Снимать основные показатели домена

● Может сканировать отдельные части контента или кода страницы на изменение

Всё это экономит время, позволяет быстро реагировать на проблемы и не тратить время на ручные проверки.

Итак, самое время разобраться, как всё это устроено изнутри.

Чтобы начать работу, переходим на сайт to-scan.ru. По ссылке сразу откроется форма авторизации. Тут нажимаем «зарегистрироваться» и проходим стандартную регистрацию: имя, фамилия, е-мейл, пароль, подтвердить пароль.

Останется подтвердить регистрацию по ссылке, которая придёт на почту, и можно заходить в аккаунт под своим логином и паролем.

Вот так выглядит стартовая страница после авторизации. Чтобы создать новый проект, жмём соответствующую кнопку:

Откроется страница нового проекта, где нужно указать его название и домен.

Дальше настраиваем, как именно to scan будет анализировать сайт. В разделе «Регулярность» пока оставили оптимальную частоту – раз в день. Потом можно будет анализировать и чаще, но пока следим за нагрузкой, чтобы сильно не перегружать ни наш сервер, ни ваши сайты.

Ниже выбираем область сканирования – весь сайт, отдельные части или всё, кроме отдельных ссылок. Если выбрали частичное сканирование, откроется окно, куда нужно вставить необходимые ссылки.

Мы, как рекламное агентство, подключаем всем нашим клиентам полное сканирование, чтобы оперативно следить за всеми разделами.

Выборочная проверка подходит, когда с сайтом работают 5-10 сеошников, и у каждого своя зона ответственности. Например, как было у нас с банком: один специалист оптимизирует раздел кредитов, другой – дебетовые карты и т.д.

Если навести мышку на знак вопроса, появится подсказка о том, какие символы можно использовать для управления зонами сканирования:

После этого останется нажать кнопку «Создать», и сразу запустится сканирование домена.

Обратите внимание: даже если вы предложили сервису отсканировать маленький кусочек сайта, он всё равно обойдёт весь сайт, но покажет только те страницы, которые подходят под ваши требования.

После запуска откроется окно с данными о домене. Вверху общая информация: возраст, сертификат SSL, метрики и пр.

Ниже – битые ссылки, найденные карты сайта, файлы robots. Здесь же – дубли title, description, H1 и дубли, где H1 повторяет title.

Самое важное находится во вкладке «Сканирование» в левом блоке меню. Здесь видим таблицу, где выписываются все url сайта по 50-100 штук на страницу. Если сайт большой, от 100 000 страниц, сканирование всех страничек может занять несколько часов.

Рядом со ссылками отображается вообще всё, что смог найти краулер. Например, столбец «Прошлый ответ сервера» показывает данные предыдущего (вчерашнего) сканирования. Если вчера по какой-то из ссылок отображался код сервера 200, а сегодня 301, система пришлёт уведомление об этом.

Тут же можно увидеть глубину, SSL, запрещена ли страница в Robots, meta robots и есть ли она в sitemap.xml. Если передвинуть табличку вправо, тут ещё больше информации: сколько исходящих ссылок, title, description по каждой странице, есть ли микроразметки Open Graph и Twitter, изменились ли они с прошлого сканирования.

В самом конце – данные по заголовкам json, H1, H2, h3-h6, Canonical, вес страницы, есть ли отличия мобайла от десктопа.

Если нужно найти что-то конкретное, в каждом столбце под названием есть строка поиска. Достаточно ввести ключевое слово, нажать enter, и система найдёт нужную страницу. Здесь же можно задать параметры поиска – по одному слову или нескольким.

Если кликнуть по иконке в столбце «Посмотреть подробности», можно увидеть детальную информацию по конкретной странице. Тут 4 вкладки: общие сведения, заголовки, микроразметка, ссылки. То же самое, что и в большой таблице, только компактно и отдельно по каждому url.

Таблицу можно скачать – получится всё то же самое, только в Excel. Точно так же можно скачивать данные по каждой отдельной страничке.

Табличку с данными сервис создаёт после каждого сканирования, то есть каждый день. Вся хронология хранится в личном кабинете, кнопка «Календарь сканирования». Тут можно перейти в любой день и посмотреть, в каком состоянии была та или иная страница, какие коды отдавала.

Сканирование запускается каждый день ровно в то время когда вы его запустили в первый раз.

Сколько будут храниться данные, зависит от тарифа. Если выбрали тариф на месяц, календарь покажет данные только за предыдущий месяц, на полгода – будут храниться данные за полгода.

Ещё один полезный инструмент, который позволяет отслеживать изменения или части контента внутри одной страницы. Чтобы им воспользоваться, выбираем нужный пункт в меню слева, нажимаем «Создать проект мониторинга», заполняем данные – название проекта, описание и платформа (desktop или mobile).

Система выдаёт два тега для отслеживания, их нужно разместить в коде сайта в начале и в конце сканируемого элемента.

Все проекты для отслеживания появятся в списке на этой же странице. Сканирования тоже проходят каждый день, поэтому вы будете получать сообщения о любых изменениях.

Там же можно подписаться на результаты мониторинга.

Чтобы настроить уведомления по проектам, переходим в настройки профиля – иконка справа в углу страницы.

Здесь выбираем вкладку «Уведомления» и нажимаем «Создать уведомление».

Теперь выбираем нужный проект из выпадающего меню.

Далее указываем электронную почту и/или аккаунт в телеграм для уведомлений. Ниже можно отметить галочками, о чём должна вас оповещать система: например, изменился код сервера, https, вес страницы, H1 или title, страница заблокирована в metarobots и т.д. По умолчанию выбраны все варианты.

Для каждого проекта можно выставить свои настройки, добавить разные е-мейлы или аккаунты в ТГ. Например, если хотите распределить обязанности по проектам между разными сотрудниками.

Во вкладке «Команда» в настройках профиля можно подключить сотрудников, которые смогут настраивать проекты и получать уведомления об ошибках на сайте. Для этого достаточно указать е-мейл, выбрать роль сотрудника и отправить приглашение.

Уровень доступа может быть разный: «Наблюдатель» сможет наблюдать за сканированиями и подписываться на них, видит и может подключаться, «Менеджер» сможет создавать сканирования за счёт владельца. Это удобно, если создаёте один аккаунт для рекламного агентства и подключаете к нему сотрудников по разным проектам: можно пополнять всего один аккаунт, а не 10 разных.

Через личный кабинет можно запускать любое количество проектов, система по умолчанию будет каждый день сканировать все добавленные сайты. Чтобы просмотреть все проекты, нужно перейти в настройки – иконка слева под основным меню.

Рядом с кнопкой «Создать проект» есть кнопка с уже созданными проектами. Если навести на неё мышку, появится выпадающее меню со списком всех сканирований, между которыми можно переключаться.

У каждого проекта свои отдельные настройки. Можно остановить/запустить сканирование, сделать проект приватным, переключиться с полной проверки на выборочную.

Или добавить robots и sitemap, которые стоит учитывать при проверке.

Например, если система не нашла какие-то страницы, можно добавить специфические sitemap, которые краулер будет дополнительно учитывать при сканировании.

А теперь к самому приятному. После регистрации вы можете 14 дней пользоваться краулером To scan бесплатно, сюда входит 10 000 ежедневных сканирований. Например, если на вашем сайте 100 тыс. страниц, краулер обойдёт его полностью, но в рамках этого тарифа запишет и сохранит на сервере только 10 000 страниц.

Когда пробный период закончится, новый тариф можно будет выбрать во вкладке «Тарифы» в профиле. Работает, как калькулятор: вверху выбираете на шкале количество страниц для ежедневного сканирования (от 1000), ниже выбираете период хранения данных – месяц, полгода, год.

Стартовая цена – от 190 руб. за сканирование 1000 страниц в сутки с хранением данных в течение месяца. Если сразу оплачиваете за год, это будет стоит 150 руб. То есть платите за год вперёд, но сканирования будут храниться только за прошедший месяц. Если это очень важный проект, где надо хранить данные полгода/год, это будет стоить дороже.

Число проектов и сотрудников на всех тарифах не ограничено, число страниц можно выбирать любое. Мы без проблем можем сканировать до миллиона страниц в день, если нужно больше – пишите, подберём индивидуальный тариф или разработаем функционал специально под ваши цели.

Надеюсь, To scan будет вам полезен. Если что-то непонятно, не получается, не хватает лимитов, нужно увеличить тестовый лимит или хотелось бы добавить какие-то функции – обязательно пишите в чат-бот на сайте. Отвечаю лично я, потому что сейчас активно всё «допиливаем», тестируем, убираем ошибки. Любое обращение учтём и придумаем, как сделать ещё лучше и удобнее.

Ссылка на To scan: