SiteAnalyzer 3.2: Виртуальное сканирование сайтов, отображение правил Robots.txt, подробное описание ошибок SEO
Всем привет! Меня зовут Симагин Андрей и сегодня я рад представить новую версию программы SiteAnalyzer. Для тех, кто слышит о программе впервые - SiteAnalyzer это десктопный краулер, предназначенный для технического аудита сайтов.
В новой версии SiteAnalyzer добавлена возможность виртуального сканирования сайтов (функция «Virtual Crawl»), добавлено отображение правил файла Robots.txt для запрещенных к индексации страниц, а также добавлено описание ошибок, отображаемых по фильтрам вкладки «Статистика SEO». Рассмотрим подробнее детали новой версии.
Основные изменения
1. Виртуальное сканирование сайтов
Виртуальное сканирование «Virtual Crawl» реализовано за счет сканирования сайтов без использования базы данных за счет чего нивелируются потери при взаимодействии сканера с базой данных программы и сканирование происходит на порядок быстрее на медленных HDD или SSD дисках. Все данные при этом хранятся виртуально и доступны только во время запуска программы и до переключения на другой проект.
Виртуальное сканирование реализовано через переключатель, расположенный рядом с кнопками «Старт» и «Стоп» в верхней части программы.
- При отжатом переключателе, сайты сканируются в классическом режиме.
- При нажатом переключателе, сайты сканируются в режиме виртуального сканирования.
Плюсы и минусы режима «Virtual Crawl»:
- Минусом данного режима является то, что данные по проекту актуальны лишь на момент работы программы и до переключения на другой проект.
- При этом плюсом является быстрое добавление и анализ проекта, а также увеличение скорости сканирования на медленных HDD или SSD дисках.
- Результаты сканирования в режиме «Virtual Crawl» полностью дублируют функционал сканирования по списку проектов (фильтры, выборки, граф визуализации и т.п.).
Примечание. Режим «Virtual Crawl» доступен только на платном тарифе.
2. Правила Robots.txt для запрещенных к индексации страниц
По просьбам пользователей, было добавлено отображение правил файла Robots.txt для запрещенных к индексации страниц.
Теперь SiteAnalyzer автоматически определит страницы, которые блокируются в файле Robots.txt, а также отобразит правило, запрещающее их индексацию.
Это действительно удобный и наглядный отчет, который позволяет проводить аудит файла Robots.txt. Часто владельцы сайтов проверяют URL один за другим, чтобы увидеть, блокируются ли они через файл Robots.txt. Таким образом, в отличии от не совсем удобных «ручных» тестов, вы можете провести массовый анализ URL, чтобы убедиться, что исключения в Robots.txt работают должным образом.
Как это проверить в SiteAnalyzer:
1. Запустите SiteAnalyzer.
2. Просканируйте интересующий сайт.
3. После завершения сканирования, перейдите на вкладку «Внутренние > Строка в Robots.txt».
4. Теперь вы можете увидеть все страницы, заблокированные файлом Robots.
5. В столбце «Строка в Robots.txt» будет указан номер строки и правило, блокирующее сканирование данного URL.
Это бывает полезно, если у вас большой сайт с большим количеством сложных правил Robots. Тестирование одного за другим URL может быть полезным, но также сложным для понимания того, как определенное правило применяется ко всему сайту. Данная функциональность по сути позволит вам протестировать файл Robots.txt в масштабе всего сайта.
3. Подробные описания ошибок по SEO-фильтрам
Для лучшего понимания работы фильтров вкладки «Статистика SEO» на нижней панели было добавлено подробное описание ошибок по каждому из соответствующих фильтров (вкладка «Информация»), а также указаны возможные причины возникновения ошибок и, по возможности, рекомендации по их устранению.
Прочие изменения
- Исправлена некорректная работа прокси при запуске программы и проверке лицензионного ключа.
- Увеличено максимально возможное значение параметра «Таймаут запроса» до 3600 секунд.
- Виртуальный Robots.txt стал индивидуальным для каждого сайта.
- Исправлена некорректная работа фильтра «Страницы с версиями HTTP / HTTPS» вкладки «Статистика SEO».
- Исправлена работа Google PageSpeed в части отображения параметров (при этом из-за бага PageSpeed для некоторых сайтов он все также не отображается).
Перспективы и планы развития
В следующих версиях мы планируем добавить интеграцию SiteAnalyzer с системами аналитики Яндекс, Google и Ahrefs, добавить возможность полноценного рендеринга сайтов на Javascript, сделать работу программы более стабильной, а также добавить множество других полезных дополнений.
Сайт проекта: site-analyzer.ru
Будем рады любым замечаниям и предложениям по работе и развитию функционала программы.
Отслеживайте все обновления программы SiteAnalyzer на нашем Телеграм-канале! https://t.me/siteanalyzer
До новых встреч!
Аналитика — важный инструмент, на основе которого необходимо принимать решения в маркетинге и бизнесе. Какие показатели отслеживать? Как найти проблемные места? Как понять, что сайт коммерчески успешен? Это и многое другое обсудим в статье.
Всем привет! Меня зовут Алексей Севостьянов, я генеральный директор в «Скобеев и Партнеры». Подготовил дайджест за ноябрь и декабрь по новостям в мире SEO. Дайджест выходит с задержкой, декабрь был жарким.
Узнайте за 9 минут все основные практические SEO-фишки, агрегированные из десятков Telegram-каналов и видеороликов, вышедших в ноябре и декабре 2024 года.
Эти ужасные презентации уже просто везде! Грамотные спикеры и эксперты в своем деле дотошно оттачивают свое выступление, но совершенно забивают на презентации! Их просто не возможно смотреть ‒ мелкий шрифт и текст, который превращается в кашу, нейросетевые фотографии с шестипалыми персонажами...
Рассказываем, как мы в Ant-Team.ru разработали уникальный инструмент для автоматизации продвижения и аналитики событийных страниц для беттинг-компании и теперь тратим минуты, а не часы на работу с посадочными и выводом их в топ.
Продолжаю разработку своих проектов и сегодня хочу чуть подробнее рассказать про один их них.
На рынке недвижимости работают специалисты, выполняющие различные функции. Среди них выделяются брокеры по недвижимости, инвестициям и ипотеке. Часто термины «брокер» и «риэлтор» воспринимаются как синонимы, однако между ними существуют важные различия. В этой статье эксперты компании WEWALL разъяснят, чем отличается работа брокеров разных направле…
Цена на такой полезный инструмент для SEOшника, как Ahrefs улетела в небеса. В последнее время всё больше использую заменитель в виде SEMrush. По качеству оценки и полноте информации, на мой взгляд, он практически не уступает первому, но намного дешевле.