Решение как не запороть результаты SEO продвижения

Привет! Я Артём Кожемин, мне 29 и уже 5 лет являюсь директором SEO-компании «Топхет». Заинтересовался SEO около 10 лет назад, устроился помощником оптимизатора в трафиковый отдел Корпорации РБС (bdbd.ru, оно же в последствии Кокос.ком). Благодаря хорошим напарникам втянулся и вырос до ведения премиум-проектов с бюджетом 590 тыс рублей в месяц (по ценам 2013 года). У меня в семье считается, что работать и приносить пользу – это не стыдно и даже хорошо, а мне хотелось развития и более комфортных условий труда. Так в 2015 году мы с друзьями открыли свою компанию с целью показать, что SEO может быть прозрачным и результативным, а сеошники могут работать с комфортом, давать результат и получать достойный доход.

Мы начали с 10 сайтов друзей и знакомых. Все файлы с запросами и заголовками хранили на Яндекс.Диске. Позиции снимали в Топвизоре. Никакой автоматизации не было. Когда база сайтов стала расти, нагрузка стала увеличиваться быстрее чем предполагали. Стали возникать ошибки в версиях файлов, появилась потребность в регулярных отчетах, возникли сложности в контроле работы.

Я понял, что нужен онлайн сервис для контроля оптимизации сайтов. В моих мечтах были приятные мысли об интеграции с Яндекс.Метрикой, Яндек.Вебмастером и Топвизор по API.В 2015 году не нашли готовый сервис и решили разработать свой на Фреймворке Yii с главным программистом тогда ещё существовавшего Мортон и одновременно моим братом Егором Кожеминым.

Начали с возможности загрузки в формате:продвигаемая страница, заголовки Title и H1 этой страницы, запросы

С самого начала я планировал развивать сервис, чтобы он помогал в рутинных задачах и сигнализировал о проблемах быстрее, чем они вызывали падение трафика. В процессе работы с первой версией мы определили сценарии, в которых сервис пока был бесполезен:- Кто-то удалил несколько продвигаемых страниц- Слетели заголовки Title, H1- В файле robots.txt появились правила, которые закрыли важные страницы- На продвигаемой странице появился 301 редирект- Проверка наличия продвигаемой страницы в индексе

Пока писали этот функционал, возникли новые идеи и пару раз столкнулись с необходимостью корректировать код из-за изменения API сервисов.

Создание сервиса оказалось не таким простым. У нас отдельный сервер за 1500 рублей в месяц. Доработки из-за смены API я как-то не предполагал, но сейчас уже понимаю, что без этого не обойтись.

Еще функции которые были нужны в работе:- Анализ динамики запросов- Соответствие продвигаемой и релевантной страницы на поиске- Частотность запросов- Отчеты по позициям для клиентов- Наличие canonical на продвигаемых страницах- Быстрое добавление и исключение данных

- При изменении заголовков подсветка того, что именно изменилось

Ещё проблема - клиенты периодически затирают оптимизацию, роботс, еще что-то. Такие изменения на стороне клиента происходят регулярно, чаще всего случайно, но есть ощущение, что некоторые проекты прям заколдованы.Пример:- В админ панели произошла генерация заголовков- В системе 1C деактивировались категории при обновлении- Обновили сайт с версией robots.txt, в которой закрыт весь сайт от индексации- Программист клиента выполнил изменения, которые случайно отключили часть страниц- Обновили заголовки H1, которые сгенерировали новые адреса страниц- Изменили настройки на уровне сервера и заблокировали поисковых роботов

- В индекс попал тестовый сайти т.д.

На старте моей деятельности в SEO считалось как бы нормальным определить наличие проблемы когда позиции уже слетели, но когда у тебя новая компания без особых бюджетов на рекламу, такое себе позволить просто нельзя, поэтому был нужен мониторинг наличия оптимизации. Причём обходить сайты наш робот должен ежедневно, а результат должен ждать оптимизатора проекта утром в почте.

Мы научили сервис провеять заголовки, ответы сервера, robots.txt, соответствие продвигаемой и релевантной страниц, позиции запросов, наличие canonical, частотность запросов, отчеты, изменения в заголовках, наличие страниц в индексе, быстрому добавлению и исключению данных.

Система контроля файла robots.txt отображает что добавилось в файл и что удалили:

Вид отчета по позициям:

Сервис стал сокращать время на контроль проектов и повысил качество работы.

Обычно мы берём в работу все запросы тематики, их может быть несколько тысяч, и работе находится 150-300 продвигаемых страниц по каждому сайту. Для анализа страниц потребовалась более детальная информация из Яндекс.Метрики и Яндекс.Вебмастер по каждой странице. Добавили данные:- Дата версии страницы в поиске- Кол-во внешних ссылок/доменов- Переходы из поискa за последние 3 месяца- Просмотры страницы за последние 3 месяца

- Среднее время на странице за 3 месяца- Средний процент отказов за 3 месяца

Это помогает вот в таких ситуациях:

- Поисковые системы исключили часть страниц по причине низкого качества контента или по причине очень похожего контента

- У продвигаемых страниц изменилась релевантная- Произошло изменение алгоритмов ранжирования- Поисковые изменили региональность сайтаи т.д.

Понятно, что в SEO важно держать руку на пульсе, анализировать состояние оптимизации и позиции. Благодаря SEO-сервису мы узнаём, когда слетела оптимизация, и можем быстро находить причину снижения позиций. Дальше остаётся только среагировать на изменения, и в результате мы оперативно проводим работы по исправлению ситуации.

Это позволяет годами работать с крупными требовательными клиентами. Тут тоже бывают интересные ситуации. Если статья получит реакцию, я расскажу ещё.

А как вы мониторите состояние продвигаемых страниц?