Словом и делом. Как мы в 15 раз увеличили показы для электронной библиотеки словарей

Привет! Меня зовут Андрей Баранов, я — SEO-тимлид в агентстве поискового маркетинга Rush Agency. Почти 2 года мы продвигаем электронную библиотеку словарей. Сайт важного социального проекта плохо индексировался в поисковых системах из-за низкой уникальности контента.

Читайте, как мы обошли ограничения и увеличили показы в органическом поиске в 15 раз, трафик из Яндекса — в 6,5 раз и из Google — в 27 раз. И все это при ограниченных ресурсах.

О проекте и его миссии

Проект slovaronline.com развивается с 2010 года. Сервис представляет собой базу словарей разных типов ‒ энциклопедических, лингвистических, переводных, а также тематических, посвященных отдельным сферам или наукам: IT, строительство, химия, юриспруденция, финансы.

Проект ориентирован на русскоязычную аудиторию в России и странах СНГ ‒ школьников, студентов, переводчиков, специалистов разных отраслей. На сайте они могут уточнить значение слов и терминов, расширить свой словарный запас, найти полезную и интересную информацию.

За 11 лет количество словарей доступных на сайте выросло с 50 до 1800, а общее число слов и терминов ‒ с 1 млн до 20 миллионов. Сегодня сайт содержит одну из самых больших баз контента в СНГ в своем сегменте.

Почему клиент делегировал SEO

Павел Ковальчук, клиент и основатель SLOVARonline, создал сервис и развивал его в течение 9 лет. Программист по профессии, он изучал SEO и пробовал разные методы продвижения: регистрацию в каталогах, покупку ссылок, внутреннюю оптимизацию. Эти меры давали эффект, но гораздо меньший, чем у сайтов-конкурентов. Посещаемость сервиса была в десятки раз ниже, чем у других агрегаторов словарей, хотя те содержали меньше контента.

В связи с ограниченным опытом в SEO было сделано много ошибок, о которых стало известно только со временем. А из-за нехватки ресурсов и времени заказчик решил делегировать продвижение.

Я создал сайт, чтобы делиться с людьми полезной информацией для учебы, работы и расширения кругозора. Хотел найти подрядчика, которому эти ценности были бы так же близки, как и мне. На Youtube-канале «Люди PRO» увидел выступление СЕО Rush Agency Олега Шестакова.

Мне откликнулись его слова о развитии, экспериментах и удовольствии от работы. Поэтому Rush Agency стало первым и единственным агентством, куда я обратился. На пресейле попросил проанализировать потенциал продукта. Специалисты подтвердили мое видение.

Павел Ковальчук, основатель сервиса SLOVARonline

Какие задачи перед нами поставили

Глобальная цель клиента ‒ создать самый удобный русскоязычный сервис онлайн-словарей в мире. Но для этого нужно попасть на вершину поисковых систем. На старте работ в декабре 2019 года трафик на сайт составлял 150-200 тыс. визитов в месяц, в топ-50 попали около 50 тыс. запросов, в топ-10 ‒ 20-25 тысяч. Более высоких позиций практически не было, в то время как у других крупных сервисов ‒ миллионные показатели:

Сначала клиент хотел выйти в топ-10 по всем целевым запросам. Но это было недостижимо из-за ограниченных ресурсов и наличия сильных конкурентов типа Википедии.

В диалоге мы сформулировали приоритетные задачи:

  • Повысить целевую посещаемость сайта из Яндекс и Google.
  • Увеличить количество страниц, проиндексированных поисковыми системами.
  • Посмотреть, что делают конкуренты, и внедрить наиболее удачные решения.
  • Определить наилучшую для продвижения структуру сайта.

Что усложняло работы

У проекта своя специфика, поэтому стандартных работ было недостаточно для продвижения. Приходилось учитывать трудности и ограничения.

1. Неуникальность контента. Сервис словарей по типу относится к контентным агрегаторам. Большая часть контента на сайте не уникальна и дублируется на других сайтах, что не нравится поисковым системам. У них возникают сомнения в достоверности информации, из-за чего сайт могут понизить в результатах выдачи. Особенно высокие требования к структуре и качеству контента у Google. Нужно было сделать так, чтобы поисковик посчитал сервис авторитетным.

2. Сложная структура сайта. Она включала как основной домен, где собирается вся информация (slovaronline.com), так и большое количество поддоменов, например:

  • для отдельных словарей (pr.slovaronline.com),
  • для описания слов (pr.slovaronline.com/2-AIDA),
  • для разных версий одного слова.

Предстояло найти эффективные способы категоризации контента.

3. Ограничения по срокам и бюджету. Некоммерческий проект не приносил таких доходов, чтобы можно было нанять несколько программистов. Все доработки внедрял сам клиент в свободное от основной работы время.

Какие решения мы нашли и реализовали

При аудите сайта мы обнаружили, что:

  • многие страницы не индексируются,
  • плохо работает внутренняя перелинковка,
  • есть технические ошибки и семантические дубли страниц.

Чтобы решить эти проблемы и увеличить трафик, мы внедрили ряд изменений.

Улучшили индексацию страниц

Чтобы позиции сайта росли, большинство страниц должны сначала попасть в индекс поисковых систем, а уже потом начать ранжироваться. Для этого мы применили несколько приемов:

Структурировали массив всех страниц сайта, чтобы сделать их более заметными для поисковых роботов. Для каждой страницы мы создали отдельную папку со своим уникальным кодом в адресе вида /browse/16-ричный код, например https://slovaronline.com/browse/76bb999b-9c10-3fb9-89e7-5646fbb96ce2/abasia.

Это увеличило так называемый краулинговый бюджет ‒ лимит, который поисковики выделяют на индексацию сайта. Логика простая: больше папок ‒ поисковый робот за день просканирует больше страниц ‒ они попадут в индекс.

Настроили xml- и txt-карты сайта. Первый формат ‒ специальный: в таких файлах можно задать приоритет и частоту обновления страниц. Формат txt более простой, чем xml: это дополнительный сигнал поисковикам о наличии новых страниц.

Создали html-хабовые страницы, которые содержат ссылки на разделы и используются для навигации по сайту. Мы разработали их не только по отдельным буквам (А), но и по сочетаниям букв (АБ), а внизу сделали пагинацию ‒ номера страниц для ускорения поиска. Это помогло поисковикам быстрее находить нужные страницы.

Удобный поиск ценят не только пользователи, но и поисковые системы

Настроили поиск слов по маске ‒ формуле, в которой известна длина слова и расположение некоторых букв. Например, для запроса «слова из 6 букв, содержащие в середине сочетание ОВ» будет маска «**ов**». Пользователи получают более точные ответы. Искать слова становится удобнее, это способствует привлечению трафика на сайт.

Разработали ловца ботов ‒ специальную программу. Она автоматически расставляет на страницах, уже получающих трафик, ссылки на другие страницы, которые еще не индексируются. Поисковые роботы быстрее замечают их и добавляют в индекс. Как только страница начинает тоже получать трафик, ловец ботов заменяет ссылку на новую.

Все эти меры помогли значительно увеличить количество проиндексированных страниц. Уже с февраля 2020 года, второго месяца работы по проекту, в индекс начали попадать по 200-300 тыс. страниц в день. Это продолжалось в течение двух месяцев до апреля, пока не проиндексировалась большая часть сайта.

С апреля 2020 года большая часть страниц попала в индекс. Поэтому пик пропадает и индексируется по 5-20 тыс. страниц в день.

Повысили среднюю позицию в поиске

После попадания страниц в индекс нужно было повысить среднюю позицию сайта в поиске. Для этого мы использовали продвижение за счет ссылочных и поведенческих факторов:

  • Увеличили скорость загрузки сайта. Сейчас она близка к идеальной ‒ сервис очень быстро грузится и отдает контент.
  • Построили качественное ссылочное окружение. Мы вручную размещали ссылки на тематических площадках с упоминанием сайта slovaronline.com, а также закупали на биржах и бесплатных сервисах.

Органический трафик на сайт начал расти.

Собрали семантику

Делать это для миллионов страниц было бы очень долго и трудоемко. Мы пошли другим путем:

  • Проанализировали семантику конкурентов.
  • Оценили, как ранжируются разные типы страниц. Если требовалось улучшение ‒ проводили базовые работы: убирали из описания одни ключевые слова и добавляли другие.
  • Собрали семантику отдельно для каждого словаря в базе. По запросам типа «словарь синонимов», «толковый словарь», «словарь онлайн» ранжируются страницы поддоменов.
  • Динамику роста позиций отслеживали по выборке из 10 тысяч запросов.

В результате только в Google на каждом поддомене количество запросов с 40-50 тыс. за год выросло до 150 тысяч.

Удалили и скрыли мат, чтобы понравиться Google

В Яндексе наша стратегия сработала полностью: уже за первый месяц проиндексировалось 8 млн страниц. В Google ‒ частично: поисковик добавил страницы в свою индексную базу, но счел недостаточно качественными и не стал ранжировать.

Завоевание благосклонности Google потребовало бы от нас переработки всех страниц, на что мы не готовы были пойти из-за бюджета. Поэтому сосредоточились на том, что можно сделать сразу.

В базе были словари мата и блатного жаргона. Еще такие слова в небольших количествах встречались в разных словарях. Мат приносил до 10% трафика. Однако у нас возникла гипотеза, что из-за этого Google мог поставить на сайт маркировку 18+, а это влияет и на ранжирование в целом.

Мы решили не показывать поисковику обсценную и жаргонную лексику. С основного сайта ее удалили, оставив только на поддоменах со специализированными «ругательными» словарями. Для этих поддоменов и страниц, где мат все-таки остался, разрабатываем еще два инструмента:

  • заглушки на JavaScript, которые будут скрывать запретные слова от поисковиков, но показывать пользователям,
  • скрипты, чтобы посетители подтверждали возраст старше 18 лет.

Какие результаты получили

В 3-4 раза увеличился трафик из поисковых систем. Если в конце 2019 года средняя посещаемость составляла 200-300 тыс. визитов в месяц, то к концу 2020-го увеличилась до 650-750 тысяч. Трафик зависит от сезона: летом число переходов на сайт падает, а с сентября вновь растет. Но положительная динамика сохраняется.

В 15 раз выросло количество показов сайта в органическом поиске Яндекса: от 2,8 млн в декабре 2019 года до 30 млн год спустя.

В 6 раз увеличился трафик из Яндекса: с 70 до 420 тыс. визитов. Динамика в Google скромнее в абсолютном значении ‒ с 2 до 54 тысяч. Но в относительном выражении это рост в 27 раз!

Выросли позиции сайта: в топ-50 попало до 500 тыс. запросов, в топ-10 ‒ до 150 тысяч. По 25 тысячам ключевых фраз сайт вышел в топ-5, по нескольким тысячам ‒ в топ-1 и топ-3.

Мой проект уникален и требует нестандартных подходов. В Rush Agency работают профессионалы с большим опытом, которые находят лучшие решения. Мы вместе делаем проект, специалисты сами выходят с предложениями.

Когда я работал один, часто не хватало опыта. А здесь я получил доступ к знаниям целой команды. Это экономит время и дает ощущение партнерства. Я доволен динамикой роста показателей и работаю над следующими задачами.

Павел Ковальчук, основатель сервиса SLOVARonline

Что не сделали из-за дефицита ресурсов

Часть работ не выполнили из-за ограничений по бюджету, времени и трудозатратам. Что не получилось сделать:

  • Провести полную техническую оптимизацию сайта, в том числе чистку дублей и плохих страниц.
  • Улучшить качество контента. Большие объемы данных собирались из разных источников, поэтому многие страницы не структурированы: нет заголовков, подзаголовков, выделенных блоков текста, картинок и видео. Где-то есть масса лишних знаков или нет пробелов. На следующих этапах надо оптимизировать структуру страниц: это должно понравиться Google и кратно увеличить трафик из поисковой системы.
  • Продолжить внутреннюю перелинковку и увеличить ссылочную массу. В проекте не такие бюджеты, чтобы быстро нарастить объем ссылок. Можно было сразу купить дропы (домены с хорошей историей, у которых закончился срок регистрации) для создания сайтов-сателлитов. Это позволило бы получить несколько сотен тысяч ссылок в месяц за меньшие деньги. Возможно, займемся этим позже.
  • Разработать дополнительные сервисы для удобства пользователей. Они позволят быстрее и проще находить нужную информацию и организовать совместную работу посетителей сайта.
  • Локализовать сайт под разные языки для привлечения иноязычной аудитории.

Если реализовать хотя бы первые три вида работ, трафик на сайт может вырасти еще в несколько раз до 2-3 млн визитов в месяц.

P. S. Пока готовили кейс, уже запустили блог и пишем туда уникальные статьи на регулярной основе.

Чек-лист: как продвигать сайты с неуникальным контентом

  1. Один из главных факторов ‒ качество страниц и их индексация. Некачественные страницы не будут ранжироваться и даже индексироваться.
  2. После индексации можно поднимать сайт в топ с помощью внутренней перелинковки и улучшения поведенческих факторов. Чтобы не тратить большие бюджеты на закупку ссылок, лучше продвигать агрегаторы за счет дроп-доменов и создания из них pbn-сетей, добавления ссылок на крупные внешние площадки.
  3. Стоит проработать шаблонные мета-теги: это поможет сэкономить время и быстро оптимизировать большое количество страниц.

Если вам интересна тема SEO, подписывайтесь на наш телеграм-канал — там мы рассказываем о лайфхаках от наших лучших экспертов.

И приходите на консультацию по оценке потенциала сайта — найдем причины падения трафика и позиций, рассмотрим точки роста. Захотите продолжить — предложим лучшее решение по поисковому маркетингу.

0
23 комментария
Написать комментарий...
Сергей Горохов

О, ловец ботов крутая тема. Насколько трудоемким был процесс внедрения, как часто обновляли привязку не проиндексированных url к страницам и как массово проверяли индексацию?

Ответить
Развернуть ветку
Andrey Baranov

Клиент сам внедрял, но процесс достаточно трудоемкий.
В ТЗ мы планировали брать api Rush Analyrics, но выходило для такого объема достаточно дорого и мы решили сократить и посмотреть, что выйдет.
Сделали некий упрощенный вариант - мы собираем статистику по всем переходам и понимаем сколько раз мы показали блок ПС и сколько раз бот перешел на эту страницу. В этих блоках мы показываем все страницы, где не было показов/переходов. Все заточено для того что бы загнать робота на те страницы которые он не видел. 
Этого оказалось достаточно.

Ответить
Развернуть ветку
Vladimir Butov

Надеюсь на вц комменты с матом в отдельную вкладку не закинут

Ответить
Развернуть ветку
Rustem Nizamutinov

Спасибо! Как и всегда у вас получился классный кейс. 

Подскажите, пожалуйста, как у вас устроен этот процесс: «Мы вручную размещали ссылки на тематических площадках с упоминанием сайта slovaronline.com».

Как и где ищете тематические площадки для ручного размещения ссылок?

Рентабельно использовать ручное размещение ссылок в Рунете?

Ответить
Развернуть ветку
Andrey Baranov

1. В нашем инструменте топ-10 по ключам выбираем тематические порталы и уже метчим с тем, что есть у нас. Остальных проверяем и пишем, если это актуально.
2. Идем по конкурентам. Смотрим ахрефс по приросту ссылок, по лучшим посадочным и смотрим где нас нет, а хотелось бы.
3. Частично закупаем на биржах :)

Очень сложно понять рентабельность на проекте, которые ничего не продает, скорее нет. Но с точки зрения времени оптимизатора, там есть зазор из-за частичной автоматизации.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Rush Agency
Автор

Илья, а как одно другому противоречит? Проект социально значимый, потому что владелец не ставит своей целью заработать на нем. Монетизация — способ частично отбить затраты на хостинг и нашу работу, но о самоокупаемости, насколько мы можем судить, вообще речи не идёт.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Максим Кульгин

А сколько Гугл стал брать в сутки страниц ? Яндекс всегда берет много

Ответить
Развернуть ветку
Andrey Baranov

гугл взял мало страниц, к сожалению. У нас есть еще блок работ, который на это направлен. 
Примерно в этот же интервал он добавил около 8 млн страниц, но потом оставил около 20% в индексе.

Ответить
Развернуть ветку
Максим Кульгин

А в сутки сколько ? У нас рекорд 150к в сутки в гугле. Но это всплески обычно 20к. А у вас на этом проекте ?

Ответить
Развернуть ветку
Антон Смуров

Какова вилка цен на вашу работу с подобным сайтом?

Ответить
Развернуть ветку
Rush Agency
Автор

Здравствуйте! У нас нет прайса, каждый проект оценивается индивидуально. Если есть задача, напишите нам на почту — [email protected], все обсудим и посчитаем.

Ответить
Развернуть ветку
Alexey

Статью плюсанул, база словарей полезная, но функционал нулевой, пользоваться невозможно нормально. Если авторы проекта заинтересованы в данном вопросе, то готов дать более аргументированный фидбэк, как человек, которому часто нужно работать с разными словарями)

Ответить
Развернуть ветку
Andrey Baranov

Уверен, что ваш фидбек будет очень полезен. Можно написать мне [email protected] или автору на почту в контактах сайта.

Ответить
Развернуть ветку
Сергей Игоревич

"заглушки на JavaScript, которые будут скрывать запретные слова от поисковиков, но показывать пользователям"

И гугл за такое даже не будет ругаться, если найдёт?

Ответить
Развернуть ветку
Andrey Baranov

Смотря как сделать. :)

Ответить
Развернуть ветку
Michael

1)
Для каждой страницы мы создали отдельную папку со своим уникальным кодом в адресе вида /browse/16-ричный код

Не понятно причём тут код вообще? Почему не сделать обычные ЧПУ?

2)
Первый формат ‒ специальный: в таких файлах можно задать приоритет и частоту обновления страниц.

Это игнорируется Гуглом. В справке чёрным по белому написано. 

Ответить
Развернуть ветку
Andrey Baranov

1. Можно сделать и обычные ЧПУ. Попробуйте оба варианта на больших сайтах. 
2. У нас не только Гугл.

Ответить
Развернуть ветку
Michael

1. Зачем мне пробовать этот непонятный метод, когда есть проверенный? Про ЧПУ написано в справках. 
2. Ок. В Яндексе это заявлено. Но куда логичнее настроить заголовок Last-Modified который работает а) для всех ПС б) не тратит бюджет на переобход старых страниц.

Ответить
Развернуть ветку
closclos

Добрый день. Подскажите по поводу: "Логика простая: больше папок ‒ поисковый робот за день просканирует больше страниц ‒ они попадут в индекс."

Добавление подпапки в URL влияет на краулинговый бюджет? 

Кстати, есть проект https://cyberleninka.ru/. У них, по факту, весь контент не уникален (распарсены диссертации, патенты и т.п.). Очень хорошо ранжировались. 

Ответить
Развернуть ветку
Дмитрий Кузнецов

Добрый день. Спасибо за статью! Подскажите, что вы имели ввиду по TXT-картой сайта? Знаю про XML и HTML.

Ответить
Развернуть ветку
Чайка О.

sitemap.txt

Ответить
Развернуть ветку
20 комментариев
Раскрывать всегда