Всем привет! Меня зовут Вячеслав Вареня. Я Google News product expert и автор телеграм канала SEO Inside.
Я и мои коллеги по CyberLab специализируемся на оптимизации новостных сайтов.
В этой статье я хотел бы поделиться одним из наших кейсов по оптимизации сайтов под Google Discover.
Предыстория
В начале 2021 года к нам обратился c просьбой об аудите ключевых сайтов один из старейших и самых известных медиа холдингов Украины (название под NDA).
Заказчик попросил провести аудит сразу четырех их новостных сайтов.
Сразу скажу, что работа с холдингами – это всегда сильная бюрократия. Мы столкнулись с тем, что «левая рука» холдинга не хотела внедрять то, что хотела внедрить «правая рука».
По итогу нам пришлось выделить Заказчику одного из наших сотрудников для сопровождения и ускорения внедрения наших рекомендаций.
Что было сделано:
- Проведен аудит сайта на соответствие требованиям Google News.
- Проведен анализ аудитории Discover, ее интересов, анализ контента.
- Проведен технический аудит сайта.
- Проведен аудит ссылочного профиля.
Используемые инструменты (софт):
- Google Search Console, Google Analytics, Google Publisher
- Semrush (Технический аудит, аудит ссылочного профиля, трафика, анализ конкурентов)
- Majestic (Аудит ссылочного профиля)
- Ahrefs (Аудит ссылочного профиля)
- Netpeak Spider (Технический аудит, получение данных о дате публикации и авторах)
- JetOctopus (Технический аудит)
- Собственный фреймворк, использующий ИИ.
Используемые технологии:
- Data Mining и Text Mining.
- Machine Learning.
- Natural Language Understanding.
- Text Summarization.
Небольшой апдейт с учетом комментариев :)
Безусловно, я не могу раскрыть всю методологию, но поясню как использовались некоторые технологии.
Использование Data Mining позволило анализировать данные сразу в пяти разрезах. В результате были выявлены неявные на первый взгляд зависимости показателей.
Text Mining использовался для анализа интересов аудитории из Google Discover. На основе различных текстовых данных, в том числе полученных при помощи Text Summarization, формировалось «Облако слов», в котором каждое из слов имело свою частоту употребления.
Machine Learning. На основе специально подготовленного набора данных используя машинное обучение была создана модель, обеспечивающая 90% точность для идентификации кликбейта в Title. Модель работает пока только с русским языком. При разработке модели использовался алгоритм, основанный на моделях дерева решений CART Лео Бреймана.
Natural Language Understanding – это технология, разработанная IBM для целей понимания и интерпретации естественного языка, в том числе распознавание сущностей.
Что такое SEO на основе сущностей? Поисковая оптимизация на основе сущностей использует контекст, а не только слова или фразы, чтобы помочь людям найти то, что они ищут. Ключевые слова — важная часть любой SEO-стратегии, но они не всегда говорят вам все о том, как люди ищут информацию.
SEO на основе сущностей, или EBS, — это метод повышения релевантности и точности контента вашего веб-сайта. EBS использует контекстные данные для определения наиболее релевантного контента для данного запроса, а не использует только ключевые слова из этого запроса.
Заказчик на основе полученных от нас данных о сущностях и контексте создавал и создает более релевантный для интересов его аудитории из Google Discover контент, что помогает привлекать больше посетителей из этого канала.
Результат
В итоге заказчик получил отчет на 49 листах с массой полезной информации и рекомендаций.
Были выявлены критические ошибки, определены точки роста. Предложен комплекс мероприятий по улучшению качества контента.
Под нашим надзором были внедрены почти все наши рекомендации. Внедрение заняло определенное время, но результат внушает оптимизм.
Рис.1
Как видно на Рис.2, сейчас сайт Заказчика наравне конкурирует с одним из самых известных в Украине сайтов, который традиционно имеет много трафика из Discover.
Рис.2
Послесловие
В 90% процентах случаев у наших клиентов при таком подходе восстанавливался и рос трафик из Discover. В остальных случаях заказчик либо не внедрял наши рекомендации, либо внедрял их довольно выборочно.
Сразу хочу сказать, что внедрение только контентных или только технических рекомендаций редко дает результат, нужен именно такой комплекс, как указано выше.
Если бы мы не использовали в своей работе ИИ, наверное, сложно было бы добиться такого результата. Нам для анализа контента пришлось разработать и создать собственные инструменты.
Отзыв одного из клиентов
P.S. Кстати, если кому нужен аудит для Google News и Discover, обращайтесь.
Качественная пурга. В апреле внедрили, но "сработало" оно только в ноябре. Только вот, в чем фишка... В ноябре был шикарнейший GCU - ап, который вызвал: перераспределение трафика из Гугл.Поиска, Гугл.Новостей и Гугл.Дисковера. По сути крутым получателям обрезали траф, и отдали его бОльшему числу сайтов. Ну конечно же это все ИИ от автора статьи ))) Да-да.
У меня непонятки начались еще на моменте, что контора обратились вроде как за аудитом сайтов, а потом оказывается что им еще и специалиста выделил для внедрения. Аудит и внедрение вроде как 2 разные услуги?!
Сделал аудит, отдал клиенту, получил деньги и хер с ним, как говорится. Будет он это внедрять или нет, это его лично дело, но как правило никто ничего не внедряет
Да, обратилась, потому что возник внутренний конфликт между их департаментами и они решили привлечь нашего человека (независимого) для руководства внедрением. Если бы не привлекли, то как вы правильно написали, внедряли бы до сих пор. Нам же важен результат и потому мы и после аудита помогаем нашим клиентам. Можно было конечно отдать отчет и забыть, но это не наш метод.
Сказали а), но до б) не дошли.
Если обобщить:
намекнули, что использовали какие-то наработки в ML в сфере NLP - но какие именно? В чём? Что это дало? Почему не классический текстовый анализ? Что подразумевал ваш text mining? На практике чаще всего оказывается, что все попытки внедрять ИИ в рамках SEO - либо пшик и громкие слова, либо по факту результаты более невнятные и слабые, чем при тупейшем парсинге какого-то топового корпуса с дальнейшим расчленением с помощью tf*idf и какого-нито Ципфа замшелого. Зато - "у нас своя нейронка".
Запилите нормальный кейсик - больше данных, больше подробностей. Тема-то хорошая, подача отстаёт.
Спасибо за комментарий. Я внес изменения в статью :)
Так а всё таки: свои разработки или доступные сервисы?
Под бурж и Гугл много чего хорошего уже есть, интересно было бы понять - есть ли смысл пилить собственные инструменты или достаточно того, что есть в паблике.
Тема, я так понимаю, будет только набирать обороты и популярность, и сильно поделит рынок SEO-услуг в перспективе.
В статье написано: "Собственный фреймворк, использующий ИИ." Т.е. используются и общедоступные инструменты и инхаус. Дело в том, что я не нашел в паблике нужные мне инструменты для отдельных задач. Пришлось создавать свои.
Интересная статья)
Очень поверхностная статья :( В самом начале нужно было сразу написать "публикуется на правах рекламы"
Вячеслав, спасибо за материал. Есть вопросы.
Правильно ли понял, что кликбейтные тайтлы отлично отработали для Дискавери?
Правильно ли понял, что вы проанализировали статьи, которые хорошо собирали трафик в Дискавери и составили частотный словарь слов из их контента? Затем дали рекомендацию клиенту, ориентироваться на эти слова при написании новых статей?
Добрый день, Дмитрий. Спасибо за вопросы.
1) Да, кликбейт - средство манипуляции с трафиком из Дискавер. В нашем случае, если вы о этом кейсе, здесь успех достигнут не за счет кликбейта, а за счет общего улучшения качества сайта и в очень большой степени качества контента. А что касается кликбейта, мы не рекомендуем его использовать, потому что придет время и можно больно получить по рукам.
2) Не совсем так. Мы при помощи этих инструментов и этой информации сначала определили тематики интересов, а затем "Объекты интересов" (сущности). Правильное использование нужных сущностей в нужных тематиках и контексте дает результат.
1. Что есть улучшение качества контента? В моём понимании говно-контент это когда делают рерайт с других сайтов, а качественный, когда новости являются первоисточником и их пишут свои журналисты. А что в данном случае?
2. Мне кажется Вы очень сильно преувеличиваете значимость интересов. Я конечно понимаю, что для некого крутого холдинга такая подача является очень достойной, чтобы они понимали за что отвалили кучу денег за анализ, но давайте взглянем на ситуацию проще. Сколько новостных сайтов отображается в Дискавери? Сколько из них заморачивается над такими анализами? Я думаю никто не парится, вообще. Вот сейчас листаю ленту Дискавери и вижу новости от инфопомойки CitySites, в данном случае сайт 048.ua, которые тупо рерайтят чужой контент. Но в целом, думаю даже авторитетные ixbt, хабр, оверклокерс, ферра, 3dnews, 4pda не занимаются всем этим ИИ анализом, они просто пишут, а в ленте они потому что просто имеют траст у гугла
Дело не в рерайтах и не в журналистах. Важна релевантность с точки зрения ПС. Вы, как минимум, должны понимать, что должно быть в тексте. И не на уровне инсайтов желательно, а на конкретных данных.
Вот об этом и речь. Если структура вашего текста содержит меньшее количество поисковых сущностей, составляющих ожидаемый ПС семантический граф - то на текстовой релевантности вверх вы уже не поедете.
Вот для того и используются ML, NLP и т.п. В бурже под английский язык таких инструментов уже хватает, и это работает. В кириллическом сегменте до сих пор считают вхождения ключей.
Вполне очевидно, что кол-во этих сущностей в каждой статье/новости своё.
Вы предлагаете перед тем как писать новость/статью сперва проводить исследование через нейронку, под каждую отдельную статью?
Это же сколько дополнительной работы нужно совершить.
Это неплохой способ скорректировать общую редакционную политику и требования к контенту. Я лично с новостниками не работал, но аналогичный опыт с онлайн-журналами - был. Вот только "нейронки" у меня не было. Результаты были хорошие, но такой подход (без использования ИИ и автоматической обработки данных) - это слишком долго и дорого. Для ресурса же, монетизирующегося только рекламой - и вовсе неподъёмно.
И тошноту еще считают :)
Вы правы в том, что не заморачиваются. Но ровно до того момента пока не узнают что это.
а зачем им это? они ведь итак есть в ленте :)
Мне кажется экперимент/кейс нельзя считать чистым и однозначно утверждать, что глубокое исследование сущностей и рекомендации как писать контент повлияли на результат, потому что как Вы сами пишите
- Проведен аудит сайта на соответствие требованиям Google News.
- Проведен анализ аудитории Discover, ее интересов, анализ контента.
- Проведен технический аудит сайта.
- Проведен аудит ссылочного профиля.
Если бы Вы не внедряли правки по технической, ссылочный, и требованиям Google News, а только лишь изменили формат написания контента, на базе анализа сущностей, тогда да, а так было проделано еще куча другой работы. Никто ведь исходного сайта не видит, может там был редкий УГ.