RAG для SEO: работаем с нейросетями без дураков

Если вас уже тошнит от сгенерированных chatGPT текстов про то, как генерировать тексты в chatGPT для никого – это не повод отказываться от использования нейросетей для SEO. В этой статье разберем более здравый подход к работе с контентом с помощью LLM (больших языковых моделей): RAG, генерацию с расширенным поиском.

Фактически, для частного лица или малого/среднего бизнеса ни о каком реальном дообучении LLM и речи быть не может. Рассмотрим концепцию использования RAG для SEO более подробно.

Для любого серьезного применения LLM без модификаций будут плохо работать с любой контекстно-зависимой задачей. Устранить эту проблему можно с помощью RAG.

RAG (Retrieval Augmented Generation) — генерация с расширенным поиском, сочетающая метод использования больших языковых моделей с моделями, основанными на поиске в сторонних данных, связанных с запросом (промптом). Это позволяет языковой модели генерировать более точные и конкретные ответы, поскольку она имеет доступ к актуальному релевантному контексту.

Примеры RAG: SGE, Bard, Perplexity AI. Эти модели используют данные из поискового индекса, и это само по себе – проблема. Я не предлагаю использовать их: идея – собственные базы данных на вход, в соответствии с тематикой и проектом.

Проще говоря, вы добавляете к используемой языковой модели ещё один источник данных, из которого LLM может извлечь недостающую информацию. Работает это как обычная поисковая система: вы задаёте какой-то корпус данных, модель индексирует их, а когда потребуется – извлекает нужные данные, опираясь либо на ключевые слова (tf-idf), либо на контекст (дистрибутивная семантика, которую ошибочно называют “LSI”).

Основные стадии процесса генерации с расширенным поиском:

RAG обычно выполняется с использованием документов в векторном индексе или графов знаний, и это может помочь уменьшить зависимость от качества и релевантности данных, используемых для обучения языковой модели.

RAG позволяет LLM получить доступ к внешним знаниям, хранящимся в большом корпусе документов, улучшая их способность генерировать точные и информативные ответы, особенно для запросов, требующих знаний, выходящих за рамки данных предварительного обучения.

Обучение LLM не уделяет особого внимания данным, специфичным для определенной области, бизнеса или отрасли. Если вы зададите конкретный вопрос, LLM может дать нерелевантные, двусмысленные или неполные ответы, вырванные из контекста, которые могут быть не особенно полезны для вашего конкретного случая использования. Вы не получите данных об источнике информации, модель может попросту выдумать его. Чтобы использовать LLM всерьёз, вам придётся адаптировать общую модель для своего бизнеса.

Основывая модель на извлеченном контексте, RAG уменьшает количество галлюцинаций и увеличивает фактичность. Он также позволяет LLM предоставлять более точные ответы, используя поиск данных в реальном времени, что делает более простым и экономически эффективным обновление моделей с учетом последней информации.

В рамках SEO использование RAG обеспечит вам некоторые возможности, недостижимые другим способом.

RAG эффективен для ответов на сложные запросы, для наукоемких задач, но главное – в случаях, когда автономных данных, на которой обучалась модель, явно не хватает.

А теперь чуть подробнее о преимуществах RAG.

RAG особенно эффективен в задачах, требующих глубокого понимания контекста и способности ссылаться на многочисленные источники информации. Он используется в различных приложениях, таких как ответы на вопросы, резюмирование текста, завершение текста и перевод. RAG позволяет LLM использовать внешние знания, хранящиеся в большом корпусе, что значительно повышает их способность генерировать точные и информативные ответы, особенно для запросов, требующих знаний, выходящих за рамки данных предварительного обучения.

Что самое приятное для специалиста по информационному поиску – так это то, что по сути дела вы на своем проекте внедряете некоторое подобие «Гугл», то есть поисковой системы, работающей по классическим методам извлечения и индексирования информации. Вам не придётся вникать в нюансы машинного и глубокого обучения, вы просто к обученной кем-то модели добавляете полноценный поисковик с индексом и ранжированием.

Не надо думать, что всё будет легко и просто. У генерации с дополненным поиском есть ряд недочётов и проблем, способных вынести вам мозг.

В дополнение к устранению этих недостатков исследователи могут изучить передовые методы генерации с расширенным поиском, такие как оптимизация до, после и после поиска. Эти методы могут помочь повысить эффективность, релевантность и качество генерируемого контента, тем самым преодолевая некоторые ограничения наивных систем RAG.

Есть множество хорошо зарекомендовавших себя методик, позволяющих сократить число возможных проблем. Основа – комплексная оценка производительности системы, проверка результатов на разных стадиях генерации и т.п.

Однако с учетом того, что SEO-специалист всё же не эксперт в машинном обучении, и нет у него возможностей полноценно работать с моделями, есть смысл активно использовать дополнительные расширенные методы оптимизации RAG. Среди них:

По сути дела, речь идёт о средствах оптимизации, очень напоминающих классические средства SEO – кроме покупки ссылок, подготовки спамных текстов и накликивания CTR на выдаче. Пример: вместо того, чтобы отдавать на вход модели пачку плохо сверстанных PDF с непонятным содержимым и с надеждой, что система распознает текст на картинках и сможет как-то структурировать всё, стоит извлечь текстовые данные заранее, очистить от шума, структурировать и разбить на фрагменты.

Приятный бонус: вы новым взглядом оцените свои проекты и методы их продвижения в поиске.

У современных поисковых систем есть проблемы: ресурсы и монетизация. Ресурсов на обход, сканирование, обработку и ранжирование всего уже явно не хватает, и приходится тщательно отбирать источники данных ещё до процесса индексирования. Это разумно, но в результате такого подхода остаётся слишком много реально ценного контента вне зоны видимости поисковых систем. Выдача же представляет собой одну и ту же жеваную-пережёванную статью, размазанную по паре десятков «трастовых» ресурсов.

Вам, в отличие от Google, менее важны затраты ресурсов на отбор и анализ данных. Формально, вам нужны лишь предельно точные ответы, соответствующие перечню запросов от ваших потенциальных клиентов. У вас уже есть список авторитетных сайтов, библиотека каких-то важных документов из заданной темы, база знаний или скрипт продаж.

Кроме того, вы, как провайдер информации, должны иметь возможность проверить сгенерированную машиной информацию, не будучи экспертом в тематике и не имея возможности обратиться к реальному эксперту. Представьте, что вы как SEO-специалист ведёте сайт в медицинской или юридической тематике. Вам придётся удостовериться в точности любых данных, если вы не хотите подставить заказчика. Это несложно, если вы используете RAG, хотя всё равно не гарантирует стопроцентную защиту от ошибок.

Поскольку мы тут обсуждаем не общие вопросы LLM, а вполне прикладные вопросы SEO, то и в качестве источников стоит сделать акцент на том, что есть в реальном мире.

Поскольку речь идёт в основном о сайтах, где важна конверсия, LLM используются для работы чат-ботов, отвечающих на стандартные вопросы клиентов, и создания контента, максимально укладывающегося в конверсионную цепочку. По первому пункту вопросов быть не должно, но чат-боты – это не тема для SEO. А вот для всего симптоматического контента вам понадобится собственная база знаний.

Выбор источников данных зависит от конкретного случая использования и типа информации, которую необходимо получить. Важно, чтобы источники данных были надежными и актуальными, поскольку это напрямую влияет на качество генерируемых ответов. И не забывайте о политике безопасности и правилах конфиденциальности.

Как уже было сказано выше, RAG в рамках поисковых систем (SGE) использует уже готовые корпуса, где данные отобраны, очищены, проиндексированы, определено соответствие каким-то запросам. У вас пока ничего похожего нет, есть лишь набор документов в каких-то форматах. Их нельзя использовать без подготовки, если вы работаете на результат.

Для подготовки датасета для генерации с расширенным поиском (RAG), выполните следующие действия:

Качество ответов зависит от качества подготовленной вами базы знаний. Чем точнее и полнее будет подготовленная вами база вопросов и соответствующих им ответов в чанках, тем эффективнее справится ваша модель с дальнейшей работой. Сейчас более чем достаточно LLM, которые могут послужить отличной базой для дальнейшей работы, достаточно и инструментария, который может использовать человек без глубоких знаний в ML. Но вот базу знаний в вашей тематике за вас не создаст никто – и это задачка вполне для SEO-специалиста, умеющего не только покупать ссылки на «сапе», гонять ботов по чужим шаблонам или парсить WB.

Самый доступный и простой способ известен как «Иголка в стоге сена». Идея его проста: вы берете конкретную целевую информацию и внедряете её в свои данные. Задача – оценить способность системы найти, обработать и использовать эти данные в генерации.

Смысл внедрения RAG в процессы поисковой оптимизации – релевантность и точность контента, используемого для продвижения. LLM не справляется с задачей, в результате чего получаются высокорелевантные с точки зрения поисковой системы фрагменты контента, при этом совершенно бесполезные для людей. Если RAG по итогам не исправляет эту ситуацию – значит, что-то было сделано неправильно.

Для старта задача проста: вам нужно взять некоторые точные данные и спрятать их в чанках, варьируя размеры чанка и глубину, на которую спрятана в чанке ваша «игла». Эффективность конкретной модели существенно меняется от таких показателей: если «игла» спрятана слишком близко к началу контекста, модель может забыть её. Важно понять, насколько точен поиск, эффективно ли подготовлены чанки на вход, а в худшем случае – работает ли поиск вообще, или модель попросту бредит.

Подробнее на эту тему можно прочитать, например, на сайте Anthropic или других специалистов в сфере LLM – материалов на эту тему уже много, ищущий обрящет.

Собственно, вопрос тестирования RAG «иглой» не закрывается даже приблизительно. Это всего лишь самый простой и быстрый способ. Более сложные методы проверки вы легко найдёте на профильных ресурсах, раскрывающих тему куда глубже, чем эта статья.

Нравится вам это или нет, нейросети уже стали частью SEO. Благодаря им можно не только увеличить потоки мусорного контента, но и помочь в создании действительно качественного и ценного текста – если приложить некоторые усилия. Поисковые системы требуют экспертности, но у вас нет возможности привлекать реальных экспертов? – Попробуйте использовать возможности RAG.

И, как я уже упоминал, это может стать неплохим инструментом для проведения аудитов сайта – от чистой «технички» до семантики. Воспринимайте каждую страницу своего сайта как чанк. Насколько они связаны? Что из этого вороха фрагментов реально имеет значение, а что лишь тратит ресурсы поисковой системы? Я ещё не тестировал аудиты такого рода, но думаю, в ближайшей перспективе это должно стать мейнстримом. Те, кто воспользуется новыми возможностями раньше других, получит наибольший профит.