«Окей, Google?»: Рассказываем, как научили нейросеть составлять заголовки и описания для сайтов

Создание конкурентных заголовков и описаний страниц ― утомительная рутина, которую не всегда можно автоматизировать. В некоторых тематиках пользователи ищут настолько по-разному, что содержимое для H1, title и description проблематично заполнить с помощью шаблонов.

Алексей Губерман, руководитель SEO-отдела в «Ашманов и партнеры», рассказывает, как они с коллегами научили нейросеть оценивать и генерировать заголовки и описания не хуже, чем это сделал бы оптимизатор со стажем.

Мы любим шаблоны и часто используем их, например, для интернет-магазинов и новостных ресурсов. Работа незатейливая: определяешь структуру заголовков и описаний, программист пишет код — и типовые страницы автоматически заполняются по образцу.

Например, «купить + название категории, название товара + по цене от min… до max + в интернет-магазине NN с доставкой». Где “купить”, название категории и магазина будут постоянными величинами, а название товара, значения минимальной и максимальной цены — переменными, которые программа подтянет из базы данных.

Если перед нами сайт с услугами, озвученная выше схема вряд ли будет работать. Возьмем сферу страхования. Во-первых, сложно определить переменную. Цена не подходит — даже приблизительная стоимость страховки рассчитывается калькулятором. Во-вторых, услугу могут искать по-разному. И если «застраховать дом» или «застраховать квартиру» с натяжкой можно отнести к типовым запросам, то со страховкой путешествия начинаются трудности.

Здесь встречаются и «страховка для путешествий за границу», и «страхование туристов», и «страхование путешественников». И всё это частотные запросы, которые ищут тысячи раз в месяц. Теоретически, шаблон применить можно, но слишком энергозатратно.

Наш сервис SearchLab и раньше анализировал заголовки и метатеги. На основе этой математики оптимизаторы составляли метатеги вручную. Как я писал выше, это нормально, если у вас интернет-магазин, типовой контент и описания составляются по шаблонам. А когда одну и ту же услугу ищут с помощью разных запросов, возникают трудности. «Квартирный переезд», «переезд квартирный с грузчиками», «переезд в новую квартиру» – интент один, а оформление разное. Даже после автоматизированного распределения запросов придется формировать H1, title description для каждой страницы.

Наш коллега бизнес-аналитик Алексей Плющев заметил, что эта работа «отъедает» много времени у оптимизаторов и задумался над тем, что её можно автоматизировать, используя машинное обучение. Он решил выяснить насколько трудозатратно воплотить идею и обратился к Саше Туманову. Саша занимался SEO в «Ашманов и партнеры», но позже увлёкся машинным обучением. На тот момент он вёл в «Наносемантике» проект, связанный с генерацией песен и текстов с помощью нейросети. Саша предположил, что если машина может генерировать большие тексты, то можно дообучить её писать содержимое для H1, title и description.

Основная мысль заключалась в том, что нейросеть будет генерировать H1, title и description из данных, предоставленных LSI-анализатором сервиса SearchLab. До этого схема была такая: анализатор “смотрел” топ-10 выдачи по указанным запросам, оценивал заголовки и метаданные страниц, ранжировал их по частоте употребления, предлагая самые релевантные. И оптимизатор сам думал над оформлением страницы. Теперь эту работу должна была делать нейросеть, а оптимизатор — контролировать результат.

У нас, правда, был неудачный опыт, когда клиент — крупный интернет-магазин — прислал на SEO-аудит порядка 10 000 описаний, составленных чей-то нейросетью. Нам нужно было оценить заспамленность ключевиками, риски попадания под фильтр «баден-баден» и так далее. Довольно большая часть описаний получилась неприемлемого качества и клиент отказался от нейросети в пользу копирайтера.

В нашем случае, мы не ставили цель генерировать сложные тексты на 800-1000 символов. Поэтому составление заголовков и коротких описаний выглядело решаемой задачей.

За основу взяли нейросеть на базе GPT-3, которую в «Наносемантике» активно развивают ― учат генерировать песни, посты, отличать сгенерированные тексты от написанных человеком.

Процесс дообучения нейросети под задачи SearchLab занял 3,5 месяца — от первоначального обсуждения и до момента, как http-сервис развернули на докере. Самым сложным этапом стала генерация H1 — нейросеть «забывала» добавить популярные ключи в заголовок.

Баг произошел из-за того, что для первой итерации взяли чуть больше данных, чем нужно. Но благодаря стараниям Саши, обработке данных и выполнению условий отбора качество заголовков выросло.

В конце марта генерация метаописаний с помощью нейросети стала частью LSI-анализатора сервиса SearchLab и стала общедоступной.

В ближайших планах — дообучить нейросеть на большем количестве данных, в том числе по информационным запросам, и устранить небольшую путаницу с брендами. Иногда нейросеть добавляет не тот бренд, для которого шла генерация. Например, условно вместо «Авито» появляется «Циан». Ошибки бывают не часто, но все-таки иногда бывают. Поэтому желательно, чтобы оптимизаторы проверяли результат и забирали в работу самые удачные формулировки.

Так или иначе, наши оптимизаторы экономят 15-20% рабочего времени на текстовых ТЗ, где надо прописывать H1, title и description. Внешние клиенты тоже используют эту опцию и, надеемся, ощущают пользу.

Приведу ниже пару примеров рекомендаций, которые выдаёт нейросеть.

Если с экономией времени всё очевидно, то корреляцию между сгенерированных сетью метаописаний и ранжированием в поиске ещё предстоит оценить. Вполне вероятно, что сеть окажется эффективнее, человека, но точно не будет хуже.