Как поисковики индексируют контент нейросетей. Что ждет Google, Yandex и Bing

Первое большое исследование об индексации в Google и Яндекс генеративных текстов и изображений. Поговорили с опытными SEO-специалистами о тонкостях работы поисковиков и об отношении к контенту, сделанному при помощи ИИ.

Вопрос индексации и ранжирования в поисковых системах беспокоит многих, кто пользуется нейросетями для генерации текстов, изображений и всего, что умеют создавать технологии искусственного интеллекта.

Интерес к нейросетям и спрос на генеративный контент растёт с бешеным темпом. Западные сервисы вроде Writesonic, Jasper и Frase пользуются большой популярностью у представителей разных профессий. Тысячи SEO-специалистов, копирайтеров, журналистов, маркетологов и селлеров на маркетплейсах ежедневно пополняют ряды пользователей AI-сервисов во всём мире.

Как только ChatGPT превратился во всемирный хайп, пользователи задались вопросом, что ждёт ИИ дальше, и как теперь будут работать поисковики.

Приводим самые популярные вопросы, которые мы получили от своих клиентов с начала 2023 года:

Делают ли поисковики запросы к Gerwin и в другие генеративные сервисы? Собираются ли они бороться с AI-контентом?
Цель вопросов — понять, проводят ли поисковые системы исследования и разведку об объёмах и авторах генеративного контента.

Как будет индексироваться контент, созданный ИИ? Что думают о нём Google и Яндекс?
Довольно многие опасаются, что поисковики начнут войну с нейросетями и при обнаружении генеративного контента станут активно пессимизировать его, опуская ниже и ниже в поисковой выдаче.

Какой поисковик теперь будет №1? Станет ли Bing лидером рынка?
SEO-специалисты хотят знать, на какую перспективу им начинать работать, если у поисковиков начнутся перемены. На фоне недавнего успеха Bing вопрос стал наиболее острым.

Как долго AI-технологии будут оставаться преимуществом тех, кто их уже использовал?
Люди хотят знать, сколько времени у них есть до того, как весь мир начнёт активно использовать нейросети.

Независимо друг от друга мы поговорили с известными SEO-экспертами, чтобы получить объективные ответы на эти и другие вопросы.

На генеративный контент сейчас настоящий мегатренд, особенно среди западных сеошников. Буквально каждый YouTube-канал спешит рассказать о том, какие перевороты ожидает мир и как скоро десятки тысяч специалистов начнут терять работу.

Кстати, с последним можно согласиться: базовые вещи, построенные на рутинной или простой работе, перестанут быть востребованными. Написание несложных текстов, заполнение карточек товаров, создание сайтов-сателлитов — всё это уже сейчас делают нейросети.

При этом стоит понимать, что мы только на заре развития нейросетей и нас ждут новые инструменты в SEO-индустрии. В скором времени через открытые API нейросети подключатся к инструментам SEO-аналитики вроде Ahrefs, программе SEO SpyGlass и другим.

Не так давно Bing внедрил чатбота в поиск, чем опередил впереди всех идущий Google. Появился поисковик You, который работает по тем же принципам. Яндекс, несмотря на своё молчание по текущей ситуации, выпустил генератор изображений «Шедеврум».

Темы и цели поиска будут трансформироваться, переходить в новые формы. Это уже происходит с коммерческим трафиком, который уходит в маркетплейсы. Учебный материал теперь ищут в YouTube, потому что это удобно, есть фидбэк и модерация с поддержкой. С внедрением нейросетей будет происходить нечто подобное.

Алгоритмы Proxima от Яндекса и E-E-A-T от Google уже несколько лет ранжируют контент, оценивая экспертность его автора. При прочих равных условиях, если медицинский текст написал кандидат наук с огромным опытом, поисковая машина отдаст предпочтение ему, а не рядовому автору.

Но поисковики не собираются бороться с генеративным контентом, если он экспертный и полезен для пользователя. Алгоритмы поиска не станут нацеливаться на поиск генеративного контента как такового, поскольку распознать происхождение текста сложно. По моим исследованиям, достаточно дать нейросети уточнение: «Пиши не как нейросеть», — и мы получим текст, который не распознает ни один алгоритм.

Не стоит бояться нейросетей. Чем скорее мы научимся ими пользоваться, тем быстрее это станет нашим преимуществом.

С приходом технологий искусственного интеллекта оптимизаторы ищут способы массового создания контента и сайтов.

Генеративный контент как таковой существует давно. Возьмём начальные этапы серьёзного развития интернета, где шла цифровизация офлайн-источников, например книг или журналов. Были те, кто шёл по пути наименьшего сопротивления: они брали эти книги и журналы, копировали или заменяли некоторые слова синонимами, что-то переставляли, и получался уникальный контент. Затем другие пользователи делали то же самое, но уже на основе вот этих изменённых «уникальных» произведений. И так по кругу вплоть до сегодняшнего дня.

Обычные копирайтеры работают по этой же схеме: собрали несколько источников, что-то поменяли, подобрали синонимы, немного добавили от себя, и контент готов. Плохой он или хороший — другой вопрос.

Описанный принцип и называется генеративным. Просто сейчас пришли нейросети и начали делать практически то же самое, только за считанные секунды. Появился новый инструмент, а мы наблюдаем огромную волну его использования.

Их задача останется прежней: бороться с некачественным и ненужным для людей контентом. Если с помощью ИИ человек создаёт полезную релевантную статью, зачем блокировать её, понижать в рейтингах или удалять? Даже если материал частично не уникальный.

Индексация и ранжирование сайтов идёт по совокупности метрик: как часто и кто ссылается на сайт, наличие трафика, упоминания в соцсетях и не только.

Если немного заглянуть в историю SEO, компания Google разработала сложные алгоритмы Panda и Penguin для пессимизации некачественных сайтов, которые выбились на первые строчки за счёт избыточной переоптимизации страниц и манипуляций ссылочным весом. Яндекс использовал похожие алгоритмы с АГС. И всё это разработали примерно в одинаковый период.

Стояла задача исключить или пессимизировать некачественный контент.

У Google есть Правила в отношении контента, созданного искусственным интеллектом. В этих правилах указано, что компания поощряет любые способы создания контента высокого качества. Главное, чтобы он соответствовал стандартам E-E-A-T (опыт, компетентность, авторитетность и достоверность), которые составил Google. Почитать о них подробнее можно здесь.

Приведу еще одну цитату из вышеуказанных правил: «…искусственный интеллект не должен использоваться для создания контента, нацеленного исключительно на продвижение сайта в результатах поиска. Это является нарушением наших правил в отношении спама».

Раньше AI-технологии преимущественно использовали дорвейщики в своих экспериментах. Они создавали контент не для людей, а для сбора трафика, и у некоторых сейчас это успешно получается. Но их деятельность — очень и очень малый объём трафика относительно всей массы производимого и публикуемого ИИ-контента.

В обозримом будущем я вижу две проблемы между поисковиками и генеративным контентом :

1. Фактчекинг

Нейросети часто выдают фактические ошибки, порой даже грубые.

Для примера предлагаю ввести в ChatGPT «топ-5 достопримечательностей *название вашего города*». В большинстве случаев нейросеть выдаёт какую-нибудь незначительную ошибку, но иногда придумывает несуществующие обелиски или фонтаны.

И таких примеров можно подобрать сотни.

Поисковики будут разрабатывать методы проверки достоверности информации, чтобы исключить неточности и откровенные фейки. Тенденция механизмов поиска идёт к тому, чтобы человек как можно быстрее получал максимально полный, точный и верный ответ — предоставление именно такой информации и делает поиск приоритетным в глазах человека.

2. Решение проблемы пользователя

Я бы назвал это экспертностью контента. Чем больше опыта у автора контента по тому или иному вопросу, тем более точную и подходящую информацию он сможет дать аудитории. Контент от эксперта с наибольшей вероятностью решает проблему пользователя. И это ценится поисковиками: они выдают такую информацию в первых строчках.

Если немного разобраться и вернуться к принципу генеративного контента, который я привёл выше, можно понять, что он обесценивает сам себя. Копирайтеры делают контент на основе работ друг друга, а нейросеть перерабатывает весь этот массив. В скором времени мы получим тысячи одинаково пустых статей о рассаде каких-нибудь огурцов, и среди них цениться будут статьи, написанные дачниками — теми, кто вносит новые экспертные знания и методы.

Проблема со стороны тех, кто использует ИИ, немного другая. Исполнители стараются скрыть, что применяли нейросети в работе. Предполагаю, что это бьёт по ценности их работы, даже если материал получился хорошим.

При этом скоро ещё сильнее начнут ценить журналистов, профессиональных копирайтеров и других специалистов, работающих с контентом. Но им нельзя отставать от времени — нужно учиться серьёзной аналитике. Благо, что поисковики скоро предоставят более удобные аналитические инструменты за счёт AI-технологий.

Думаю, что через 1,5 года мы увидим совершенно новый поиск Google — с внедрёнными диалоговыми ИИ-функциями — и серьёзный прорыв в выдаче. Формат знакомства с информацией будет упрощаться, а сам подбор станет более подходящим.

Могут появиться и новые поисковики, если они разработают ноу-хау в поисковых механизмах. Переманить пользователя с привычного интерфейса крайне тяжело, а вытеснить гигантский Google практически невозможно. Это привычная экосистема и психологический паттерн — зачем отвыкать от старого и удобного? Люди привыкли к тому же Photoshop и пользуются им до сих пор, несмотря на более удобные альтернативы.

Я использую AI-технологии в исследовательских и экспериментальных целях. Это инструмент с большим будущим. И те, кто поймёт, как правильно использовать новые генеративные технологии, уйдут далеко вперёд.

Думаю, того же подхода придерживаются и другие продвинутые специалисты.

Генеративный контент пока не оказывает существенного влияния на поисковую выдачу или алгоритмы. О нейросетях много говорят, но случаев массового внедрения в работу и тем более получения ощутимого результата в рунете пока не замечено.

Связано это с тремя фундаментальными причинами:

Пока больше всех используют генеративный контент две категории людей — дорвейщики и владельцы PBN.

Первые массово генерируют контент без оглядки на качество. Их задача — собирать низкочастотный трафик для дальнейшей монетизации. Возможный бан заложен в рисках и никого не пугает.

Вторые поднимают чуть более качественные сайты-сателлиты — Private Blog Network (частная сеть сайтов) — для проставления ссылок на собственные ресурсы. Трафик на подобных сайтах хоть и приветствуется, но в первую очередь это доноры для передачи ссылочного веса.

Как видите, ни те, ни другие не преследуют цель ответить на вопрос пользователя.

В рамках белого SEO я активно внедряю и рассказываю про генеративный контент в Telegram и YouTube-каналах в следующих случаях:

Чтобы генеративный контент влиял на поиск, нужен хороший итоговый результат. Несмотря на складное повествование, пока нейросети допускают смысловые ошибки и сильно страдают от качества самих текстов. Не знаю как, но я очень легко могу понять, сгенерирован ли текст или написан человеком. Это напоминает зловещую долину, когда нас начинают пугать роботы, сильно похожие на человека. Здесь подобный эффект: читаешь статью, понимаешь смысл сказанного, но есть в этом что-то неестественное. Уверен, будут докручиваться разные коэффициенты, которые приведут к тому, что текст будет неотличим от человеческого.

Вторым фактором являются ограничения. Уже сейчас стоят серьёзные лимиты и массовая генерация затруднена.

Очевидно, что появление такого инструмента было шоком не только для обычных людей, но и для поисковиков. Google экстренно начал пытаться делать свой продукт, на ходу подписывая петиции о приостановке развития GPT-4 под прикрытием беспокойства о будущем человечества.

С точки зрения алгоритмов ситуация аналогичная. Появляются инструменты, которые позволяют определять машинный текст, но точность оценки сильно страдает. Значит аналогичные инструменты есть и у поисковиков. Уверен, уже появились отделы, которые работают над методами определения подобного контента.

AI-контент и нейросети — это плацдарм для экспериментов. По сути идёт большая исследовательская работа в разных областях от разных специалистов. И за год-полтора мы узнаем, что из этого получится.

При всём при этом вполне вероятно, что нейросети не станут существенной и прорывной технологией. То же самое было с метавселенной или с Clubhouse: сперва грандиозное обсуждение, пророчество большого будущего, а затем все дружно про них забыли.

Наряду с экспертами SEO дадим и свой комментарий:

Мы работали ещё до релиза ChatGPT, и вопросов от пользователей к нам не поступало. Но как только случился хайп с ChatGPT, люди заволновались: как теперь будет индексироваться генеративный контент и будут работать поисковики?

Этим вопросом стоит сейчас озадачиться не SEO-специалистам, а разработчикам. Оптимизаторы быстро разберутся в новых реалиях и найдут способы продвигать сайты — так было всегда. А вот у молодых команд есть огромные шансы войти в историю, создав совершенно новые концепции поиска. Им нужно понять, в чём заключаются новые потребности людей с приходом нейросетей. Пока большие неповоротливые компании будут согласовывать свою большую бюрократию, есть фора. Надеюсь, совсем скоро мы увидим таких ребят и их продукты.

Главная проблема AI-контента состоит в том, что его считают плохим. Не с точки зрения качества, а с позиции ценности — мол, это делал не человек, и значит с этим что-то не так.

Но если разобраться с теми же текстами, копирайтеры чаще всего компилируют уже существующие статьи. Условный сайт производителя бетона пишет, что его бетон — самый лучший. Как и все остальные бетонные сайты. Тысячи сайтов по продаже бетона публикуют примерно одинаковые по смыслу и содержанию статьи, ориентируясь на тексты друг друга. И в итоге интернет наводнён однотипным контентом. Нет разницы, кто напишет текст про самую быструю доставку, самый тёплый плед или самый прочный бетон — нейросеть или маркетолог Анастасия. По такому принципу можно разобрать 90% контента в интернете.

Мы просто помогаем создавать такие тексты людям в 2 клика, почти полностью сокращая временные расходы. А для пользователя никакой разницы нет.

Говорят, что грядёт проблема огромного количества мусорного и однотипного контента в интернете. Но она существует уже много лет, и её как раз и породили SEO-алгоритмы: чтобы сайту продвигаться, нужно делать контент. Появилось много сайтов и как следствие много контента, а чем его больше — тем ниже качество.

Приход генеративных нейросетей и увеличение скорости создания контента как раз и создают условия для приближения и внедрения новых принципов поиска и потребления контента. Теперь этот переход будет ускорен.

Вспомните, как в 2014 году из ВКонтакте — соцсети, где общались все российские студенты, — сами же пользователи сделали спам-площадку. Все аккаунты стали продавать и продвигать свой бизнес.

Проблема создания контента ради контента существует давно.

Мне хорошо известно, что генеративный контент сейчас используют все, в том числе большие компании. Но если условный крупный интернет-магазин заявит, что его продукты созданы с участием ИИ, это может ударить по репутации в глазах пользователей.

Поисковым системам не важно, каким образом сделан контент. Им важно, насколько содержимое контента соответствует запросам пользователя. Чем точнее поисковик даёт информацию человеку, тем больше у него аудитории, а значит и прибыли.

Сейчас ИИ представляется чем-то непонятным и даже страшным, хотя по факту это технология, которая ускорила и удешевила уже отработанные процессы.

Есть ряд специалистов, кто намеренно поддерживает распространение слухов и мифов, что AI-контент пессимизируется поисковиками. Людям хочется, чтобы новый инструмент как можно дольше оставался их преимуществом. Это вполне нормально на конкурентном рынке, но это искажает факты.

Недавно Яндекс после длительного молчания выпустил «Шедеврум», а Google в скором темпе делает помощника Bard. Так если сами поисковики внедряют нейросети, собираются ли они бороться с ними? Само собой нет.

Больше всего о пессимизации и борьбе с генеративным контентом говорят не поисковики, а сами пользователи. Причём это происходит в то же время, когда Bing предлагает встроенный в поиск ChatGPT, а Google готовит Bard.

Стоит избавиться от невежественного нарратива, что генеративный контент — это априори зло и плохо. И всё встанет на свои места.

Во многом суждения экспертов одинаковы или схожи. Но сперва отметим пункт, где они разошлись: нет однозначного мнения по поводу будущего Bing. Большинство уверены, что когда хайп стихнет, поисковик останется на прежних позициях, но есть и позиция, что ему удастся взять долю рынка в районе 10–20%.

Рассмотрим аспекты, где респонденты согласны друг с другом :

Поисковики ведут борьбу не с генеративным контентом, а с бесполезным и вводящим в заблуждение

Политика и алгоритмы выдачи нацелены на предоставление пользователю контента, который удовлетворяет его запросу и не вводит в заблуждение. Метод изготовления контента, если он соответствует этим требованиям, не имеет значения.

Сейчас нейросети активно исследуются специалистами

Мы постоянно видим новых чатботов в Telegram, на YouTube-каналах и в блогах. Наблюдается череда тестирований возможностей ИИ — об этом заявили все три респондента.

В течение короткого периода — примерно через 1,5 года — мы увидим совершенно новые концепции поиска

Скорость разработки и обучения нейросетей задаёт серьёзный темп. Теперь как никогда работает правило «Кто не успел, тот опоздал».

Специалисты по работе с контентом будут цениться ещё сильнее из-за обилия генеративных текстов

Несмотря на уровень работы GPT-4, работу профессионального журналиста или опытного блогера читают с куда большей охотой.

AI-детекторы пока работают плохо

Определить, генеративный ли контент или нет, они могут, но обмануть такую систему довольно просто.

Как подчеркнул Рамазан Миндубаев, Google поддерживает любой контент, если он полезен и решает проблему пользователя.

Происхождение контента не может говорить о его качестве и давать повод к пессимизации. Большие поисковики это понимают — генеративный контент не противоречит концепции выдачи, поскольку любой материал должен нести качественную и точную информативность.

Кроме того, существующие сервисы проверки AI-текстов работают некорректно, их можно обмануть точечной заменой синонимов — при помощи самой же нейросети. Вот некоторые из них, чтобы лично убедиться, как легко обойти их детекторы: Writer, Copyleaks.

Небольшая редактура текста способна обмануть AI-детекторы. Или можно последовать совету Михаила Шакина и попросить ChatGPT «писать не как нейросеть». Например, чтобы обмануть сервис через Gerwin AI, достаточно поменять настройки тона при создании текста. По умолчанию каждая нейросеть обладает возможностями обхода проверки.

Резюмируя, можно сказать, что генеративный контент ничем не отличается от классического, если он несёт в себе пользу. Использовать нейросети нужно с умом: не как прямой и конечный генератор, а как инструмент генерации.

При этом никто не собирается ограничивать, пессимизировать или бороться с ИИ. Об этом официально заявляет Google. Яндекс же вряд ли сможет быстро решиться на качественное критическое обновление представления поиска и алгоритмов.

Параллельно всеобщему интересу сфера генеративного контента стремительно обрастает мифами, которые с удовольствием подхватывают новостные издания, публицисты и маркетологи. Это неплохо, так устроен интернет, но важно критически подходить к любой информации и не спешить бить в колокола при каждом вбросе.

Недавнее сопротивление стоков изображений быстро переломили, и те уважительно выделили генеративным изображениям своё место в меню. И часто это место находится в первых рядах.

Данная статья впервые была опубликована в Медиа Нетологии.