Как искусственный интеллект и генеративные нейросети изменят поиск в интернете?

Появление ChatGPT, Perplexity и других диалоговых сервисов с генеративным искусственным интеллектом не могло не повлиять на продуктовые планы поисковых гигантов. Подобные чат-боты стали конкурентами за внимание, время и кошелек пользователя.

Немного цифр для начала:

- в мире гуглят примерно 5,9 млн раз в минуту

- Google регулярно сканирует 4 млрд хостов (это понятие чуть шире, чем сайты)

- Google запускает более 4700 изменений в поиске в год

- поиску «Яндекса» известно про 130 млрд страниц

- доля Google в мире — около 87%

- доля «Яндекса» в России — 64%

Пожалуй, мы наблюдаем самое масштабное изменение интерфейса поисковых систем за последние 10-15 лет, а вместе с тем — изменение модели поведения пользователей и соответствующее изменение моделей монетизации поисковых систем и всего рынка цифровой рекламы.

Помимо прямого конкурента ChatGPT от OpenAI — Gemini (в прошлом — Google Bard), Google развивает генеративные ответы непосредственно на странице результатов поиска.

С мая 2023 года Google тестирует SGE — генеративный ответ. Его можно включить в Google Labs в 120 странах, среди которых США и Великобритания, но отсутствуют страны Европейского cоюза и Россия. Эта фича пока что не была представлена широкой аудитории.

Внешне SGE выглядит как развитие блока Featured snippets (выделенные описания), и в команде разработки участвуют те же инженеры.

Кроме данного бета-теста, когда пользователь должен прямо согласиться на участие в нем, поисковая система с марта 2024 года тестирует ограниченные AI overviews в США и Великобритании на проценте аудитории. В этом представлении генеративный ответ по умолчанию свернут:

Скорее всего, вырастет доля поисков без кликов в выдаче. CTR (кликабельность) органических результатов по информационным запросам продолжит снижаться, и это давняя тенденция.

По запросам, требующим показа свежих документов (включая Top stories — «Главные новости», но не ограничиваясь ими), примеров SGE пока замечено не было. Чаще всего он показывается по обычным информационным запросам (рецепты, руководства и пр.) и транзакционным (например, запросы про товары или группы товаров).

Существует пессимистический прогноз компании Raptive (продают рекламу на MacRumors, Stereogum и др.). По их оценке, потери рекламных доходов издательской отрасли могут составить до $2 млрд в год, если SGE запустится в нынешнем виде. Они спрогнозировали снижение поискового трафика на 25% на сайты сети из 5000 изданий.

16 апреля «Яндекс» запустил публичное тестирование нового сервиса, пока что он доступен только в «Яндекс Браузере» и мобильном приложении «Яндекс с Алисой».

«Нейро» выглядит как эксперимент и развитие блока «Быстрых ответов» на базе моделей семейства YandexGPT 3. Это отдельная вкладка, а не ответ в результатах поиска.

Представляется, что это заход в сторону ответа по такому классу запросов, где поиск недостаточно качественно решал задачу пользователя. Сервис будет интересен тем пользователям, которые не желают детально изучать множество страниц из результатов поиска, а хотят получить готовый ответ в одном блоке.

Есть немаловажный аспект: если для каждого запроса показывать генеративный ответ, то экономика поиска может не сойтись.

Microsoft знает, что внедрение LLM в поиске снизит его прибыльность и потребует огромных капиталовложений. Вот что говорит Сатья Наделла: «Отныне валовая прибыль поиска упадет навсегда».

Вице-президент Google Прабхакар Рагхаван, ответственный за поисковый сервис, предупредил сотрудников о «новой операционной реальности» и призвал их действовать быстрее. «Мы находимся в новой реальности расходов», — сказал Рагхаван. По его словам, из-за появления генеративного ИИ компания «тратит на машины гораздо больше». Корпорация находится в режиме сокращения расходов с начала 2023 года.

Руководитель бизнес-группы поиска и рекламных технологий «Яндекса» Дмитрий Масюк отметил, что запрос в поиске «Яндекс Нейро» стоит в 5-10 раз дороже по сравнению с обычным поиском.

В этой связи выглядит логичным, что Google задумался о подписке на SGE — слухи об этом были опубликованы в Financial Times:

По данным источников, Google рассматривает разные варианты, в том числе добавление определенных функций поиска на основе искусственного интеллекта в свои сервисы по подписке, которые уже предлагают доступ к помощнику Gemini AI в Gmail и Docs.

57% выручки Alphabet (материнская компания Google) приходится на рекламу в поиске.

Интересным представляется мнение SEO-специалиста Хуана Гонсалеса Виллы:

«Истинная польза генеративного ИИ в поисковой системе заключается в том, что он может отвечать на поисковые запросы или вопросы, которые были ранее невозможны с традиционными результатами. Принимая во внимание эти вещи, может иметь смысл смешанная модель открытой поисковой системы с рекламой и поисковой системы премиум-класса с подпиской (плюс другие преимущества, такие как, например, использование Gemini в Gmail и Docs). Это не означает, что “обычная” поисковая система никогда не будет предлагать некоторые результаты, сгенерированные ИИ, но я думаю, что она будет делать это только в тех случаях, когда, по оценкам Google, традиционный метод не может дать хороший результат, и в определенных пределах. Так что я думаю, что Google продолжит полагаться на рекламу как на основу своего бизнеса, но откроет альтернативный путь, чтобы опытные пользователи, которые сейчас начинают использовать Perplexity и Copilot, не отказывались от Google (так как удобнее использовать одну поисковую систему, а не несколько)».

Вполне возможно, что российский «Яндекс» также думает в сторону смешанной модели монетизации поиска: классическая реклама в выдаче (и сайтах партнерской сети) по-прежнему бесплатного поиска и расширенная версия поиска для продвинутых и бизнес-пользователей, включающая в себя возможности генеративных нейросетей. И они будут встроены не только в поиск, а во многие продукты компании.

Мы попросили аналитика ФГ «Финам» Леонида Делицына поделиться своим мнением:

Генеративный ИИ вряд ли существенно изменит внутреннее устройство полнотекстовых поисковых систем. Технически поиск напоминает скорее то, что под поиском понимают программисты — извлечение информации из заранее подготовленных структур, а не поиск в нашем бытовом понимании. Поисковые индексы — прямой, обратный и ссылочный — никуда не денутся, они так и останутся частью технологии поиска. Хотя, конечно, до Google ссылочный индекс особой роли в поиске не играл, только в PageRank начали применять количество ссылок с других сайтов на страницу как меру релевантности информации, и не ошиблись. Но, вероятнее всего, генеративный ИИ изменит интерфейс нашего общения с поисковой машиной, уровень наших запросов.

Можно вспомнить, что первые поисковые машины интернета, подобно библиотечным справочным системам, публиковали для пользователей инструкции «Как правильно составить запрос». Поиск состоял в нахождении наилучшего соответствия ПОД и ПОЗ, где ПОД —поисковый образ документа, а ПОЗ — поисковый образ запроса. И, в общем-то, подразумевалось, что «грамотный» пользователь задаст не запрос, а сразу ПОЗ, то есть исключит предлоги, частицы и междометия, а также стоп-слова и оставит только список ключевых слов. Теперь же, не успеем мы начать печатать, как поисковая машина выдает нам лист подсказок, причем зачастую — удачно.

Цель поисковых машин сместилась от «релевантности» в сторону «пертинентности», то есть, грубо говоря, соответствия нашим потребностям, а не запросам.

Вряд ли генеративный ИИ сыграет главную роль в изменении способов нашей работы с информацией, я думаю, что главную роль сыграют «умные» ассистенты (на базе и других видов ИИ, не только генеративного). Мы не будем знать, какой именно ИИ зашит внутрь ассистентов —генеративный, обучение с подкреплением или что-то еще. Скорее всего, умные ассистенты вообще будут работать, используя API от крупнейших платформ. Но для нас станет вполне привычной ситуация, когда нам будут выдавать готовые решения, — например, в виде сводки информации или реферата — пригодные для того, чтобы как-то использовать их в нашей работе. По крайней мере, некоторые из нас. Вряд ли, например, этому найдется применение в работе таксиста — генеративный ИИ не нужен нам в навигаторе или картах.

Все-таки сжатие информации — это то, что умеют хорошо делать в самых разных областях информатики. Вот и генеративный ИИ тоже большой мастер писать краткие резюме. Соответственно, вместо того, чтобы гуглить, такой аналитик или журналист задаст запрос генеративному ИИ, а потом «допилит» результат при помощи промтинга.

Магистрант МГИК Евгений Алимов предложил вариант развития такой технологии: при подготовке интервью с отраслевыми экспертами в разных областях экономики он предварительно проводит интервью с «цифровым двойником», подготовленным при помощи генеративного искусственного интеллекта. Реальному эксперту, время которого обычно на вес золота, можно уже не задавать сырые вопросы. Ему показывают интервью с цифровым двойником и просят указать, где двойник ошибся. Правда, генеральный директор SmartEngines Владимир Арлазаров в интервью с автором этого комментария, подверг этот метод критике. Он заметил, что генеративный ИИ создает не столько «цифрового двойника» эксперта, сколько цифрового двойника пиар-образа этого эксперта в масс-медиа. Поэтому двойник будет чрезмерно политкорректным и осторожным и может предпочитать пустословие содержательным ответам. Тут есть доля правды. Но очевидно и то, что промтингом дело не ограничится, опыт работы с генеративным ИИ будет накапливаться. Будет совершенствоваться как сам ИИ, так и наш опыт работы с ним.

Со временем мы привыкнем к тому, что все поисковые машины оказывают хороший сервис по сжатию информации, и будем считать это само собой разумеющимися. И вряд ли затраты поисковых машин существенно вырастут, поскольку они уже являются и крупнейшими облачными провайдерами и обладают самыми большими серверными парками. Они даже станут эффективнее использовать закупленное «железо».

Приведет ли это к фрагментированию поискового рынка или еще большей консолидации? Консолидировать рынок, в общем, уже некуда — во всех странах есть доминирующий игрок. Если благодаря генеративному ИИ далеко отстающий второй игрок (как Bing в США) сможет подтянуться ближе к первому, то конкуренция ужесточится. Но вряд ли это произойдет где-либо, кроме США, поскольку в другом регионе второй или третий игрок вряд ли убедят инвесторов покуситься на долю рынка лидера. Другое дело — США, где Microsoft, наверное, нужен реванш над Google, отхватившим рынок мобильных ОС. Там борьба генеративного ИИ за долю поискового рынка может стать реальностью, а угрозы такой борьбы уже стали реальностью.