Как издатели борются с Google за свой контент: «Вы не можете брать наше, чтобы с нами конкурировать»
Крупнейшие медиагиганты вступают в открытую конфронтацию с Google. Они обвиняют поисковик в краже контента для обучения своих нейросетей, используя лазейку в собственных правилах. СЕО одного из крупнейших американских издательств People, Inc. открыто назвал Google "закоренелыми преступниками". Что не так с "их борьбой"?
TL;DR Нейл Вогель, СЕО крупного издательства People, Inc. обвиняет Google в нечестной игре: поисковик использует один и тот же бот для индексации сайтов и для "воровства" контента в целях обучения своих ИИ-моделей.
Из-за этого трафик издательства от Google упал, а компания теряет доходы. Решением стало использование инструмента Cloudflare для блокировки ИИ-краулеров, что заставило других крупных игроков, вроде OpenAI, идти на переговоры о сделках. Google же является по его мнению "закоренелым преступником" (или "bad actor"), так как его бот делает блокировку невозможной без потери трафика. Получается два стула? Или есть какой-то выход?
Почему Google - «bad actor» в глазах медиагигантов
Неил Фогель, генеральный директор People, Inc. - издательства с портфелем из более чем 40 известных брендов, включая People, Food & Wine и Travel & Leisure - открыто заявил, что Google ведет себя нечестно. По его словам, поисковый гигант использует одного и того же бота для двух разных задач:
- Для индексации сайтов в поисковой выдаче (что по-прежнему приносит медиа трафик). Медиа и издательства просто не могут отказаться от этого трафика в 21 веке!
- Для сбора контента для обучения своих ИИ-продуктов (что, с точки зрения издательств, является кражей).
На прошлой неделе я подробно разбирал новшества Google в отношении интеграции режима AI Mode и новом обновлении по сути меняющем правила игры в мире SEO. А теперь подключили и медиагиганты. В чем проблема?
Выступая на конференции Fortune Brainstorm Tech, Фогель отметил, что три года назад Google обеспечивал около 65% трафика компании, а сегодня эта цифра снизилась до 20%. Несмотря на то, что компания успешно растет и без этого трафика, Фогель считает, что проблема принципиальна: «Вы не можете брать наш контент, чтобы в итоге конкурировать с нами же».
Блокировка ИИ-краулеров как способ заставить Google платить
Чтобы получить рычаги давления на IT-гигантов, People, Inc. решил блокировать краулеры, которые не платят за контент. Для этого издательство использует решение от Cloudflare. Такая стратегия уже принесла плоды: крупные разработчики LLM-моделей (вероятно, речь идет об OpenAI) уже выходят на переговоры о контентных сделках. Неил Фогель назвал OpenAI «ответственным игроком» за готовность к диалогу.
Однако с Google ситуация иная. Если People, Inc. заблокирует его краулер, то поисковик перестанет индексировать их сайты, и издательство лишится даже того небольшого трафика, который еще получает.
«Они знают об этом и умышленно не разделяют функции своего краулера. Поэтому они - преднамеренный злостный нарушитель» - заявил Фогель.
Похожей позиции придерживается и Дженис Мин, главный редактор Ankler Media, называя Google и Meta «многолетними контентными клептоманами». Ее компания также блокирует ИИ-краулеры и не видит смысла в партнерстве с ИИ-компаниями на данном этапе.
Битва за будущее: регулирование или рыночные сделки?
Мэтью Принс, СЕО Cloudflare (и участник той же панели), считает, что ситуация изменится, возможно, благодаря новым нормативным актам. Он также усомнился в эффективности борьбы через закон об авторском праве, который был создан задолго до эпохи ИИ.
Принс считает, что Google оказался в сложном положении из-за конкуренции и внутренних споров. Однако он сделал смелый прогноз: «Мое предсказание, что к этому времени в следующем году Google будет платить создателям контента за его сканирование и использование для своих ИИ-моделей».
Вот такая вот интересная намечается тенденция в борьбе правообладателей против ИИ-гигантов:
- В Японии газеты Nikkei и Asahi Shimbun подали в суд на Perplexity. Они даже утверждают, что их статьи не просто собирают, а искажают информацию. А это уже не просто нарушение авторских прав, а что-то посерьёзнее.
- На Apple тоже подают в суд. Авторы книг заявляют, что Applebot, их скрапер, собирал книги для обучения ИИ с пиратских сайтов.
- Издатель журнала Rolling Stone подал в суд на Google из-за ИИ – Коммерсантъ
- А Claude официально пошел на сделку и 8 сентября утвердил в суде мировое соглашение о выплате ассоциации авторов более $1.5 млрд (!) в качестве компенсации за использование книг с пиратских сайтов (при этом само использование чужого контента для обучения ИИ было признано добросовестным использованием или fair use).
Эти иски и претензии медиахолдингов - уже торжество справедливости? Способ дисциплинировать разработчиков? Или «копирасты» должны наконец успокоиться и дать компаниям развивать ИИ, чтобы мы могли рисовать котиков ещё быстрее? Что думаете?
Если вам понравилась статья и в целом тематика IT, интеллектуальной собственности и всего, что с этим связано вам интересна - предлагаю подписаться на мой телеграм канал "Юрист без багов".
Там я публикую практические кейсы и свои заметки по тематике AI, интеллектуальной собственности и взаимосвязи права и IT. Канал небольшой, уютный и без рекламы.
Недавно написал и опубликовал в канале подробный гайд «Что делать с рекламой с 1го сентября в запрещенных социальных сетях». Скачать можно прямо у моего Ассистента без багов на канале.
Обязательно посмотрите - возможно вам тоже пригодится. Всех обнял!
FAQ: ответы на ваши вопросы
Вопрос: так в чем разница между Googlebot и Google-Extended?
Googlebot - это традиционный краулер, который сканирует веб-страницы для поисковой выдачи Google Search. Google-Extended - это новый бот, который собирает данные для обучения моделей Google AI. Проблема, о которой говорит СЕО People, Inc., заключается в том, что Google использует один и тот же бот, который выполняет обе эти функции, не давая издателям возможности блокировать только AI-сбор контента.
Вопрос: как издатели могут защитить свой контент?
Самый распространенный способ - использовать файл robots.txt, чтобы запретить доступ к сайту для ИИ-краулеров. Однако в случае с Google это приведет к потере трафика от поисковика. Компании вроде Cloudflare предлагают более продвинутые решения, которые позволяют фильтровать ботов и блокировать тех, кто не платит.
Вопрос: о чем речь в иске против Google от издателя Rolling Stone?
Как и People, Inc., издатель Rolling Stone (Penske Media Corporation) подал иск против Google, обвиняя его в незаконном использовании журналистских материалов для создания «AI-обзоров» в поисковике. Иск утверждает, что это привело к значительному снижению трафика и доходов.