Как проверять качество контента для цитирования ИИ?

Осенью 2022 года CNET начала публиковать финансовые статьи, написанные ИИ, без пометки об этом в тексте. К моменту, когда это заметили журналисты, редакция успела выпустить 77 таких материалов. Проверка задним числом показала фактические ошибки в 41 из них. Через несколько месяцев Wikipedia исключила CNET из списка «в целом надёжных источников» — решение, которое действует до сих пор и продолжает влиять на то, как площадку воспринимают за пределами самого инцидента.

История CNET хороша тем, что снимает абстрактность с вопроса «а что, если в тексте будет ошибка». ИИ в производстве контента для AEO и GEO — это рабочая реальность почти любой команды. Спор идёт не о том, писать текст моделью или человеком, а о том, сколько проверок стоит между черновиком и кнопкой «опубликовать», ведь именно это решает, станет статья источником для нейросети или точкой репутационного ущерба.

У Google на этот счёт простая логика: ранжирующие алгоритмы смотрят на качество и полезность текста, а не на то, кто и чем его написал. Штраф прилетает не за использование модели, а за конкретный паттерн, который в терминологии Google называется масштабным злоупотреблением контентом, — массовую публикацию однотипных страниц по шаблону без участия редактора.

Answer-движки работают по похожей логике, только с более жёсткими ставками. Прежде чем ответить, такая система обычно сначала находит в сети подходящие документы и уже на их основе строит ответ, а не тянет факты из памяти модели — это называется grounding, привязка ответа к внешним источникам. Если один из этих источников содержит неточность, то нейросеть озвучит её пользователю с той же уверенностью, что и настоящий факт. Механизм проверки достоверности источника у неё, как правило, отсутствует.

Отсюда и вывод: доверие определяется не автором черновика, а тем, что происходит с текстом после него. Материал, прошедший через фактчекинг и редактуру, безопасно использовать как источник для retrieval. Черновик модели, отправленный в публикацию без единой правки, — это не про то, что его «написал робот», а про то, что никто не поручился за правдивость написанного.

Кейс CNET — наглядная иллюстрация набора рисков, которые актуальны для любой редакции, полагающейся на генеративные модели без должного контроля.

Насколько системной может быть проблема галлюцинаций, показывает открытый Vectara Hallucination Leaderboard. На задаче точного пересказа текста без искажения фактов у современных моделей разброс от 1,8% до 24,2% в зависимости от конкретной модели. Это не редкий баг у отдельного поставщика, а фоновая характеристика всей категории технологий, с которой нужно работать системно, а не рассчитывать, что именно вашей команде повезёт больше остальных.

Ниже приведена сжатая карта того, чем отличается процесс, который вас защищает, от процесса, который создаёт риск.

Проверяется, если контент производится по конвейеру с фиксированными точками контроля, а не по схеме «получил черновик — сразу нажал публикацию». Приведём разбор того, как это устроено во внутреннем пайплайне Humanswith.AI.

Прежде чем материал попадёт на публикацию, он проходит несколько независимых по своей природе проверок.

Важно понимать границы автоматизации: ни один из этих слоёв не подменяет живого человека целиком. Ссылки проверяет и модель, и редактор, но именно редактор вручную перепроверяет самые весомые цифры в тексте, обычно на финальном этапе перед выпуском материала. Логика простая: автоматика хорошо справляется с массовыми и типовыми ошибками, а решение по паре ключевых утверждений, ошибка в которых обойдётся дороже всего, остаётся за человеком.

Практический пример из работы фактчекинга: модель нередко выдаёт ссылку, которая выглядит на 100% правдоподобно — знакомый домен, логичный путь в URL, подходящий по смыслу заголовок, — но которой физически не существует, либо она ведёт совсем не туда, куда указывает текст. Без проверки статуса каждой такой ссылки перед публикацией она годами висит в статье, пока по ней случайно не кликнет читатель в самый неудобный момент.

Вторая частая находка — устаревшие цифры. Модель обучена на срезе данных определённой даты и может уверенно приводить статистику, которая с тех пор успела измениться, никак не помечая её как потенциально неактуальную. Проверка даты каждой цифры закрывает эту дыру до того, как её заметит внимательный читатель или конкурент.

Считать цену ошибки заранее почти никто не пытается. Она кажется абстрактной ровно до момента конкретного инцидента. У CNET расплата не свелась к разовому неприятному посту в соцсетях. Понижение статуса в Wikipedia — это постоянная метка, которая продолжает формировать восприятие площадки годами после самого случая. Для компании, которая строит видимость в AI Search целенаправленно, экономика похожая: одна публично пойманная ошибка обходится дороже, чем месяцы аккуратной, немного более медленной работы, потому что доверие теряется одномоментно, а восстанавливается долго и не полностью.

Есть и менее очевидная сторона той же экономики. Каждая нерабочая или выдуманная ссылка в тексте — это не просто риск, а упущенный шанс. На её месте могла бы стоять настоящая ссылка на собственный домен, за которую был бы шанс зацепиться нейросети при формировании ответа. Экономия на фактчекинге сегодня довольно часто оборачивается недополученной видимостью бренда в перспективе нескольких месяцев.

ИИ-движки выбирают, что цитировать, не по общей репутации домена, а по тому, можно ли извлечь из конкретного фрагмента текста прямой и проверяемый ответ. Даже у известного бренда шансы на цитирование падают, если факты сформулированы расплывчато и не подкреплены источником. Получается, что фактчекинг решает сразу две задачи: защищает репутацию и одновременно делает текст физически пригодным материалом для retrieval. Модели охотнее опираются на точные цифры и рабочие ссылки, чем на красиво написанные, но непроверяемые утверждения.

Прямого технического требования здесь нет — ни Google, ни сами answer-движки не понижают текст автоматически только за то, что где-то не указано участие модели. Но у Google есть мягкая рекомендация: подумать, насколько использование автоматизации самоочевидно для читателя, и при необходимости пояснить, зачем и как именно она применялась. Это вопрос не ранжирования, а доверия конкретной аудитории, и кейс CNET хорошо показывает, что бывает, когда решение промолчать принимает редакция, а не читатель.

На практике разумный компромисс — не выносить дисклеймер в каждый абзац, а иметь внутреннее правило: когда участие модели существенно и когда о нём стоит сказать явно, а когда достаточно того, что текст просто прошёл полноценную редакторскую проверку и не нуждается в отдельной оговорке.

Из всего сказанного выше складывается компактный список действий.

Ни один из этих пунктов не требует отказа от генеративных моделей в производстве контента. Требование одно: относиться к черновику ИИ так же, как к черновику любого другого автора, а именно, как к материалу, который дозревает до статуса источника только после проверки, а не в момент генерации.

Для тех, кто только выстраивает этот процесс, полезен порядок внедрения. Начинать стоит не с покупки дорогого инструмента AI-детекции, а с дисциплины проверки ссылок и цифр вручную. Это почти бесплатно и закрывает большую часть репутационного риска сразу. Проверка на уникальность добавляется следующей, она защищает от случайного и намеренного дублирования. AI-детекция и формальный гейт готовности имеют смысл на масштабе, когда объём публикаций превышает то, что редактор способен вычитать вручную, но на старте именно они решают меньше всего.

И ещё один момент, который легко упустить. Контроль качества касается не только новых материалов, но и уже опубликованных. Ссылки со временем перестают работать, цифры устаревают, продукты конкурентов меняются, а текст полугодовой давности продолжает жить и цитироваться так, будто ничего не изменилось. Периодический пересмотр архива — не менее важная часть процесса, чем проверка на входе, просто про неё вспоминают заметно реже.

Источник: https://humanswith.ai/ru/blog/kak-obespechit-kachestvo-kontenta-dlya-tsitirovaniya-ii/