Как мы вынесли проверку источников после ИИ в отдельный quality gate и перестали ловить ошибки в конце?

У ИИ в экспертной работе есть одно особенно неприятное свойство: он очень быстро создает ощущение почти готового результата. Структура на месте, формулировки звучат убедительно, список источников выглядит правдоподобно. Команде кажется, что текст уже можно спокойно доводить до финала. А потом на последнем этапе выясняется, что часть ссылок не существует, часть DOI не резолвится, а несколько тезисов опираются на публикации, которых никто не находил.

Проблема здесь не в самой модели. Проблема в процессе, который слишком долго считает такой текст почти готовым. Пока проверка источников остается частью финальной вычитки, команда сталкивается не с редкой ошибкой, а с системным поздним дефектом.

Когда проверка источников происходит в самом конце, она начинает конкурировать со всем остальным. На одном этапе нужно держать в голове стиль, логику, аргументацию, верстку, редактирование, методические замечания и еще параллельно разбирать, какие ссылки настоящие, а какие только выглядят убедительно.

Из этого почти всегда вырастают три сбоя.

Первый - дефект находится слишком поздно. Если источник оказался фейковым, приходится менять не только сам список литературы, но и фрагменты текста, которые на него опирались.

Второй - ответственность расплывается. Автор считает, что верификацию дочистит редактор. Редактор предполагает, что базовая проверка уже была. Методолог включается, когда материал нужно уже не проверять, а срочно спасать.

Третий - команда получает ложную метрику готовности. Визуально текст выглядит собранным, но по факту еще не прошел базовую проверку на достоверность.

В какой-то момент стало ясно, что финальная вычитка слишком дорога для такой задачи. Это один из самых дорогих участков процесса по концентрации людей и по цене поздней переделки. Если там обнаруживается фейковый источник, команда теряет не только время, но и ритм.

Поэтому мы вынесли проверку источников в отдельный quality gate сразу после первичного ИИ-черновика и до глубокой редактуры.

Логика стала такой:

1. ИИ или поисковый помощник помогает собрать первичную структуру и черновой список источников.

2. Отдельный этап верификации проверяет существование публикации, DOI, авторов, журнал, релевантность и связь с тезисом.

3. Только после этого материал уходит в полноценную редактуру и методологическую сборку.

4. Финальная вычитка больше не занимается аварийным спасением базы источников.

На бумаге изменение выглядит небольшим. На практике именно оно убрало из процесса часть самых дорогих поздних сбоев.

Мы не делали из этого громоздкую систему. Наоборот, полезным оказался короткий и жесткий чек-лист.

Для каждого источника команда проверяет:

- существует ли сама публикация;

- совпадают ли авторы;

- совпадает ли площадка, журнал или база;

- резолвится ли DOI или официальный идентификатор;

- действительно ли этот источник поддерживает тезис, рядом с которым он стоит.

Если хотя бы один пункт не проходит, источник не считается рабочим. В этот момент легче заменить его сразу, чем тащить сомнительный материал дальше по воронке производства.

Главный эффект дал не сам чек-лист, а изменение роли этапов.

Автор перестал относиться к списку источников как к приложению к тексту. Редактор получил более чистую версию материала и перестал тратить финальное время на грубые верификационные сбои. Методолог подключается туда, где нужен профессиональный взгляд на содержание, а не разбор того, существует ли вообще публикация, на которую уже ссылается текст.

В итоге quality gate стал границей между перспективным черновиком и текстом, который уже действительно имеет смысл улучшать.

Самый заметный эффект - предсказуемость. Поздние переделки редко бьют только по сроку одного материала. Они ломают весь ритм команды: отвлекают редакторов, сдвигают очередность задач, создают лишний стресс и быстро съедают ощущение управляемости.

После переноса проверки источников в начало процесса картина становится честнее. Черновик может быть сырым, но команда уже понимает, какие элементы у него рабочие, а какие нет. Это помогает обсуждать качество не на уровне интуиции, а на уровне этапов и правил.

Для экспертного сервиса это важнее, чем может показаться. Когда в работе участвуют ИИ, автор, редактор и методолог, процесс очень легко выглядит быстрее, чем он есть на самом деле. Отдельный quality gate возвращает реальную картину: сначала достоверность базы, потом улучшение формы.

Проверка источников после ИИ не должна быть героической операцией на финальной прямой. Если она происходит в конце, значит команда слишком долго считала материал готовым без достаточных оснований.

Как только эта проверка становится отдельным этапом в начале, текст перестает разваливаться в самом дорогом месте процесса. А вместе с этим появляется то, чего обычно сильнее всего не хватает в экспертной работе с ИИ: предсказуемость, понятная ответственность и нормальный рабочий ритм.