Как работают ИИ-детекторы текста

Итак, принято считать, что детектор узнаёт ChatGPT по манере. И так-то версия вполне логичная - у моделей действительно есть свой почерк, его видно невооружённым глазом (ну как, естественно, при наличии определенного уровня насмотренности). Но внутри детектора ИИ-текста нет ни одного признака авторства. Он считывает главный показатель - насколько ваш текст предсказуем для языковой модели.

Базовая метрика называется перплексия. Прокси-модель читает ваш текст токен за токеном и на каждом шаге оценивает, насколько ожидаемым было следующее слово. Языковая модель на генерации почти всегда берёт высоковероятный токен - выбор обрезан температурой и отсечкой по вероятности, редкие ветки отбрасываются на входе. Поэтому машинный текст для модели скучный и число выходит низким. Живой человек чаще всего прыгает в ритмике. Скажем, вставляет неожиданное слово, обрывает фразу, лезет в узкий профессиональный словарь.

Второй параметр - разброс той же предсказуемости между предложениями. У модели ровно от абзаца к абзацу, у человека рвано - три плотных предложения, потом обрубок в два слова. Кстати, первые версии GPTZero стояли именно на этой паре величин.

И вот тут же обнаруживается своего рода дыра, которую не закрыть подкруткой порога. Низкую перплексию даёт технический регламент. Юридический текст. Должностная инструкция. Школьное сочинение по шаблону. И, что хуже всего, текст человека, который пишет на неродном языке - у него ограниченный словарь и осторожный синтаксис, то есть ровно те же цифры, что у модели.

Был такой забавный эксперимент, я больше чем уверен, что вы тоже сталкивались с чем-то подобным. В 2023 году группа из Стэнфорда прогнала через семь популярных детекторов эссе кандидатов на TOEFL. Около 61 процента работ получили метку ИИ, больше половины были помечены всеми семью сервисами одновременно. Эссе американских восьмиклассников те же детекторы почти не трогали.

Не стиль тут маякнул, а словарный запас.

Второй подход. Берут модель-кодировщик (RoBERTa, DeBERTa) - и дообучают на корпусе из двух классов. Человек и машина. Дальше это просто бинарная классификация, никакой статистики вероятностей, только выученные признаки. Проверка текста на ИИ превращается в очень простую задачу. Всё за один вечер.

Да, работает, пока корпус свежий. Как только выходит новая модель с другим распределением выхлопа, классификатор плывёт - его учили на прошлом поколении. Собственный AI Text Classifier от OpenAI прожил на этом меньше полугода: запуск 31 января 2023, закрытие 20 июля того же года. В прощальной заметке компания привела свои же цифры - около 26 процентов машинных текстов классификатор помечал верно, и примерно 9 процентов человеческих метил ошибочно.

Академическая линия пошла малость другим путём. Идея в том, что машинный текст лежит в локальном максимуме функции правдоподобия - модель выбирала самый вероятный путь, поэтому любое отклонение от него вниз. Испортите в тексте несколько слов через перефразировщик и пересчитайте вероятность - у сгенерированного она заметно упадёт, у человеческого будет болтаться в обе стороны. Считаете эту разницу - получаете оценку без всякого обучения. Так устроен DetectGPT.

Развитие метода вышло сильнее самого метода. В Binoculars берут две родственные модели, наблюдателя и исполнителя, и делят перплексию одной на кросс-энтропию по другой. Смысл в том, что эффект просто скучного человека попадает в оба числа и при делении вычитается - остаётся именно машинность. По опубликованным замерам это лучший из общедоступных подходов, и заметно.

Только доступ к весам моделей ему нужен обязательно.

Детектор не угадывает постфактум, метку кладут на этапе генерации. По хешу предыдущего токена словарь делится на два списка, зелёный и красный, и логиты слегка смещаются в сторону зелёного. Читатель разницы не видит, качество почти не страдает. Зато потом достаточно посчитать долю зелёных токенов и провести статистический тест - при достаточной длине текста вероятность случайного совпадения падает до величин, с которыми уже можно идти в суд.

У Google метод довели до рабочего вида под именем SynthID-Text, работа вышла в Nature в октябре 2024, механизм встроен прямо в Gemini.

Но - есть ограничение убивает всю красоту. Метка существует, только если генератор согласился её поставить. Любая локальная модель, любая дообученная сборка, скачанная с Hugging Face, любой сервис без такой встройки - и знака нет вообще. Плюс перефраз метку размывает, а перевод на другой язык стирает.

Коммерческие сервисы - ансамбли первых двух подходов с закрытыми деталями. Считают несколько признаков, взвешивают, прогоняют через свой порог отсечения. Порог они выбирают сами, выборку для калибровки не публикуют, а на выходе показывают уверенный процент, хотя внутри лежит вероятность с широким интервалом.

Turnitin заявлял меньше одного процента ложных срабатываний на уровне документа. Но, увы, позже признал, что на уровне отдельного предложения ошибок существенно больше - а именно подсветку предложений преподаватель и видит в интерфейсе.

Отсюда и разброс, который замечает каждый, кто прогонял один текст через несколько сервисов подряд. Это не косяк конкретного сайта. Это разные пороги на разных прокси-моделях.

Есть работа 2023 года, которая формулирует границу, мол, по мере того как распределение выхлопа модели сближается с распределением человеческого текста, точность любого возможного детектора стремится к подбрасыванию монеты. Не конкретного детектора - любого. Верхняя граница качества задана расстоянием между двумя распределениями, и модели сокращают это расстояние с каждым новым выпуском.

И это без атак. Атаки же стоят дешевле кофе - перефраз чужой моделью, круговой перевод через два языка, вставка невидимых символов, ломающих токенизацию, ручная правка каждого пятого предложения.

С учётом этой оговорки вывод получается такой - обойти ИИ-детектор технически может любой, у кого есть двадцать минут, а вот доказать свою невиновность при ложном срабатывании не может почти никто.

Опровергнуть обвинение нечем. Снимок экрана не аргумент, черновик не аргумент, ссылка на свой стиль не аргумент. Единственное, что работает - история версий документа с постепенным набором текста, и её надо было включить заранее.

Vanderbilt отключил у себя детекцию Turnitin в августе 2023 и объяснил решение так: точность непроверяема, а цена ошибки для студента слишком высока. За ним пошли другие.

Смешно, что практический совет из всего этого выходит один и, собственно, он не про обход. Пишите рвано. Короткое предложение после длинного, конкретная цифра вместо обобщения, узкий термин вместо общего слова, своя реакция вместо нейтрального изложения. Перплексия поднимается сама, разброс тоже.

Проверку проходит не тот, кто писал сам. А тот, кто писал непредсказуемо. Наверное, это будет самым универсальным методом на данный момент.