Разоблачаем ИИ-текст: разбор исследований, 13 маркеров с примерами и промт для проверки

Сейчас стыдно не уметь отличать ИИ-текст от человеческого. Как минимум – для осознанного потребления контента. Как максимум – для того, чтобы не быть обманутым теми, кто хочет скрыть свою некачественную работу за нейро-шелухой. Разбираю способы выявления участия ИИ по результатам исследований.

Изучил три источника:

Ассоциации вычислительной лингвистики из Австрии, слепой тест с редакторами.

Исследователи взяли 300 англоязычных статей из американских изданий (AP, NYT, National Geographic и других) и для каждой сгенерировали «двойника» с тем же заголовком. Использовали GPT-4o, Claude-3.5-Sonnet и o1-Pro, в том числе с перефразированием и хуманизаторами.

Люди читали тексты в случайном порядке, называли автора, оценивали уверенность от 1 до 5 и объясняли решение. Те, кто редко пользуется нейросетями для письма, угадывали на уровне случайности: правильно находили ИИ-тексты в 56,7% случаев, а около половины человеческих принимали за ИИ. При этом уверенность у них была высокой, 4,03 из 5.

Пятеро «экспертов», в основном редакторы, корректоры и копирайтеры, которые часто работают с нейросетями, находили ИИ-тексты в 92,7% случаев и ошибались на человеческих в 3-4% случаев. Их общее решение по большинству голосов ошиблось в одной статье из 300.

Эксперты чаще всего обращали внимание на лексику (в 53,1% объяснений), структуру предложений (35,9%), грамматику и пунктуацию (24,8%), оригинальность (23,7%), цитаты (22,3%) и ясность (19,5%). Это доля объяснений, где категория упомянута, независимо от того, был ли вердикт верным.

Отметил для себя три вещи:

Signs of AI writing, Википедия.

Гайд собрали редакторы проекта AI Cleanup на тысячах реальных случаев. Авторы подчеркивают, что список описательный, а не запрещающий: языковые модели учились на человеческих текстах, и не каждый текст с такими признаками написан нейросетью.

Еще сказано, что нельзя полагаться только на детекторы: они ошибаются и не заменяют человеческое суждение. Основная идея гайда: модель стремится к самому вероятному ответу, поэтому заменяет редкие конкретные факты общими позитивными формулами.

Исследование 13 000 дипломов, ReText.AI.

Это единственный русскоязычный массив в моем обзоре + он профильный.

ReText.AI проанализировал почти 13 тысяч выпускных работ за 2013-2025 годы и более 590 млн символов, проверяя абзацы длиннее 500 символов. Доля текста, которую детектор отнес к ИИ, выросла с 9,9% в 2022 году до 42,3% в 2025-м. В заключениях она достигла около 56%, во введениях около 49%, в основной части около 41%.

Здесь три основных нюанса:

С источниками разобрались, переходим к конкретике.

Русскоязычные примеры ниже я составил по образцу гайдов. Замеров надежности для русского языка нет, поэтому оцениваю по англоязычному исследованию и своей интерпретации.

1. Слова-маркеры и канцелярит. Любимые слова и формулы: «играет ключевую роль», «комплексный подход», «широкий спектр», «в рамках». В исследовании это самый частый довод экспертов. Самый сильный сигнал — скопление таких слов в тексте, а не одно слово.

Пример: «Данный подход играет ключевую роль в формировании комплексной стратегии развития».

Надежность: средняя в одиночку, высокая в скоплении. Одно слово ничего не значит: эксперты знают конкретный набор слов, а новички принимают за ИИ любое редкое.

2. Оговорки «важно отметить». Модель любит предупреждать читателя: «важно помнить», «стоит учитывать», «может различаться».

Пример: «Важно отметить, что результаты могут варьироваться в зависимости от обстоятельств».

Надежность: средняя. В деловой и юридической речи люди пишут так же.

3. «Анализ» деепричастием в конце предложения. Факт или событие «подчеркивают», «отражают» и «способствуют». Настораживать должно, когда это делает неодушевленный предмет: человек может подчеркнуть, а событие нет.

Пример: «Компания открыла офис в Казани, подчеркивая приверженность инновациям и открывая новые возможности для клиентов».

Надежность: высокая, если повторяется.

4. «Не только… но и» и «не просто… а». Противопоставление без реального оппонента.

Пример: «Это не просто отчет, а новый взгляд на рынок».

Надежность: средняя. Один случай ничего не значит, в каждом абзаце уже сигнал. Родственный маркер: «Никакой воды. Никаких шаблонов. Только практика».

5. Тройки. Три прилагательных, три действия, три пункта подряд.

Пример: «Мероприятие объединяет специалистов, экспертов и энтузиастов и предлагает доклады, дискуссии и нетворкинг». Надежность: низкая или средняя. Исследование предупреждает: если эксперт зацикливается на структуре предложений, он чаще дает ложные срабатывания.

6. Расплывчатые ссылки на авторитеты. «Эксперты отмечают», «по мнению аналитиков», «исследования показывают» без названия.

Пример: «Аналитики отмечают, что рынок продолжит расти». Надежность: средняя. В журналистике и маркетинге так пишут и люди, нужно проверять, есть ли источник.

7. Синонимы вместо повторов. Модель штрафуется за повтор слова и подставляет замены: герой становится «основателем», потом «предпринимателем», потом «героем нашей истории». Эксперты в исследовании заметили то же: человек пишет «сказал» снова и снова, а ИИ меняет на «отметил», «пояснил». Если текст собирали кусками отдельными запросами, маркер может не сработать.

Надежность: средняя.

8. Ложные диапазоны «от… до…». Конструкция без шкалы между краями.

Пример: «От стартапов до корпораций, от маркетинга до психологии: тема касается всех».

Надежность: средняя.

9. Дежурные начало и конец. «Ранним ноябрьским утром…», «Таким образом…», итог, который повторяет текст, и шаблон «несмотря на трудности, перспективы остаются многообещающими». В исследовании человеческие финалы обрываются резче и менее аккуратно. Но у ReText эта зона самая «ИИ-подобная», и она же самая шаблонная по жанру.

Надежность: средняя.

10. Гладкость без конкретики. Нет цифры, имени, случая, неудобной детали. Абзацы можно переставить в текст на другую тему. «Изобрел первое устройство для сцепки вагонов» превращается в «выдающийся новатор, изменивший отрасль». Сюда же однотипные цитаты: все эксперты говорят одним языком и в одном формате, например всегда в конце абзаца.

Надежность: высокая, но субъективная. После «очеловечивания» именно такие признаки остаются: оригинальность и конкретика труднее подделать, чем словарь.

11. Раздутая значимость. Мелкие детали объявлены символом, наследием, поворотным моментом.

Пример: «Старая фабрика стала символом возрождения района и отражает его богатую историю».

Надежность: высокая в связке с пунктами 3 и 10.

12. Следы чата и технический мусор. «Конечно! Вот ваш текст», «Надеюсь, помогло», звездочки Markdown, utm_source=chatgpt.com в ссылках. Самые очевидные и объективные следы.

Надежность: очень высокая, но редкая.

13. Выдуманные источники и факты. Ссылки, которые не открываются, несуществующие исследования, цифры без источника. В Википедии это тоже отдельный сильный признак. Но это проверка фактов, а не стиля: ей поддаются и тексты после тщательной «очистки».

Надежность: высокая.

Промт не выдает вердикт и проценты, а размечает признаки. Причина в результатах исследования: промт-детекторы справляются хуже и людей, и закрытых детекторов, особенно на «очеловеченных» текстах.

Финальное решение принимайте сами.

Неронка, конечно, может сделать текст, который после ручной правки или промт-колдунства станет «человечным». Но это всегда будет просто компиляцией чужих смыслов, в то время как человек способен генерировать свои, совершенно новые.

Завершаем цитатой в тему.

А какие признаки ИИ-текста срабатывают первыми у вас? И если пробовали промты для проверки, расскажите, что у вас сработало.