Детектор ИИ-текста признал Чехова нейросетью на 98%: почему такому проценту нельзя верить и что проверять в тексте вместо него

Проверка текста на ИИ легко превращается в спор о скриншоте. Допустим, фрилансер сдал статью, а заказчик вернул её с картинкой: детектор насчитал 87% ИИ, переделывайте. Автор уверяет, что писал сам. Редактору надо решить, кому верить: человеку или цифре.

По такому проценту я бы ничего не решал. Он ошибается в обе стороны: живой текст получает высокий процент, а машинный после правок проходит как человеческий. В первом случае страдает автор, который писал сам, во втором в публикацию уходит слабый текст.

Процент показывает, насколько текст похож на машинный по мнению программы. Кто его написал на самом деле, программа не знает. О качестве текста цифра тоже ничего не говорит.

В тесте НейроВыбора шесть бесплатных детекторов проверили четыре текста, и ни один не ответил верно на все четыре. Отрывок Чехова детектор GigaCheck от Сбера признал текстом ИИ на 98%. Статью Википедии 2018 года, написанную ещё до ChatGPT, другой бесплатный детектор оценил в 85% ИИ. Четыре текста — выборка маленькая, но Чехов в роли нейросети на погрешность уже не тянет.

Большинство детекторов оценивает, насколько предсказуем текст, а предсказуемо пишут и живые люди. Чем привычнее слова и обороты, тем больше текст похож на машинный в глазах программы.

OpenAI, создатель ChatGPT, закрыла собственный детектор ИИ-текста 20 июля 2023 года из-за низкой точности. До этого компания сама написала в блоге, что детектор находил только 26% машинных текстов, а человеческий текст принимал за машинный в 9% случаев. Девять живых авторов из ста с ярлыком ИИ, и это цифры самого создателя ChatGPT.

Turnitin, сервис проверки студенческих работ, написал в блоге, что обнаружил ошибки детектора на 800 тысячах работ, написанных до ChatGPT, то есть заведомо человеческих.

Нагляднее всего это видно на эссе экзамена по английскому TOEFL. В исследовании из журнала Patterns детекторы в среднем пометили как ИИ 61,3% эссе людей, для которых английский неродной, а эссе американских школьников определили верно. Авторы связывают это с тем, что простой словарь делает текст предсказуемым. Когда в эссе TOEFL усложнили лексику, ложные срабатывания упали с 61,3% до 11,6%. Когда упростили эссе американцев, срабатываний стало больше. Похоже, детектор наказывает за простые слова. Для редактора, который просит авторов писать проще, это неприятная новость.

Это английский язык и 2023 год. В работе 2026 года на чешском систематического смещения против неносителей не нашли: результат зависит от языка и времени.

Часто пропустит. OpenAI ещё в том же блоге предупреждала, что ИИ-текст можно отредактировать и обойти её детектор. В исследовании Sadasivan и коллег использовали рекурсивное перефразирование: текст нейросети несколько раз подряд переписывает программа-перефразировщик. Доля обнаруженных текстов заметно снизилась, а качество текста пострадало лишь слегка.

RAID — большой открытый тест на 6 млн текстов и 12 детекторов. Детекторы заявляют точность 99%, но в тесте их легко обманули специальными атаками, сменой настроек, с которыми нейросеть пишет текст, и текстами моделей, которых детектор раньше не видел. В работе на данных RAID хватило простого перефразировщика на модели Mistral. После перефразирования результат детекторов приблизился к случайному угадыванию, как с монеткой. Качество текста при этом сохранилось в 94% случаев, смысл — в 96%.

Перефраз меняет слова, смысл остаётся прежним. Если в исходнике не было фактов, после перефраза их тоже не будет: детектор такой текст пропустит, а читателю он ничего не даст.

• Конкретика. Даты, суммы с единицами, имена людей и названия компаний. Фраза многие компании отмечают рост без единого названия ничего не сообщает. Подставьте абзац в статью про другую отрасль: если он подошёл и там, он пустой.

• Источники. Откройте две-три ссылки и сверьте цифру с первоисточником. Если цифры там нет, скорее всего, её выдумали.

• Следы опыта. Что автор делал сам, где ошибся, что не сработало. Спросите про подробности: тот, кто делал сам, обычно отвечает без заминки.

• Вода. Уберите абзац и посмотрите, что потерялось. Если ничего, абзац лишний; чаще всего это вступления про современный мир и пересказ сказанного в конце.

• Позиция. У автора есть мнение, с которым можно поспорить. Без него получается справка: всё верно, и никому не нужно.

• История версий. Попросите черновики или историю правок документа. Эксперты НИИСЭ считают историю создания текста, то есть черновики, версии и переписку с нейросетью, надёжнее процента детектора.

Эти признаки тоже не доказывают, что писала машина: те же эксперты замечают, что общие слова вместо подробностей и уверенно изложенные несуществующие факты встречаются и у людей. Зато по ним видно, что текст слабый, и спорить с автором можно уже о самом тексте.

Поисковики тоже оценивают пользу текста: Google в рекомендациях для сайтов на октябрь 2026 года пишет, что массовое создание страниц нейросетью без пользы для людей может нарушать его правила против спама, и советует перед публикацией вручную проверять все ИИ-тексты на факты. Александр Крайнов из Яндекса сказал в интервью Market Power, что важно, какой контент получился, и даже в генерации всегда есть вклад автора.

Решение по тексту принимает человек, который его вычитывает и принимает. Процент детектора ИИ — шум, а не доказательство: на нём нельзя ни браковать текст, ни обвинять автора. Детектор путает Чехова с нейросетью, а после одного прохода перефразировщика угадывает немногим лучше монетки. Проверять стоит то, что видно в тексте глазами: конкретику, источники, проверяемые факты, следы реального опыта. А использовался ли ИИ при подготовки хорошего текста — вопрос уже риторический, ведь ответ всегда “да”. Вопрос в том, нейрослоп это или хорший текст, который решает задачу клиента.

Мои статьи по теме:

• Как проверить текст на ИИ: где ошибаются детекторы и что смотреть самому