«Очеловечить» текст от нейросети — реально или маркетинг? Разбираю исследование ReText.AI на 20 тысячах пар текстов и собираюсь сам проверить на своих

Неделю назад в комментариях под моей статьёй на VC написала Милана из PR-команды ReText.AI. Это российский сервис, у них есть инструмент «Очеловечить ИИ». Они провели исследование на 19 804 парах текстов — полный отчёт с методологией, графиками и таблицами лежит у них в блоге. Плюс дали мне доступ к их Premium-тарифу, чтобы я мог провести собственные тесты.

Эта статья — первая из двух. Сначала разбираю их исследование, что там сильно, что слабо, на что обратить внимание. Через 2-3 дня выйдет вторая часть, в которой я сам прогоняю набор AI-текстов через их сервис и сравниваю до/после через три независимых детектора. То есть проверяю их утверждения руками, не на их же данных.

Сервисы и сравнения по российским и зарубежным хуманизаторам — я выложу в свой Telegram-канал @neurodelec отдельным постом. Там же напишу когда выйдет вторая часть с моим собственным тестом — кому интересно, заглядывайте, не пропустите.

Методология такая. Берётся текст, написанный человеком, из открытых датасетов COLING-2025 Workshop on MGT Detection и ainl-eval — это публичные академические корпуса, любой исследователь может их перепроверить. К каждому человеческому тексту генерируется машинная версия — то есть нейросеть пишет «то же самое» своими словами.

Дальше эта машинная версия прогоняется через инструмент «Очеловечить ИИ» от ReText. Измеряется, насколько вероятность классификации текста как AI-сгенерированного снизилась после обработки.

Размер выборки — 19 804 пары текстов. Из них 12 344 на русском и 7 460 на английском. Для исследовательской работы это нормальная статистическая база, не игрушечный эксперимент.

Машинные версии генерировали через восемь разных моделей:

Микс из лёгких и тяжёлых моделей, открытых и полу-открытых. Если бы тестили только на одной модели — был бы соблазн «натренировать» хуманизатор под конкретно её. Здесь восемь разных — это хорошо.

Тексты раскиданы по 20 тематическим кластерам — от рецептов и кулинарии до правовых документов, бизнес-аналитики, научных статей, личных историй и компьютерных игр.

Медианная вероятность того, что текст AI-сгенерированный, у исходных машинных текстов составляла 0,92. Это значит — детектор почти уверенно определял такие тексты как написанные нейросетью.

После прогона через «Очеловечить ИИ» эта вероятность упала до 0,45. Тексты сдвинулись из зоны «явный ИИ» в пограничную зону, где детектор не может однозначно отнести их ни туда, ни сюда.

Половинное снижение медианы для большой выборки — это сильный статистический эффект, не шум.

Здесь самое интересное. ReText считал не просто среднее снижение, а долю текстов, которые после обработки переходят ниже порога детектора. То есть классифицируются как «более похожие на человеческие».

Топ-7 категорий:

Что я в этих цифрах читаю. Лучше всего хуманизатор работает на формальных текстах с предсказуемой структурой — рецепты, юридические документы, бизнес-анализ, научные статьи. Это логично: в таких текстах AI генерирует особенно шаблонные конструкции (стандартные обороты, повторы, «правильную» грамматику без сбоев) — их легко переписать в живой стиль.

Если смотреть не «доля прошедших ниже порога», а просто доля улучшенных (вероятность ИИ снизилась) — там цифры выше, в большинстве категорий более 90% текстов.

Хуже всего хуманизатор работает на многоязычных текстах — 84,1% улучшения. Команда ReText связывает это с тем, что в обучающем корпусе преобладали русский и английский. По другим языкам инструмент пока слабее.

Сейчас критический разбор. Это и есть смысл статьи — не пересказ пресс-релиза, а что нужно понимать перед тем как делать выводы.

Первое и главное. Метрика прохождения порога — это не доказательство «человеческого авторства».

Когда ReText пишет «66,7% текстов в рецептах прошли ниже порога», это значит — детектор перестал быть уверен в их машинной природе. Это не значит, что 66,7% стали неотличимы от человеческого текста. Разница тонкая, но важная.

Текст может быть в «серой зоне» (вероятность ИИ 0,3-0,5) — детектор не относит его ни туда, ни сюда. Это считается успехом для хуманизатора, но если человек прочитает такой текст внимательно — он может всё равно «почувствовать» машинный стиль.

Второе. Использовали свой собственный детектор.

ReText назвали его isfake. У них своя пороговая функция, своя логика. Это не значит, что результаты неправдивы, но это значит, что обработанный текст показал улучшение по их детектору. Внешние детекторы — GPTZero, Originality.ai, Yandex AI Detector, Compilatio — могут давать другую картину.

В пресс-релизе они это сами честно указывают: «Результаты не являются гарантией результата во всех внешних ИИ-детекторах». Это профессиональный жест, который многие исследования маскируют.

Именно поэтому я планирую вторую часть статьи — прогнать тексты через ReText и потом через три внешних детектора, чтобы видеть полную картину, а не только их собственную метрику.

Третье. В списке моделей-генераторов нет ChatGPT-5 и Claude Opus.

Восемь моделей, которыми тестили — open-source или полу-открытые. Самых популярных закрытых моделей (от OpenAI и Anthropic) в списке нет. Это может быть техническое ограничение — нет массового API-доступа для генерации 20 тысяч текстов — или сознательный выбор.

В любом случае, эффект хуманизатора именно на текстах от ChatGPT этим исследованием прямо не доказан. Я это тоже проверю в своей второй части — буду генерировать тестовые тексты через Claude и GPT.

Четвёртое. Не оценивается сохранение смысла.

В исследовании измеряется снижение вероятности AI, но не оценивается, что произошло с фактологией, стилем и смыслом. Текст может пройти ниже детектора, но потерять часть фактов или стать хуже читаться. Это известная проблема всех хуманизаторов — компромисс между «обмануть детектор» и «сохранить осмысленность».

Это не упрёк ReText, это общее ограничение области. Решается только ручной редактурой после автоматической обработки.

Чтобы не выглядело как разнос — отмечу что мне понравилось.

Открытые датасеты. COLING-2025 и ainl-eval — это публичные академические корпуса. Любой исследователь может скачать те же данные и перепроверить выводы. Это редкость в области — обычно компании используют свои закрытые выборки, и проверить их невозможно.

Восемь разных моделей-генераторов. Не одна, не две — восемь. Это снимает подозрение в «подгонке» инструмента под конкретную модель.

Раскрытие ограничений. Я уже выше это упомянул — в пресс-релизе прямо написано, что метрика не гарантирует результат во внешних детекторах. Многие конкуренты такое маскируют. ReText — нет.

Аккуратные формулировки в пресс-релизе. Я разбираю в основном их пресс-релиз — там нет фраз типа «100% обход всех детекторов» или «нейросеть-убийца GPTZero». Подача спокойная, академическая. Для PR-материала это нетипично.

Несколько прикладных выводов.

Хуманизатор реально работает на формальных жанрах. Если у тебя бизнес-отчёт, юридический документ, маркетинговый текст, научная статья — после прогона через инструмент шанс что детектор «потеряет уверенность» составляет 55-65%. Это уже неплохо для одного клика.

На разговорных жанрах эффект слабее. Личные истории, повседневные тексты, художественные — там доля улучшений меньше, и нужно больше дорабатывать руками.

Не используй хуманизатор как способ обойти проверки. ReText сам это в пресс-релизе пишет, и тут я с ними согласен. Смысл «Очеловечить ИИ» — улучшить читаемость черновика, убрать шаблонные обороты, сделать текст естественнее. А не «протащить контент мимо детектора преподавателя».

Рабочая связка для тех кто пишет с AI: черновик от нейросети → хуманизатор → ручная редактура. Без последнего шага — текст всё равно палится. С последним — становится живым.

Через 2-3 дня выйдет вторая часть статьи с моим собственным тестом. Что в ней будет:

Если интересно следить — у меня в Telegram-канале @neurodelec выложу анонс выхода второй части. Там же лежит сравнение российских и зарубежных хуманизаторов с ценами и моими наблюдениями где какой работает лучше — для тех кто не хочет ждать пару дней и хочет начать тестировать прямо сейчас.