ИИ-детекторы — новая охота на ведьм

Сначала появился генеративный ИИ. Потом люди начали паниковать: «А что, если сочинение моего студента на самом деле написал ChatGPT?» За считанные месяцы целая индустрия ИИ-детекторов прописала себе роль новой «полиции оригинальности». И казалось: вот он, объективный способ отличить работу реального автора от сочинения машины.

🤔 Проблема в том, что это не работает. Более того, детекторы наносят ощутимый ущерб.

Самое печальное: эти алгоритмы не просто ошибаются. Они делают это ровно в тот момент, когда дело касается интеллектуального труда человека. Чем чище, ровнее и качественнее ваш текст, тем чаще вы попадаете под подозрение: «Слишком хорошо, чтобы это писал человек». Алгоритм считает, что человек пишет хаотично, странно, с шероховатостями.

Вместо глубокого понимания авторского стиля софт опирается на расплывчатые характеристики вроде perplexity («предсказуемость») и burstiness («вариативность» предложения по длине и типу). Но штука в том, что грамотный писатель способен писать гладко и ровно, а ИИ — в свою очередь, всё убедительнее имитирует человеческий стиль. Граница давно стёрлась, оставив вместо чётких критериев одну субъективность, выдаваемую за цифры.

Жертвами этой охоты становятся вполне реальные люди:

— В декабре 2023 года студент Уильям Квотерман из UC Davis был обвинен в использовании ChatGPT для написания эссе, получил ноль баллов и был направлен в судебные органы университета. Он смог доказать свою невиновность, используя историю редактирования в Google Docs.

— Студентка Эмили из Лондона, чье эссе было помечено Turnitin как на 64% созданное ИИ. После расследования с участием нескольких детекторов и эксперта по лингвистике обвинения были сняты.

Исследование Стэнфордского университета показывает, что детекторы ИИ ошибочно маркируют тексты не носителей английского для эссе TOEFL как созданные ИИ, с уровнем ложных срабатываний 61,3%.

А если верить исследованию Scribbr — средняя точность детекторов составляет около 60%, лучшие инструменты достигают 84%. Это катастрофически мало для серьезной оценки.

OpenAI тоже признала проблему: Сэм Альтман убрал с рынка собственный детектор текста AI Classifier, прямо заявив: точность инструмента слишком низкая, чтобы его использовать.

Недавно ещё и скромное авторское тире (em dash) вдруг стало показателем ИИ-текста. Кто-то вдруг решил, что ИИ безудержно увлекается этим знаком препинания, и теперь безобиднейшая вещь становится поводом для сомнений в авторстве.

Писатели и журналисты, годами оттачивавшие мастерство использования тире, вдруг узнают, что это — «GPT-маркер», а некоторых уже шутливо называют «ИИ-писателями», если в их текстах тире чуть больше обычного. Литераторы в шоке, писатели жалуются, что теперь сознательно удаляют тире из своих рукописей, боясь обвинений в использовании ГПТ.

🤖 Я сам постоянно использую тире, с детства, это мой неизменный стиль, так что я конкретно в зоне риска.

Весь этот абсурд становится симптомом глубокой проблемы. Авторство, стиль, творческое намерение — это сложный социально-культурный контекст. Математика тут не поможет, потому что авторский текст — это не только набор слов, но ещё и мысли, чувства, намерения и переживания человека, стоящего за строками.

Что дальше?

Очевидно, нам нужны более прозрачные детекторы — с раскрытием исходных данных, алгоритмов и объяснений результатов. Никаких однозначных «92% AI» без контекста и доказанных оснований. Алгоритмы должны дополнять человеческое решение, а не полностью его заменять.

Если мы продолжим игнорировать проблему, возникнет новый тип цензуры: те, кто хорошо пишет, будут вынуждены намеренно искажать свой стиль, чтобы выглядеть «достаточно людьми».

Подписывайтесь на Telegram-канал Нейрократия.