OpenAI потерпел крах в попытках создать инструмент, который бы определял, написан ли текст человеком или ИИ
Расскажу, что именно делали и к какому результату пришли
Они подошли к задаче, обучив специальную модель на большом количестве примеров текстов, как человеческих, так и созданных разными ИИ-системами.
🔥 Еще больше интересного в моем канале продуктовые штучки
Для обучения они использовали пару текстов на одну тему: один написан человеком, другой — ИИ. Классификатор учился распознавать такие различия.
Однако результаты оказались неутешительными: инструмент правильно распознавал только 26% созданных ИИ текстов, а ещё 9% человеческих текстов ошибочно считал «написанными ИИ».
Это очень низкий результат, хуже случайного.
Особенно плохо классификатор работал на коротких текстах, текстах на других языках и на программном коде. Кроме того, тексты можно было легко изменить, чтобы обмануть детектор, а по мере улучшения ИИ самим детекторам становилось всё труднее отличать одно от другого.
В итоге OpenAI признал, что создать надежный инструмент для этой задачи пока, как минимум, невозможно, и отказалась от дальнейших публичных разработок в этой области.
Главный вывод — на данный момент нет способа точно и надежно (=стабильно) отличать человеческий текст от ИИ, особенно если текст редактируется или адаптируется.