OpenAI начнет маркировать тексты ChatGPT для пользователей в ЕС

OpenAI начнет незаметно маркировать тексты ChatGPT

В ближайшие недели тексты из ChatGPT и Codex для пользователей в ЕС получат невидимый водяной знак. Так OpenAI выполняет требования европейского AI Act.

Технология называется textGrain. Она не добавляет скрытые символы или пробелы. Модель слегка меняет выбор слов и токенов так, чтобы в тексте оставался статистический паттерн, который затем может распознать специальный детектор.

При этом система далеко не безошибочная. Для текста длиной 200 токенов OpenAI обнаруживает метку примерно в 80% случаев, для 400 токенов уже примерно в 95%. Замена всего 10% слов синонимами снижает обнаружение примерно с 92% до 66%, а замена 25% слов до 17%.

Поэтому публичного детектора пока не будет. Доступ дадут исследователям и экспертным организациям. Сам водяной знак не позволяет узнать автора текста, его аккаунт, промпт или конкретный диалог с ChatGPT.

Для API маркировка уже доступна по всему миру как опция и по умолчанию выключена. В ChatGPT и Codex она сначала появится только в ЕС. Позже OpenAI планирует открыть саму технологию textGrain в опенсорс.

Получается, определить текст из ChatGPT станет технически возможно, но обычный рерайт или перевод уже может существенно ослабить метку. Поэтому это скорее дополнительный сигнал происхождения текста, а не надежный детектор ИИ.