CheckGPT.app — Нейросеть для определения текста, сгенерированного языковыми моделями (ChatGPT, GPT3, BLOOM)

В конце 2022 года американская компания OpenAI, занимающаяся разработкой искусственного интеллекта, представила чат-бота ChatGPT на базе продвинутой нейросетевой языковой модели GPT-3.5 "davinci", заточенной под диалоговое общение. ChatGPT быстро набрал популярность в сети: за неделю с момента запуска СЕО компании Сэм Альтман отчитался в своем Twitter об 1 млн пользователей. Чем этот чат-бот привлек аудиторию и за счет чего он показывает такие результаты?

Разговорный ИИ чатбот ChatGPT и его способность давать комплексные ответы в режиме реального времени уже были названы потенциальным прорывом в разработке искуственного интеллекта [1] [2].

ChatGPT - революция в мире работы с информацией. Её поиск, создание, обработка теперь никогда не будут прежними. 2022 год без сомнения войдет в историю, как отправная точка для больших генеративных моделей, как языковых так и text-to-anything (Text-to-code, Text-to-image, Text-to-video, Text-to-3D, Text-to-music, Text-to-audio и др).

ChatGPT полностью перевернул правила игры. Он показал потенциал искусственного интеллекта во всей красе. ChatGPT может не просто писать стихи и книги, песни, приветственную речь или статью для блога. Он может написать резюме, да такое, с которым вас оторвут с руками и ногами крупные компании. Он может защитить вас в суде или даже помочь написать диссертацию.

Компания Microsoft вкладывает в OpenAI 10 млрд $, а в Google объявлен "красный код" и проводятся экстренные совещания с Брином и Пейджем по вопросу новых угроз от чат-ботов.

В то время как большинство людей, впервые взаимодействующих с ChatGPT, поражены возможностями, есть и другие, которые обеспокоены тем, какое влияние эта новая технология может оказать в ближайшие годы и десятилетия.

ChatGPT умеет писать синтаксически, грамматически и логически связанные тексты любой длины с сохранением логики и связанности. Например школьники и студенты могут в короткие сроки получать уникальные тематические сочинения и рефераты, доклады и дипломные работы. Ученые могут использовать нейросеть для создания научных работ и статей, неотличимых от профессиональных работ, написанных людьми. Рост плагиата от языковых моделей так же является вызовом.

Например, студент из РГГУ (РОССИЙСКИЙ ГОСУДАРСТВЕННЫЙ ГУМАНИТАРНЫЙ УНИВЕРСИТЕТ), написал и защитил бакалаврский диплом с помощью ChatGPT. Причем "с помощью" означает "ChatGPT написала огромные куски работы, и они вошли в дилом практически без редактирования". Суммарно на написание и редактирование диплома ушло 23 часа. Это с учетом времени, потраченного на оптимизацию запросов к ChatGPT. Вишенка на торте — системы антиплагиата оценивают текст как уникальный на 82%.

Контент, получаемый от ChatGPT ёмок и информативен, релевантен для поиска и может упрощать сложные человеческие понятия в различных сферах для понимания и обучения. ChatGPT обладает большой обобщающей способностью, что позволяет описывать сложные понятия и их комбинации просто, как если бы очень умный человек объяснял ребенку на пальцах.

Новые возможности приносят новые потенциальные угрозы. В короткие сроки интернет может заполниться гигантскими объемами сгенерированной большими языковыми моделями "синтетической" информации.

Важно понимать, что такая "синтетическая" информация генерируется далеко не всегда в благих целях. Например в целях введения в заблуждение, пропаганды, дезинформации и обмана людей на невиданном ранее уровне правдивости и жонглировании фактов, их подтасовке, которую очень сложно отследить.

Как определить что текст сгенерирован языковой нейросетью (ChatGPT и ей подобными)?

Для определения сгенерированного или написанного человеком текста, мы используем комбинацию статистических и эвристических методов.

- Статистические признаки учитывают такие метрики как индекс читаемости и связанности текста, комплексная сложность текста, перплексия, количество уникальных и сложных слов, длина слов и предложений, количество символов и др, юниграмы и токены.

- Эвристические признаки в том числе учитывают извлеченные определенные речевые обороты и слова, нестандартные формулировки и конструкции предложений, отклоенения от текстов, написанных человеком.

В результате работы появился ML алгоритм для классификации текстов, который использует в том числе следующие метрики:

• Перплексия или же «коэффициент неопределённости» — метрика оценки языковых моделей. Она определяет сложность текста.
• Автоматический индекс удобочитаемости — мера определения сложности восприятия текста читателем, аппроксимирующая сложность текста.
• Корреляция встречаемости речевых оборотов в текстах.
• Индекс сложности текста (text complexity).
• Индекс удобочитаемости Флеша (Flesch reading ease formula) — метрика, использующая формулу, оценивающую сложность текста.
• Индекс Колман-Лиау (Coleman–Liau index) — индекс удобочитаемости, который наряду с индексом ARI может использоваться для определения сложности восприятия текста читателем путём аппроксимирования сложности текста.
• Уникальность текста - метрика определения вероятностных и уникальных слов и их комбинаций в предложениях.
• Связанность предложений (cohesion) - и лексическая связность текста или предложения, которая соединяет их в единое целое и придает им смысл; одна из определяющих характеристик текста/дискурса и одно из необходимых условий текстуальности..
• Когерентность (Coherence) - метрика оценки целостности текста, заключающаяся в логико-семантической, грамматической и стилистической соотнесённости и взаимозависимости составляющих его элементов (слов, предложений и т. д.).
• Индекс смешанности (Code Mixing Index) - метрика обозначает спонтанное переключение предложения или речевой составляющей.
• другие know-how решения.

Проверка на примере текста из этой статьи:

CheckGPT умеет определять тексты, написанные:

• ChatGPT
• GPT3
• GPT2
• BLOOM
• AI you.com

CheckGPT реализован и запущен в виде:

• Telegram бота @checkgpt_bot
• RESTApi (пример использования)
  
• веб приложения https://checkgpt.app.

Вы можете проверить результат его работы на собственных текстах и сравнить эффективность определения, а так же встроить его в логику своего приложения или встроить проверку в свой сервис.

На текущий момент CheckGPT распознает только русский и английский языки. В планах адаптировать алгоритм определения на китайском языке.

Связь с авторами в телеграм: @uberwow

Спасибо за внимание.