Проверка текстов на нейронность через онлайн-сервисы. Есть ли в этом смысл

Создание текстов – это самое очевидное для большинства людей прикладное применение нейросети. И конечно же, мы в Teksty.ru тоже активно тестируем эту технологию.

Кратко о результатах я расскажу в конце статьи, а сейчас хотел бы начать с важного для многих вопроса: а не обманывает ли меня мой копирайтер, делегируя свою работу нейросетям?

Такие вот вопросы породили спрос на сервисы проверки текстов на нейронность, которые я бы хотел рассмотреть в этой статье.

С первого захода сервис меня впечатлил. Он точно определил нейронные предложения в моей экспериментальной статье, написанной в соавторстве с нейросетью. На второй статье он дал небольшой сбой – последний авторский абзац он обозвал нейронным.

Остальные мои статьи на VC успешно прошли проверку на человечность. Начало неплохое.

Проблемы наметились при оценке информационных текстов, которые мы делаем на поток для клиентов. Zerogpt.com начал показывать от 25 до 75% нейронности. И тут я засомневался в себе, в сервисе и в человечестве вообще.

Для проверки адекватности проверки я решил взять сайт biletik.ru, который мы ведем с момента его основания, и протестировать тексты, написанные задолго до появления ChatGPT.

Я взял несколько статей из топ-1 Яндекса.

1. Статья про Боинг 737-700. Ссылка на Вебархив 21.02.2019.

Результат: 41.88% AI GPT

2. Статья про лучшие места в самолете «Аэрофлот». Ссылка на Вебархив 15.11.2018

Результат: 42.41% AI GPT

3. Статья про комнаты отдыха в аэропорту Домодедово. Ссылка на Вебархив 07.09.2018.

Результат: 50.43% AI GPT

Парадокс. Статьи, написанные задолго до выхода ChatGPT, оказались каким-то образом созданы им.

При этом я не выбирал статьи – брал все подряд, и везде проверка показывала участие нейросети.

Вывод: сервис на отлично различает текст с высокой долей художественности и авторского стиля. Если же вы пишете сугубо информационный текст без воды, то неизбежно мозг автора, как и нейросеть, стремится к упрощению слога, что делает текст неотличимым.

Первый сервис в выдаче Google. Ожидаемо при проверке статей приписал соответственно 43, 55 и 42 процентов авторства нейросети. Ясно, понятно.

Еще пациенты из выдачи Google. Очевидно догадавшись, что я им решил скормить старые тексты, просто поочередно ушли в медитацию, так и не дав ответа.

Что может быть лучше, чем проверялка AI Text Classifier от создателей самого ChatGPT? Проблема в том, что данный сервис проверки закрылся. Очевидно, в ChatGPT осознали тщетность попыток определить нейронность. Ну или просто решили не будоражить своих потенциальных клиентов, что также вполне вероятно.

Остальные сервисы, которые удалось найти, сразу просили денег, видимо ожидая увидеть в моем лице тревожного заказчика, готового на любые траты ради восстановления справедливости.

Я благоразумно отказался платить, имея вполне обоснованные сомнения в точности полученных результатов. Уверен, они созданы по той же технологии, что и предыдущие. Вот как text.ru прямо намекает на пополнение счета:

В данный момент у меня нет никаких оснований утверждать, что поисковики как-то занижают тексты нейросети. Экспериментальные 100% ChatGPT тексты, написанные весной этого года, с лета успешно сидят в топе поисковой выдачи, часто даже в быстрых ответах Яндекса. В Гугле тоже нет проблем – в топе много страниц, хотя в целом позиции в этом поисковике ожидаемо ниже, чем в Яндексе.

На самом деле поисковикам нет никакого смысла определять нейронность текста. Во-первых, это потребует колоссальных ресурсных затрат. Во-вторых, поисковики могут определить малополезный неинтересный текст с помощью уже существующих алгоритмов.

Хотя, я допускаю, что в какой-то момент, когда генерированных текстов станет очень много, поисковики введут обязательную маркировку для человеческих текстов. Это, к слову, об угрозе замены копирайтеров нейросетью. Да, дешевых копирайтеров нейросеть заменит, но дорогие станут еще дороже.

В любом случае нейросеть не революционно повлияет на копирайтинг, а всего лишь немного ускорит эволюцию перехода от количества к качеству.

В данный момент нейросеть показала, что она на отлично справляется с рутинными задачами. Там, где надо обработать массив данных и выдать точный ответ, нейросеть справится быстрее и точнее человека.

Также у нейросети стилистика текста получше, чем у большинства копирайтеров – она очень хорошо избегает штампов и имеет широкий словарный запас, что делает текст разнообразным.

Но есть две неустранимые проблемы, которые делают нейротекст непригодным для самостоятельного использования. Первое – отсутствие доступа к фактам или очень своеобразное их интерпретирование. Наиболее эпическим ляпам нейросети я посвятил большую часть вот этой статьи.

Второе – нейросеть может анализировать, но не может чувствовать. Соответственно, она сможет только отрерайтить уже описанные ощущения людей. Сформировать свою точку зрения или воссоздать эмоцию она не способна.

Поняв, как работает чистый нейротекст, я перешел к тестированию гибридной модели – когда нейросеть работает под чуткой редактурой человека. Автор освобождается от рутины и придает тексту фактаж и живые эмоции. О том, какие результаты покажет эта модель, я напишу позже. Сейчас идет активное тестирование гипотезы.

А пока мы все так же по старинке, как и все последние 10 лет, продолжаем привлекать поисковый трафик, используя только данный нам природой миллионы лет эволюционирующий, человеческий мозг. И, естественно, очень активно следим за нейросетью.