Как выявить текст, написанный нейросетью: маркеры генеративного контента

Часто ли мы задумываемся о происхождении контента, который ежедневно поглощаем в интернете? Неужели теперь придётся смириться с тем, что часть нашего цифрового рациона готовится нейросетями? Насколько вообще легко отличать яства человеческой мысли от фаст-фуда машинного алгоритма? Похоже, пришло время детально поразмышлять над этими вопросами.

За несколько месяцев усердной работы моя команда собрала большой объём нейросетевых текстовых данных. В процессе мы накопили солидный опыт в выявлении лингвистических маркеров для распознавания генеративного творчества. Сегодня я поделюсь находками, предложу список этих маркеров и дам практические советы по приданию искусственным текстам аромата настоящего русского духа. Буду рада обсудить в комментариях и ваши наблюдения за нейронными сетями. Давайте вместе собирать анамнез. 😊

Недавно интернет-маркетинг столкнулся с колоссальным ростом энтропии – резко увеличилось число некомпетентных, низкокачественных и бесполезных текстов, написанных с помощью ИИ. Для них по аналогии со спамом даже ввели специальный термин – «slop». Бесконтрольная эксплуатация GPT-ботов породила бесконтрольную же лень. Авторы стали забывать, что качество и экспертность содержания напрямую влияют, во-первых, на доверие к бренду, а во-вторых, на репутацию и видимость сайта в ПС. Подробнее об этом я писала в предыдущей статье.

Однако LLM («large language models» – большие языковые модели) постоянно совершенствуются, мимикрируют под нас. С каждым выходом их новых версий становится всё труднее отличать сгенерированные тексты от человеческих. Но как тогда фильтровать инфопространство от «мусора» или, скажем, выявлять недобросовестных копирайтеров?

Несмотря на высокую степень адаптивности, нейросети оставляют определённые маркеры, указывающие на искусственную природу документа (даже если он кажется вполне естественным). Здесь как раз пригодились бы AI-детекторы – специальные сервисы для обнаружения признаков машинного алгоритма. К сожалению, эти системы пока весьма ненадёжны: большой процент ложных срабатываний препятствует их широкому применению. Так, история проверки Книги Бытия и конституции США на GPT-генерацию стала мемом, породив шутки про путешествия во времени. К тому же большинство анализаторов не поддерживает русский язык.

Но это не значит, что всё потеряно: пока ещё существуем мы – живые люди. Способность распознавать результаты генератива становится современным навыком, новой формой грамотности, если угодно. Любой специалист, работающий с текстовым содержимым, просто обязан её освоить. Ведь после создания сгенерированный вариант всегда можно «очеловечить» – улучшить стиль, добавить креативности, разнообразить лексику, увеличить информативность и т.д. Качественная переработка нейросетевых «портянок» – беспроигрышный способ улучшения SEO-показателей и повышения ценности публикации в глазах поисковиков. Потому так важно чётко видеть грамматические индикаторы, которые то и дело всплывают в продуктах «жизнедеятельности» GPT.

Споры о том, способна ли машина создавать что-то новое, затмили даже вечное противостояние между любителями пиццы с ананасами и их ярыми противниками. Некоторые разработчики утверждают, что у нейросеток наблюдаются черты самосознания («self-awareness»). Примечателен в этом смысле нашумевший эпизод с разумным агентом LaMDA от Гугла. Кого-то забавляют такие новости, а кто-то трепещет в ожидании скорого апокалипсиса.

Но пока главной задачей искусственных нейросетей остаётся имитация работы человеческого мозга при обработке текстовой информации. И с ней они справляются на твёрдую четвёрку (впрочем, смотря с каким мозгом сравнивать). Один условный балл можно снять за тавтологию, внезапные галлюцинации (официальный термин!), нелогичные формулировки, неуместные знаки препинания и другие грамматические неточности. Рассмотрим подробнее список типовых штампов и ошибок популярных генеративных моделей – ChatGPT, Copilot, Gemini, Claude, YandexGPT.

Нейрофизиологи предполагают, что каждого из нас ждёт деменция, но не все до неё доживут. Нейросети эта болезнь уже затронула. Они частенько забывают, что сгенерировали двумя абзацами выше, и снова повторяют ту же мысль в другой формулировке. Например, ГПТ сначала описывает, как «искусственный интеллект преобразовал IT-индустрию», а чуть ниже вновь берётся разжёвывать то, что «ИИ меняет информационные технологии». Возникает переспам ключевых фраз, материал утрачивает свою логическую последовательность и воспринимается намеренно растянутым. Нарушается связь между фрагментами, а читатель путается.

Такая избыточность называется редундантностью. Дублирование появляется, когда вы многократно запрашиваете генерацию текстов по одной теме или больших статей без заранее заданной структуры. Вероятно также, в базе мало данных по сабжу. У нейронок не отлажен механизм отслеживания того, что они уже сообщили в рамках одного ответа. Апеллировать к ранее написанному они не умеют, поэтому грешат повторами и тавтологией. Но кто не без греха?

Бьюсь об заклад, что каждый из вас сталкивался с «исчерпывающей и информативной информацией», после прочтения которой возникает стойкое чувство, будто наелся травы. Чат-бот знает, как парировать эти претензии: 😂

Решение: рекомендую начинать новую тему в чате для каждого отдельного кейса, разбивать свои запросы на несколько итераций и составлять подробный план для статей. Экспериментируйте с промптингом, применяя разносторонние подходы к описанию. После генерации не поленитесь провести постредактирование – снизить заспамленность ключами, подчистить однообразный текст от дублей и нелепых конструкций, подобрать синонимы. Кстати, сами боты с работой над ошибками тоже частично справляются.

В копилку недугов, которыми страдают текстовые генераторы, добавляются периодические галлюцинации. Бред проявляется в виде несуществующих фактов, нелогичных выводов или странных, порой комичных, утверждений. Подчас LLM попросту «додумывает» недостающие сведения. Например, галлюцинирующая нейросеть может упорно приписывать вымышленные цитаты реальным людям, привязывать неверные даты к известным событиям, объединять разнородные темы в одном тексте. А ведь ложь о происхождении творога из вареников дезинформирует и сбивает пользователя с толку:

Так рождается бессмысленный и малополезный контент («slop»), который поисковики плохо ранжируют или вовсе беспощадно выкидывают из индекса. А это болезненно для коммерческих сайтов, зависящих от органического трафика. Распространение выдуманной информации приводит и к юридическим последствиям. Неспроста компания OpenAI деликатно предупреждает: «ChatGPT может допускать ошибки. Рекомендуем проверять важную информацию».

Решение: следите за проявлением нейробреда, всегда редактируйте сгенерированный материал, не забывая про фактчекинг. Особенно осторожно относитесь к числовым данным в бизнес-проектах, датам, событиям, научным исследованиям и объективным категориям. Улучшайте своего GPT-помощника: оценивайте его «шедевры» лайками/дизлайками, обучайте на точных и проверенных фактах, прописывайте кастомные инструкции.

Водность генеративных текстов напрямую вытекает из двух предыдущих пунктов. Переизбыток слов и выражений, не несущих смысловой или эмоциональной нагрузки, вредит восприятию документа. Часто бессодержательными оказываются и введение и заключение, а основная часть попросту утомляет из-за перегруженности незначимыми пассажами. Если вы встретили статью, подходящую под фразеологизм «воду в ступе толочь», то перед вами результат попыток начинающего копирайтера освоить нейросети.

А вот с вводными словами и сочетаниями не всё так однозначно. С одной стороны, их чрезмерное количество вредит качеству. Если готовить трактат о технологии производства оптических чипов или обзор по методам демонтажа крупногабаритной мебели, вряд ли обилие таких оборотов здесь будет уместным. Тем не менее некоторые модели (Claude, Copilot) могут переусердствовать с поэтичностью вне зависимости от тематики. Это не ускользает от хитрых поисковых систем и большинства ИИ-детекторов.

C другой стороны, вводные фразы значительно обогащают письмо, добавляя ему индивидуальности и «человечности». Текст же, написанный без связующих конструкций, кажется сухим и фрагментированным, он труден для понимания. Это типично для чат-ботов, особенно при плохо заданных промптах.

Решение: контролируйте водность и перегруженность сгенерированного контента с помощью онлайн-сервисов, к примеру, text.ru. Но не доверяйте им слепо. Не брезгуйте вводными конструкциями, чтобы добавить эмоциональной вовлечённости и помочь читателю легко переходить от одной мысли к другой. Применяйте их умеренно и разумно.

Диалоговые AI крайне редко козыряют креативностью, разнообразием стилей и остротами. Они вынуждены писать по стандартному шаблону, поскольку ограничены заложенными алгоритмами. В новых версиях GPT-моделей эта проблема частично решается тщательно составленным промптом с выбором жанра, роли и целевой аудитории. В противном случае вы получаете документ, лишённый индивидуальности, живости, лингвистической палитры. Образное мышление и саморефлексия – исключительно наш общечеловеческий конёк. А нейросети генерят скучно и без страсти. Короче говоря, полная бездуховность!

Важнейший недостаток GPT-ассистентов – неумение в больших текстах миксовать разные тональности, выдавать необычные сравнения, заигрывать с пользователем. Мета- и постиронию, контекстные шутки и образный язык нейронки трактовать умеют, хотя по умолчанию не используют. Но если правильно попросить, выходит неплохо:

Решение: не бойтесь экспериментировать с вариациями стилей и лексики для большей динамики. Мы пишем так, как говорим – каждый в своей манере. Поэтому при редактуре вкладывайте личную творческую ценность в том числе во введение, заключение и заголовки. Тогда никакие анализаторы не смогут обнаружить изначальную роботность. Советую добавлять в качестве приправы:

Увы, никто из нас не Пелевин, не Ильф и Петров. Создать идеальный текст, который удовлетворил бы всех и каждого, невозможно. Однако зацепить читателей – вполне посильная задача.

Как ещё определить, что перед нами искусственно созданный текст? Один из явных маркеров – отсутствие субъективной оценки и отношения к обсуждаемым предметам. Нейросети выполняют сложные лингвистические задачи, но не выражают собственных убеждений в том смысле, как это делают люди. В повествовании вы не увидите эмоционального окраса, подтекстов, сторителлинга или опыта конкретной личности – лишь пресную имитацию. Свою объективность нейросеть передаёт через пассивный залог, из-за чего любой читающий замечает формализм даже без глубоких знаний синтаксиса. Это напоминает мне чудесно приготовленное блюдо без специй: вроде бы и съедобно, но скверно на вкус. А дистиллированную воду пробовали когда-нибудь?..

Решение: к счастью, мы не лишены способности рассуждать, сомневаться и рефлексировать. У нас есть свои предпочтения. Так почему бы этим не воспользоваться? Вплетайте в письменное полотно свои мысли и мнение, авторское видение и рассуждения, риторические вопросы и обращения. Даже толика индивидуальности оживляет сгенерированный контент.

Избегайте пассивного залога, потому что выражения типа «продукт был выпущен компанией» или «работы выполнены в срок» больше похожи на выдержку из бюрократического отчёта.

Хозяйке на заметку: обороты «думаю что», «полагаю», «по нашему мнению», «на мой взгляд», «вызывает сомнения», «однако это не так», «не могу согласиться» и т.д. – признак того, что с текстом работал естественный интеллект.

Помните античный режим T9 для набора текстов на кнопочных телефонах? Он предугадывал каждое следующее слово на основе вероятности. Сегодняшние диалоговые ИИ, как ни странно, работают аналогично, только на более сложном уровне. Степень непредсказуемости или запутанности внутри текстового фрагмента называется перплексией («perplexity»). Этот показатель как раз и маркирует сгенерированное письмо.

Поясню на примере. Придумайте банальные варианты окончания предложения: «В штат нашей компании принимаются сотрудники, прошедшие…». Первое, что может прийти на ум – «испытательный срок», «обучение» или «аттестация». Когда трудится нейросеть, она всегда использует низкий уровень неожиданности – выбирает самые популярные и очевидные словосочетания, не отходя от шаблонов. Поэтому, если документ построен на предсказуемых лексемах, скорее всего, он сгенерирован роботом.

Homo sapiens, напротив, в письменной речи стараются удерживать внимание аудитории. Они могут показывать высокую степень запутанности. Немного поразмыслив, можно подобрать что-то вроде «огонь, воду и медные трубы» или «курс по выживанию в условиях безжалостных дедлайнов». Неожиданно, но до боли жизненно. 😉

Решение: здесь также актуальны рекомендации из пункта 4. Приправляйте творения GPT оригинальными лексическими ходами, чтобы повысить перплексию. Щепотка абсурда, капелька нелогичности и чайная ложка непредвиденности – вот рецепт, который спасёт механический текст. Возможно, своими чудны́ми формулировками вы кого-то спровоцируете, выведете на жгучую эмоцию. Но не это ли один из рычагов маркетинга?

Для анализа роботности вместе с предыдущей метрикой применяют ещё одну – бёрстность («burstiness»). Единого русского эквивалента в нашем языке не закрепилось, поэтому её можно определить как неравномерность, спонтанность или порывистость. Без паники! Сейчас объясню.

Этот показатель оценивает длину и структуру предложений. Как уже говорилось, нейронки пишут на основе паттернов, найденных при обучении. Поэтому пассажи по размеру и составу получаются усреднёнными, вплоть до количества слов и слогов; однородная структура практически никогда не меняется, даже в пределах пары абзацев. Это ближе к академическому письму. Таким образом, на выходе имеем низкую спонтанность/вариативность.

Например, ГПТ-боты настолько облюбовали сложноподчинённые предложения с союзом «который», что пускают их в ход для демонстрации своего функционала. Этот маркер в изобилии присутствует в любом AI-тексте, который выдаётся после первой итерации:

А что человек? В норме мы предпочитаем чередовать сложные и длинные предложения с короткими, случайно распределять в них слова, проявлять внезапные всплески и порывы активности. Наше творчество рушит шаблоны с высоты полёта мысли, отчего уровень неравномерности возрастает. Так мы естественным образом выражаем своё отношение к теме. Недаром спецслужбы давно прибегают к «burstiness» для аналитики общественных настроений в соцсетях и форумах.

Решение: больше спонтанности, больше хардкора! Если только вы не пишете для журнала «Science». Нейросети хорошо работают с уточнениями и указаниями во второй итерации: попросите виртуальный мозг менять структуру и длину сегментов. Следите за частотой употребления следующих масок:

Проведите оздоровительные процедуры по вычитке текста, чтобы уменьшить цифровые следы и разнообразить синтаксис. В конце концов, для расстановки акцентов порядок слов поменяйте!

Русская пунктуация бывает столь беспощадной, что даже са́мому опытному копирайтеру приходится нырять в объятья Розенталя. Основная сложность – влияние контекста на расстановку: одни и те же правила применяются по-разному в зависимости от смысла, структуры, стиля, интонации. Потому мало знать нормы: надо ещё тонко чувствовать нюансы языка. Невыполнимая задача для AI.

Хороший авторский материал будет несравнимо отличаться изяществом и богатством пунктуации, пусть и не всегда верной. Легко заметить, что генеративный контент изобилует запятыми, в гораздо меньшей степени – двоеточиями и тире. Но нейронки буксуют и на этой широкой тропе, оставляя следы пунктуационных недоразумений:

Это далеко не полный перечень проблем с пунктуацией у нейропомощников. Если бы они могли испытывать стыд за невыученные уроки, то краснели бы от каждой ошибки в знаках препинания. Как некоторые из нас. 😳

Решение: увы, простых советов нет. Точно неизвестно, как работают инструменты определения роботности из арсенала ПС; очень возможно, они мониторят систему препинания. Специальные платформы, обещающие правильно расставить знаки, страдают ещё большим букетом синтаксических недомоганий. Поэтому никакая нейросеть не заменит толкового корректора: он и штампы уберёт, и лишнюю запятую удалит, и редкий знак умело впишет.

Литера «ё» в современных текстах столь же редкое и заметное явление, как очаровательная барышня в ярко-красном платье, томно гуляющая по набережной. Брошенная на задворки раскладки, седьмая буква русского алфавита незаслуженно игнорируется. А зря! Озвучу непопулярный лозунг: дорогу ёфикации!

Но почему люди старательно избегают употребления «ё» на письме? Причин тут несколько: традиционный снобизм к «ёкающиму» выговору, заурядная лень, школьная привычка, неактуальная теперь экономия чернил или до конца так и не узаконенный статус буквы. Мнение, что публика якобы «спотыкается» о надстрочные точки, а редакторы заботятся о её комфорте, не выдерживает серьёзной критики. Скорее наоборот: замена на букву «е» приводит к микропаузам, нарушая гармонию и плавность во время чтения. В некоторых случаях меняется смысл словоформы, а мозг вынужден дополнительно анализировать контекст. Стоит ли напоминать и о проблемах с искажениями имён собственных? Лёв Толстой, Афанасий Фёт, Николай Рёрих, мыс Дежнёва, Кёнигсберг и многие другие утратили даже своё первородное произношение. А дьявол, надо помнить, кроется в деталях.

Нейросети по умолчанию проставляют букву «ё» лишь в неоднозначных словах («все» – «всё»). Но её отсутствие, очевидно, не является индикатором генератива. Зато последовательно-упрямое вхождение, напротив, сигнализирует о контенте человеческого авторства.

А вам нравятся публикации с напечатанной буквой «ё»? Поделитесь своим мнением в комментах.

Решение: если вы не состоите в тайном клубе ёфилов или считаете, что Ё – архаизм, то смело пропускайте эту рекомендацию. Желающим же вдобавок облагородить написанное и проявить уважение к потребителям помогут ёфикаторы. Эти программы автоматически заменяют «е» на «ё» в соответствии с правилами русского языка. Юзайте также проверку правописания в текстовых редакторах, пожелания в промптах перед генерёжкой или персонализацию в ChatGPT.

Наш список симптомов, по которым можно вывести нейросетевые тексты на чистую воду, нельзя назвать исчерпывающим. Уверена, каждый из вас предложит свой. Ограниченность языковых моделей не позволяет им учитывать множество аспектов великого и могучего. Не вдаваясь в подробности, выделю дополнительные пункты, на которые стоит обратить внимание:

а) нейросети обожают спамить разными формами местоимений, главным образом в продающих текстах;

б) вместе с тем «свой» встречается значительно реже, чем у человека. Оно заменяется на другие притяжательные местоимения, по-видимому, в силу обученности на трудах английских авторов;

в) по той же причине AI выбирает отглагольные существительные – «осмотр», «разборка», «проверка», «отсутствие», «предоставление», «использование» и т.п. (привет, герундий!);

г) замечена канцелярская привычка ставить два глагола подряд: «помогает решить», «позволяет сделать», «стремится предложить», «предпочитает прибегнуть» и т.п.;

д) GPT-чаты плохо знают правила написания предлогов об/обо, с/со, к/ко, в/во, из/изо, под/подо, отчего временами пропускают конечную гласную. Не удержалась поделиться примером:

Отмечу, что отдельные шаблоны и сигналы генерации в будущем потеряют свою значимость. Тем ценнее будут навыки по выявлению лингвистических маркеров ИИ. Всего год назад нейронки сплошь и рядом допускали орфографические ошибки, а сейчас это лишь случайные артефакты. LLM развиваются семимильными шагами. В режиме реального времени они дообучаются на свежих материалах и фидбеках аудитории, постепенно переключаются к анализу сегментов текста, а число параметров в новейших версиях насчитывает триллионы. Однако до человеческого уровня имитации машинам ещё очень далеко.

Времена меняются, а с ними меняется и контент. Наш нечеловекомерный мир день ото дня становится всё более иллюзорным и поверхностным. Любая статья, новость или пост в блоге могут оказаться произведением искусственного интеллекта. Нейронки, натренированные на огромных объёмах данных, сгенерируют для вас практически что угодно – от диплома по менеджменту до классической фортепианной композиции в стиле Брамса. Однако, несмотря на такой впечатляющий прогресс, эти материалы иногда нарушают авторские права, вводят в заблуждение, содержат искажённые факты или откровенную ложь. Роботам несвойственна этика.

Захламлённость интернета пресловутыми AI-текстами может сыграть злую шутку. Учёные заявляют, что из-за массового слопа GPT-боты начнут впитывать свой же сгенерированный и выложенный контент. А это прямой путь к их деградации. На мой взгляд, тут-то в роли настоящего deus ex machina на помощь придут одарённые публицисты. Яркое, живое творчество обязано стать преобладающим в киберпространстве и оцениваться по достоинству. Поэтому нам предстоит сложная кулинарная работа: заготавливать пропитанные глубиной и уникальностью тексты, которые послужат образцом для нейросетей и деликатесом для читателей. Так давайте же постараемся!

А вы используете искусственный интеллект для создания рутинных статей? Расскажите, пожалуйста, в комментариях.

#тексты #текстыдлясайтов #текстыдлябизнеса #контент #ии #ииинструменты #иивмаркетинге #иидлябизнеса #иивseo #искусственныйинтеллект #digitalагентство