Эксперимент: редакторы-носители языка из Германии, Испании и Бразилии оценивают тексты от ChatGPT
Head of Content международной редакции Contenteam Алина Сазонова решила проверить, можно ли целиком полагаться на ChatGPT, когда речь идет о создании контента для SEO-оптимизированных блогов на немецком, испанском и португальском языках.
Интересно было узнать, как GPT-3 работает с текстами в нишах, для которых наша редакция пишет каждый день: digital marketing, развлекательный контент для iGaming порталов, b2b-контент. Для этого мы сгенерировали три текста на немецком, испанском и португальском языках и попросили наших нейтив-редакторов сделать необходимые правки и дать объективную оценку получившимся материалам.
Суть эксперимента
ChatGPT заполонил инфополе всех причастных к созданию контента. Да и в целом по индустрии заметно, что искусственный интеллект становится будничным инструментом маркетологов и креаторов. 98% маркетологов, опрошенных Нилом Пателем, утверждают, что будут инвестировать в инструменты ИИ в 2023 году.
Наша редакция работает с более чем 30 иностранными языками. В этом эксперименте мы захотели проверить, можно ли использовать в работе текст, сгенерированный ChatGPT, без дополнительной глубинной редактуры по языку. Ведь если оценивать текст без знания нужного языка, вооружившись только Deepl и максимум LanguageTool, может показаться, что все хорошо. Тема вроде раскрыта, да и выглядит текст целостно. Поэтому для нейтив-редакторов мы поставили задачу оценить каждый текст по следующим критериям:
- структура;
- соответствие стилистике языка целевой аудитории;
- построение предложений;
- логика;
- форматирование;
- грамматика.
А также попросили наших редакторов сделать вычитку и дать развернутую оценку каждому сгенерированному тексту.
Исходные данные
Для эксперимента мы взяли задачи на немецком, испанском и португальском языках, выбрав разные темы. Сформировали ТЗ, аналогичные тем, что получают реальные копирайтеры при работе над статьями. В двух из трех случаях попросили нейросеть выступить в специфических ролях, чтобы повысить экспертность итоговых текстов.
Результат на испанском языке
Самая легкая тема досталась испанскому альтер эго ChatGPT — ему предстояло выдать текст про сериалы, созданные по мотивам видеоигр:
Скажем сразу, план текста ИИ выдержал хорошо, однако выдать 700 требуемых слов ему не удалось — вместо этого получилось 397. Над форматированием тоже пришлось поработать, так как текст был представлен в виде нумерованного списка.
Наш редактор из Испании сразу распознала, что перед ней сгенерированный текст. Ее вердикт был таков:
Текст, созданный ИИ, требует довольно большой работы по редактированию, так как необходимо изменить структуру, внести значительные правки, чтобы избежать повторений: одна и та же структура и информация повторяются по всему тексту, из-за этого текст звучит как будто написан роботом. Кроме того, необходимо проверить используемый стиль изложения, так как по тексту используется формальный стиль, в то время как наиболее подходящим для этого типа статьи является неформальный. Наконец, представленная информация немного скудная и слишком общая, не хватает деталей.
Что касается правок в самом тексте, их и правда получилось довольно много:
Заключение: в изначальном виде без редактуры текст использовать нельзя.
Результат на немецком языке
Задачка на немецком языке была посложнее: ChatGPT предстояло составить текст с советами о том, как создать идеальный дизайн для баннера.
И снова та же проблема: изначальный текст вместо требуемых 1800 слов содержал лишь 440. После всех итераций правок, когда мы просили добавить больше информации и фактов, мы получили 1326 слов. Мы оставили попытки увеличить текст, так как каждый раз нейросеть лишь добавляла новые пункты, превращая статью в бесконечный нумерованный список.
На удивление, наш немецкий редактор сначала не поняла, что перед ней сгенерированный текст. Когда карты были раскрыты, она отметила, что его слабыми сторонами были плохая структура и поверхностное изложение фактов. При этом претензий к грамматике и построению предложений вышло гораздо меньше, чем в испанском тексте.
Полный фидбек таков:
Этот текст на самом деле показался мне довольно качественным. Хотя в нем были небольшие орфографические и грамматические ошибки, а несколько предложений казались немного неестественными, в целом он был хорошо структурирован и отформатирован, логичен, точен и последователен. Советы по созданию баннера были полезными и легко понятными, хотя и немного шаблонными. Поскольку в тексте использовался формальный немецкий язык, он в целом имел более профессиональный тон, чем текст, написанный человеком, что, в зависимости от целевой аудитории, может быть как хорошо, так и плохо. Лично я считаю, что это хорошо.
Одним из недостатков было то, что некоторые моменты в тексте упоминались неоднократно, что может запутать читателя. Примеры: шрифты — упоминаются дважды; тестирование//A/B-тестирование — упоминается дважды; призыв к действию — упоминается дважды; цвета — упоминаются дважды.
При этом информация в отдельных повторяющихся пунктах часто была разной. Поэтому это скорее проблема структуры.
Абзац между/после каждого списка советов, а также заключение тоже были почти одинаковыми.
Единственное, что было «неправильным» в этом тексте — это структура и повторы. Копирование абзацев и предложений — это то, что необходимо улучшить в тексте, написанном ИИ; необходимо больше разнообразия в описаниях и предложениях.
Заключение: несмотря на довольно позитивный фидбек от редактора, все равно в исходном виде сгенерированный текст публиковать нельзя. Начиная от незначительных грамматических ошибок и заканчивая слабым построением текста и смысловыми повторами, такой текст вряд ли вызовет доверие у читателей-носителей языка. Также вызывает сомнение и польза для целевой аудитории, так как советы носят более общий характер.
Результат на португальском языке
Наиболее подробное ТЗ и даже референс достались «опытному маркетологу из Бразилии», в роли которого на этот раз выступал ChatGPT:
Пожалуйста, выступи в роли опытного диджитал-маркетолога, который специализируется на бразильском рынке. Задание — написать исчерпывающую статью о трендах диджитал-маркетинга в Бразилии в 2023 году. Пожалуйста, упомяни также тренды за 2022 год, которые сработали. Целевая аудитория статьи — маркетологи и индивидуальные предприниматели. Статья должна содержать 2000 слов. Она должна легко читаться, быть информативной и вовлекающей. Статья должна быть написана на португальском языке (бразильский вариант).
Ты можешь использовать следующую статью как пример.
И снова все те же проблемы: недостаточный объем и сплошной список пунктов вместо логичной разбивки на подзаголовки:
Наш редактор из Бразилии поняла, что перед ней текст от нейросети, отметив, что тексту не достает содержательности, использования ссылок, глубины анализа, примеров; его содержание довольно поверхностно.
Еще она отметила, что стиль сгенерированного текста более простой и больше подошел бы для таких форматов как FAQ, Helpdesk или постов для соцсетей. Среди прочих недостатков она отметила слабую SEO-оптимизацию текста: несоблюдение плотности ключевых слов и в целом их отсутствие, ну и конечно же отсутствие бэклинков, изображений, внутренней перелинковки.
Ее полный отзыв про текст от нейросети:
- Структура. Статья хорошо структурирована на основе иерархической модели. Несмотря на хорошо выстроенную иерархию, ей все еще не хватает фундаментальных компонентов, таких как фотографии, таблицы и более глубокое содержание. Нумерованный список также мог бы быть более компактным и предметным: вместо 3-4 абзацев, которые могут запутать читателя и повлиять на читабельность.
- Стиль. Несмотря на то, что СhatGPT может строить хорошо структурированные предложения по теме, мы видим, что он все еще слабоват при соединении информации воедино по ходу статьи. Исходя из основной цели создаваемого контента (убедительный копирайтинг, блоги, социальные сети, воронка продаж, новости, информационные рассылки, емейл-маркетинг), статья обязательно должна быть проверена корректорами и редакторами для адаптации в соответствии с замыслом текста.
- Релевантные данные. Текст объемом 850 слов при довольно специфической теме сложно сделать всеобъемлющим или включить в него много данных. Основываясь на качестве содержания текста, видно, что ИИ сжал широкий диапазон тем в разрезе тенденций цифрового маркетинга на 2023 год, основываясь на стратегиях цифрового маркетинга, которые действительно являются трендовыми на рынке ― реферальный маркетинг, видеомаркетинг, персонализированный маркетинг, распознавание речи, искусственный интеллект, чатботы и другие.
Что касается правок, в тексте их было довольно много — местами наш редактор переписывала целые предложения:
Фрагмент вычитанного текста от нейросети: правки редактора из Бразилии
Заключение: не ужасно, но и не отлично. Если подробно прописать задачу и желаемую структуру, СhatGPT сгенерирует логически выверенный текст и даже наполнит его релевантными фактами и информацией. Стилистика на португальском языке все же хромает — без редактора не обойтись.
Результаты эксперимента
Все наши редакторы-носители разных языков сошлись во мнении, что тексты от СhatGPT нуждаются в глубокой редактуре. Начиная от банального форматирования, заканчивая переформулировкой целых предложений. Откровением для нас стало, что в тексте на немецком языке редактору пришлось править даже грамматику.
Если для небольших форматов с коротким сроком годности (например, для постов в соцсети) такие вещи не являются сильно критичными, то, например, при наполнении экспертного блога полезным контентом на узкие темы дополнительная вычитка от нейтив-редактора просто необходима.
Кроме того, чтобы статья выглядела максимально валидно (и действительно являлась таковой) и не была бесконечным списком пунктов между вводным абзацем и заключением, без человеческого вмешательства пока тоже не обойтись.
В итоге список необходимых доработок для текстов, сгенерированных СhatGPT, мы бы сформулировали так:
- Структура: переформатирование списка пунктов в подразделы текста с прописанными подзаголовками h2-h4. Удаление повторяющейся информации по тексту, возможно, объединение некоторых пунктов.
- Содержание: проверка фактов, добавление ссылок на релевантные источники, включение дополнительной информации и примеров (со скриншотами) и более глубокий анализ.
- Язык: приведение к единой стилистике, правка формулировок, проверка и правка грамматики.
Как разумно экономить время и деньги на контенте с помощью ChatGPT?
- Ни в коем случае не пытайтесь заставить ИИ написать разом целый лонгрид. Чем больше слов генерирует бот, тем больше воды вам придется вычищать из готового текста. Разумно формулируйте короткие запросы для ИИ в формате вопрос-ответ. И обязательно перепроверяйте факты и даты, которые появляются в тексте.
- Используйте бота для генерации привлекательных заголовков, meta-тайтлов, дескрипшенов, вариантов рекламных объявлений (по заданным параметрам УТП). Просите редакторов-носителей языка выбирать самые удачные и небанальные версии текстов.
- Если нет возможности глубокой редактуры текста, обязательно пропускайте сгенерированный текст через сервисы проверки текста на AI-генерацию. Мы используем вот эти: https://gptzero.me/, https://crossplag.com/ai-content-detector/.
Вот такие на данный момент наши выводы об использовании ChatGPT в мультиязычном контенте. Делитесь в комментариях вашим опытом, будем рады почитать! 💜
#копирайтинг #ai #seo_оптимизация #контентмаркетинг
А почему на «тройке» тестили, когда уже «четвёрка» есть? По скромным наблюдениям, она посолиднее результат выдаёт
Опять же — исходили из субъективных наблюдений, что бесплатная версия ChatGPT, которая работает на “тройке”, более распространена) Согласна, что любопытно сравнить тексты по одним и тем же ТЗ в разных версиях GPT) А можете ли, пожалуйста, поделиться своими наблюдениями — в чем четвертая версия сильнее третьей?)
А почему всегда упоминается только chatGPT? Чем бот, работающий на нейросети, обученной по общей модели, лучше специализированных нейросетей, которые давно есть и будут, но требуют приложения ручек и бюджетов?
Виктор, вопрос действительно справедливый! Мы решили поэкспериментировать именно с ChatGPT, так как за последние несколько недель наша редакция получила очень много вопросов и запросов именно по нему. Плюс заказчики пытаются самостоятельно генерировать тексты в ChatGPT, а потом приходят к нам за проверкой и редактурой — пока только на английском, где более менее все очевидно. Поэтому захотелось и другие языки потестировать)
Опять же — исходили из субъективных наблюдений, что бесплатная версия ChatGPT, которая работает на “тройке”, более распространена) Согласна, что любопытно сравнить тексты по одним и тем же ТЗ в разных версиях GPT) А можете ли, пожалуйста, поделиться своими наблюдениями — в чем четвертая версия сильнее третьей?)