Эксперимент: пишем с помощью нейросетей и теряем заказчиков
Разработчики генеративных нейросетей утверждают, что в ближайшие годы технологии заменят многих специалистов, в том числе копирайтеров. Некоторых уже увольняют.
Стоит ли опасаться этого на самом деле? Меня зовут Екатерина Новикова, я основатель контент-агентства Contente.Pro. Давайте разберемся на практике, способна ли нейросеть написать текст на заказ так же качественно, как профессиональный копирайтер.
Суть эксперимента
Мы в агентстве решили проверить качество работы нейросетей на практических кейсах. Взяли три заказа от разных клиентов и показали результат работы ChatGPT 3.5. Получили обратную связь и задали дополнительные вопросы.
Просили заказчиков обращать внимание на следующие факторы:
- Грамотность.
- Динамика текста, читабельность.
- Точность фактов.
- Соблюдение ТЗ.
- Выполнение бизнес-задачи.
Если клиента не устраивало качество текста, мы в кратчайшие сроки без доплат переделывали работу вручную.
Давайте посмотрим на примере каждой задачи, что получилось:
Кейс 1. Текст поста для соцсетей блогера.
Запрос клиента: «Нужна серия постов для продвижения личного блога. Тематика – личные помощники ИИ, на 5-10 минут чтения».
Комментарий заказчика по тексту нейросети:
«В целом хорошо, но есть комментарии: очень сложно написано, хочется более простой язык, ну чтоб понятнее для читателей было. плюс непонятно о каком органайзере речь в 3 абзаце, лишняя информация какая-то. Будет хорошо добавить призыв к действию в конце поста , что-то типа "подписывайтесь на мой аккаунт" или что-то такое. Еще непонятно о каких "наших" алгоритмах идет речь в начале».
Результат работы получился очень средним. Хоть нейросеть выполнила ТЗ и даже написала в нужном для социальных сетей TOV (tone of voice), некоторую информацию додумала не в нужную сторону.
Оценка:
- Грамотность: соблюдена.
- Динамика: текст читался легко, но заказчику хотелось более «живого» языка, который подходит специфике соцсетей.
- Точность фактов: ИИ придумал от себя информацию, которой не должно было быть.
- Соблюдение ТЗ: выполнено.
- Выполнение бизнес-задачи: нейросеть не добавила призыв к действию в конце, что было бы правильно написать, так как цель заказчика – привлечение подписчиков в блог.
Кейс 2. Колонка на Я.Дзен для самозанятого медика.
Запрос клиента: «Я ИП, сейчас развиваю блог в Я.Дзен про медицину. Нужна статья для платформы на тему «Как защитить организм весной: полезные советы», чтобы развивать свои услуги. Фактура приблизительная есть, но надо грамотно оформить».
Комментарий заказчика по тексту нейросети:
«Спасибо за работу, есть пара моментов: текст выглядит сыровато, хочется его сделать более живым, чтобы интереснее было читать, а не просто перечисление факторов. Также для Дзена хочется более живой язык, возможно, в разговорном стиле, меньше сложных конструкций. По пунктуации: уберите восклицательные знаки, их слишком много, дефисы замените на тире, кавычки нужно елочки. Также хочется добавить интересных фактов, разбавить ими теорию. В начало тоже просится какой-то громкий факт, чтобы было понятно зачем вообще мы озаботились этой проблемой. Вывод очень общий, хочется больше конкретики, а не просто о том, что здоровье это важно».
По этому отзыву мы видим, что технологии не хватило авторской уникальности. Текст получился скучным, не цепляющим внимание, были перечислены очевидные для большой аудитории факты. Нейросеть не учла специфику площадки, на которой нужно разместить текст, а также высокую конкуренцию за внимание читателя, которое грамотный копирайтер удерживает громкими фактами, емкими фразами и вниманием к «болям» аудитории. Также возникли проблемы с пунктуацией.
Оценка:
- Грамотность: в целом, соблюдена, но были недочеты по пунктуации.
- Динамика: клиенту был нужен яркий «цепляющий» вординг, который заинтересовал бы аудиторию конкретной площадки. Нейросеть не выполнила эту задачу.
- Точность фактов: выдуманных фактов не было.
- Соблюдение ТЗ: выполнено. ТЗ было неполным, поэтому последующие комментарии заказчика, по сути, не являются признаком неправильного выполнения.
- Выполнение бизнес-задачи: слабая фактура текста и отсутствие маркетинговых приемов –– вроде призыва к действию –– не способствуют привлечению новых клиентов автору статьи, что являлось основной целью.
Кейс 3. Статья об особенностях учебы в США для консультирующей компании.
Нейросетям все еще сложно дается фактчекинг. Мы попросили ChatGPT найти и описать интересные факты про один крупный американский университет, она тут же прислала список из пяти пунктов. Два из них были общедоступными и правдивыми, остальные –– выдумкой ИИ. Мы перепроверили источники, на английском в том числе, нигде не было даже примерно похожей информации. Даже попросили нейросеть перепроверить список, дала искусственному мозгу шанс на исправление, так скажем. Но она просто переписала то же самое другими словами.
Можно было сразу убрать эти ошибки, но для чистоты эксперимента мы все же показали текст с выдуманными фактами заказчику. Конечно, нас «спалили» и попросили убрать фейки. На практике такие ситуации не только тормозят работу, но и ухудшают репутацию копирайтера или агентства, ведь фактчекинг – святая обязанность каждого пишущего профессионала.
Получается, на данный момент нейросеть не может гарантировать достоверность текста и клиент рискует получить информацию, не связанную с реальностью. Галлюцинации нейросетей –– серьезная проблема в мире ИИ-разработчиков сейчас.
То есть, создавая контент с помощью технологий, заказчику придется постоянно все проверять вручную. Копирайтер сделает это за вас, по крайней мере должен.
Оценка:
- Грамотность: соблюдена.
- Динамика: соблюдена, факты в тексте были выстроены списком и читались легко.
- Точность фактов: слабая. Были приведены данные, которые не имеют абсолютно никакого отношения к реальности.
- Соблюдение ТЗ: выполнено, если не считать искажение фактов нарушением задачи.
- Выполнение бизнес-задачи: слабое. Целью текста было донесение экспертности компании в вопросах обучения за рубежом. Искажение информации по теме могло привести к снижению репутации автора и оттока клиентов.
До восстания машин еще далеко
Как видите, нейросети уже сейчас способны выполнять некоторые реальные задачи копирайтеров. Но до замены специалистов искусственным интеллектом еще далеко. На практике нейросети хороши в определенных задачах, но не могут заменить человека в других.
Нейросети все еще не в состоянии адекватно анализировать контекст и эмоции, чтобы создавать по-настоящему креативные тексты. Технологии пишут тексты, которые выглядят и звучат адекватно, но лишены тонкости, специфики и индивидуальности. Это особенно важно в контенте, который должен задевать аудиторию за эмоции.
С точки зрения этики, использование искусственного интеллекта поднимает вопрос о правах авторства. Также творениям ИИ пока нельзя доверять из-за частых искажений фактов.
Таким образом, нейросети могут стать незаменимыми помощниками райтерам в редактировании, но не могут полностью заменить последних. ИИ может быть полезен бизнесу для выполнения этих задач: придумать идею для контента, сделать рерайт, найти или создать иллюстрации. Но решить бизнес-задачу с помощью текста сможет только опытный профессиональный копирайтер, который разбирается в основах маркетинга.