Сравниваем ChatGPT c отечественными нейросетями и выясняем, кто лучше пишет на русском
ChatGPT это конечно круто и классно, но общаться на русском с ним не всегда удобно: иногда он долго генерирует ответы, ошибается в окончаниях или пишет какой-то бред. Благо, на российском рынке уже есть свои убийцы ChatGPT — TurboText и Retaxt.ai.
Первый умеет писать разный контент: заголовки, полноценные тексты, новости, описания товаров и даже отзывы. А второй — перефразировать текст с помощью синонимайза. Нейросеть работает с русским, белорусским, украинским и английским языками. Подобрать синонимы и преобразовать текст можно буквально за 7 секунд.
Я решил проверить, насколько хорошо отечественные разработки справляются с текстами. Спойлер: у всех много проблем. Суть эксперимента простая: даю одинаковое задание нейросетям и сравниваю ответы.
Сначала сравниваем ChatGPT и TurboText
Начнем с самого интересного — попросим нейросети сгенерировать текст. Допустим, мне нужен пост для инстаграма, в котором я хочу прорекламировать свой автопрокат и завлечь клиентов новой Tesla Plaid.
Генерируем текст по запросу
Первым отдувается ChatGPT. Вот, какой промпт я использовал.
Сначала ChatGPT задал мне несколько вопросов:
И я на них ответил:
Бот написал пост и сначала сильно меня расстроил — добавил много эмодзи в текст, а еще неорганично расставил абзацы. Сам текст не прикладываю, потому что он большой — можно посмотреть на скриншоте.
Поэтому я попросил ChatGPT чуть-чуть подправить текст таким запросом:
Убери все эмодзи и оставь только 🎁. А также поменяй местами абзацы:
Просто позвоните нам по номеру +7 12345 или напишите в Direct, и мы обязательно свяжемся с вами! 📲 Также, вы всегда можете заглянуть к нам в гости на ул. Уличная, д.7, где мы работаем круглосуточно. 🕰
Электромобиль Tesla Plaid — это не только скорость, но и стиль. 💫 Вы будете в восторге от его элегантного дизайна, исключительных функций и удобства управления штурвалом. 🚀 Не упустите шанс пройти тест-драйв на этой уникальной машине за полцены! 🚗💨"
Пришли полностью готовый пост.
И вот, что я получил в ответ:
Не скажу, что текст получился вау. В нем есть ошибки, да и в целом он выглядит топорно. С другой стороны, если бы я владел прокатом и не хотел искать автора — такой вариант меня бы устроил.
Теперь очередь Turbotext. Сразу отмечу, что общаться с этим ботом нельзя. Ему можно только давать команды по кнопкам.
То есть, улучшить готовый текст словами вроде «убери это предложение» или «поменяй местами» нельзя. И это очень неудобно.
Выбираю «создать текст».
Первым делом нужно ввести заголовок будущего текста. Это тоже неудобно: если я обращаюсь к нейросети за созданием текста мне кажется логичным то, что я не знаю, о чем писать. Но при этом мне все равно нужно придумать заголовок. Да еще и такой, чтобы нейросеть меня поняла, ведь от этого зависит, насколько интересным получится статья.
В общем, даю заголовок: тест-драйв новой Tesla Plaid со скидкой в 50%.
В следующем сообщении нейросеть просит написать лид-абзац. Тоже странно: я все-таки пришел за готовым текстом, а мне его писать предлагают. Беру информацию из своего промпта для ChatGPT и отправляю в чат.
Остался последний этап — прописать ключевые слова для поста. Я использую «прокат, тест-драйв, tesla plaid».
Вот текст, который придумал TurboText:
Итоговый текст получился неплохим. Да, есть корявые моменты и повторения, но, если нет времени писать что-то с нуля — вариант подходящий.
Вывод: chatGPT пользоваться намного удобнее и приятнее. С ним можно поговорить и объяснить, что именно ты хочешь получить. А с Turbotext так не получится — придется заранее придумать заголовок, лид-абзац, так и объяснить потом ничего нельзя. Поэтому здесь 1 балл в копилку ChatGPT, хоть тексты, на мой взгляд, и получились одинаковыми.
Придумываем заголовок для текста
Здесь задача простая: придумать заголовок к посту, который мы только что написали. В случае с ChatGPT я использовал такой запрос:
Вот, что он мне предложил:
А для TurboText просто скопировал текст, сгенерированный им же. И получил два варианта:
Вывод: Turbotext разочаровал. Заголовки выглядят еще хуже, чем русские переводы на алиэкспрессе в 2015 году. А вот ChatGPT набросал неплохие варианты. Больше остальных мне понравился третий. В общем, 1 балл чату.
Создаем описание товара
Для примера я хочу сделать описание стиральной машины Samsung. Ее характеристики взял с какого-то онлайн-магазина.
Вот, как выглядел запрос для ChatGPT:
Итоговый текст получился большим, поэтому вставлю его картинкой.
Выглядит неплохо: ничем не хуже, чем напишут на бирже копирайтинга по ставке 10 рублей за 1 000 знаков.
Теперь очередь Turbotext. Тут процесс разбит на три этапа: сначала указываете категорию товара, затем его марку, а в конце — характеристики. Без долгих вступлений вставляю сгенерированный пример текстом, чтобы читать его было проще.
Нейросеть ошиблась совсем чуть-чуть. Например, она не в тему написала про портативный насос, неон, прибор во время сна. Ну, в общем, вы поняли.
Но дадим нейросети еще один шанс, вдруг я где-то ошибся. Прохожу все этапы снова и получаю:
Вывод: ChatGPT с заданием справился, а Turbotext — нет. Один балл в копилку GPT.
Продолжаем текст по референсу
Здесь тоже все просто: даю нейросетям одинаковый текст и прошу его продолжить.
Вот текст, который нужно расширить: биткоин (BTC) — первая и самая популярная криптовалюта в мире. По состоянию на 4 апреля 2023 года, стоимость одного биткоина — около $28,1 тысяч. Несмотря на популярность биткоина, его все еще окружает множество мифов и заблуждений — это верно и для криптовалютного рынка в целом.
Вот, что мне предложил ChatGPT:
Текст получился водянистым и растянутым. Но если сократить его процентов на 30-40, то можно сделать неплохой материал.
А вот вариант от Turbotext:
Если не брать в расчет структуру, то в целом текст похож на тот, что предложил ChatGPT. Они вдвоем упомянули примерно одни и те же вещи: что биткоин дает людям и зачем его используют.
Вывод: здесь ничья. Оба текста в любом случае нужно сильно дорабатывать.
Настало время Retext.ai
Теперь сравним три сервиса сразу: ChatGPT, Retext.ai и Tutrbotext. Все они умеют делаеть рерайт. Вот и посмотрим, на что способен каждый из них.
Делаем рерайт
Я нашел небольшой кусок текста, в котором рассказывают биографию Леонардо Ди Каприо. Материал брал с сайта kino-teatr.ru.
Первым делом попросил рерайт у ChatGPT.
И получил материал с такой уникальностью:
Посмотрим, как с задачей справился Turbotext.
А справился он еще хуже. Да и сам текст получился с ошибками и местами несвязный.
Вывод: Turbotext проиграл и здесь, а ChatGPT забирает первенство по всем параметрам.
Теперь работаем с Retext.ai. Фишка этого сервиса в том, что он позволяет настроить силу преобразования текста: от низкого до высокого. Я беру по высокий уровень преобразования, чтобы получить максимально уникальный текст.
В результате текст получился уникальнее, чем версия от ChatGPT. Правда, качество первой половины статьи страдает: предложения написаны несвязно, в них нарушена логика и последовательность изложения событий.
Вывод: в плане уникальности Retext выиграл, но ChatGPT все равно написал более интересную статью. Поэтому здесь поставлю 1:1.
Делаем саммари по статье
Саммари — это краткий пересказ какого-либо объемного материала. Но Retext не пересказывает материал, а просто его сокращает. Зато ChatGPT как раз выносит главные тезисы. Поэтому, с одной стороны, сравнение получается не совсем честным: сервисы по-разному обрабатывают текст. С другой стороны, определение у слова саммари одно, поэтому и результат я должен получать примерно одинаковый. В общем, сравниваем.
Вот, что главного chatGPT вынес из моей статьи про сравнение Midjourney и Kandinsky .
Retext.ai приводить в пример нет смысла — он просто выбросил некоторые предложения из статьи и сократил ее. При этом не самым лучшим образом.
Вывод: в этом сравнении меня разочаровали обе нейросети. ChatGPT придумал факты, которых не было. Поэтому в будущем доверять в саммари я ему точно не стану — придется перепроверять все самостоятельно.
А Retext не умеет в пересказы — он просто выбрасывает разные слова и предложения и по итогу делает текст непонятным набором слов. Здесь по 0 баллов каждому.
Что в итоге
То, что развиваются российские сервисы — это круто. Но пока что они слишком далеки от того, что умеет ChatGPT. Я для себя решил, что сейчас вообще нет смысла пользоваться чем-то, кроме чата. А решил это по нескольким причинам:
- Качество контента. В ChatGPT оно на голову выше, чем у конкурентов. При этом почти 80-90% текстов получаются связными, которые можно дорабатывать и использовать в работе. А Turbotext и Retext часто выдают несвязный набор слов.
- Количество возможностей. Turbotext и Retext решают меньше задач. Первый может написать небольшой текст по заданному заголовку, кое-как отрерайтить материал и, возможно, сделать описание товаров (хотя у меня так и не вышло). Второй может только в рерайт и саммари (есть еще функция расширения текста, но она вообще странная, решил ее не упоминать). В ChatGPT можно придумать практически любую задачу, связанную с контентом, и нейросеть будет ее решать.
- Стоимость. ChatGPT можно пользоваться бесплатно и столько, сколько угодно. В Turbotext дают 3 бесплатных попытки на каждую функцию. А вот Retext на 100% платный. И я не вижу смысла платить за то, что работает хуже бесплатного инструмента.
В общем, пока что ChatGPT никто не смог победить. Посмотрим, может быть через пару месяцев или год что-то изменится. Тогда точно ждите еще одну статью на эту тему;)
И заходите в мой телеграм-канал — там ещё больше полезностей про работу с нейросетями.