Почему ChatGPT пишет воду: A/B тест обычного и профессионального запроса к нейросети

Один и тот же ChatGPT может выдать либо рабочий черновик, либо пять абзацев очевидных советов. Обычно это объясняют одной фразой: «Нужно правильно писать промпты».

Я решил не повторять этот совет, а проверить его на рабочих задачах.

Взял 30 задач из контента, маркетинга, продаж, аналитики и операционной работы YouKey AI. Каждую дважды поставил одной модели: сначала обычной короткой формулировкой, затем структурированным промптом с теми же исходными данными.

Результат внутреннего теста: структурированный вариант выиграл в 24 задачах, в пяти получилась ничья, а в одной короткий запрос оказался лучше. Средний технический балл вырос с 17.1 до 24.1 из 25.

Но этот результат не означает, что длинный промпт всегда лучше. Самый полезный вывод оказался другим: структура помогает там, где она уменьшает неопределённость задачи. В простом сообщении дополнительные блоки могут быть бесполезны и даже мешать.

«Вода» — субъективное слово. Один читатель любит подробные объяснения, другому те же абзацы кажутся повторением очевидного.

Поэтому мы оценивали не длину текста и не впечатление «нравится — не нравится», а пять конкретных параметров:

1. Полнота: закрыты ли важные части задачи.

2. Конкретность: можно ли применить результат к исходной ситуации.

3. Соответствие: соблюдены ли факты, ограничения и формат.

4. Проверяемость: понятно ли, на чём основаны выводы.

5. Пригодность: сколько существенной работы осталось до использования.

Каждый параметр получал от 0 до 5 баллов. Максимум — 25.

Отдельно фиксировали обязательные доработки и неподтверждённые утверждения.

Все 30 задач мы разделили на пять групп:

· контент;

· маркетинг;

· продажи;

· аналитика;

· операционная работа.

В каждой задаче использовали одинаковые исходные факты о продукте. Менялся только способ постановки.

Вариант A — обычный запрос.

Мы не сравнивали «одну фразу без данных» с «огромным документом со всеми фактами». Это было бы нечестно: улучшение могло появиться просто из-за дополнительной информации. Исходные данные оставались одинаковыми.

Средний балл обычных ответов составил 17.1 из 25, структурированных — 24.1. Разница по нашей технической шкале — +40,7%.

Количество обязательных доработок снизилось с 48 до 12, то есть на 75%. В обычных ответах мы нашли 10 неподтверждённых утверждений, в структурированных — ни одного.

Эти цифры нельзя переносить на всех пользователей ChatGPT. Они показывают только то, что произошло на нашей выборке и при нашей методике оценки.

Самая большая разница появилась в маркетинговых и аналитических задачах.

Это логично: запросы вроде «сравни каналы», «проанализируй воронку» или «выбери лучшие сегменты» допускают десятки трактовок. Без заранее заданной базы модель часто:

· выдаёт универсальный список;

· делает выводы без данных;

· смешивает факты и предположения;

· предлагает действия до диагностики;

· выбирает метрику, удобную для красивого ответа.

В продажах разница была значительно меньше. На простое возражение иногда достаточно короткого честного ответа. Подробная ролевая инструкция не добавляет новой ценности, если задача и так однозначна.

Обычный ответ предложил посчитать посещения, регистрации и покупки, найти самое большое падение и улучшить регистрацию.

Это не абсурдный ответ. Но он перескочил через главную проблему: у нас не было фактических показателей и даже подтверждения, что все события настроены.

Оценка варианта A — 14 из 25.

Структурированный вариант начал с ограничения:

Затем разделил путь пользователя:

И только после этого предложил диагностические правила. Например:

· высокий CTR без копирования free — обещание не совпало с карточкой;

· оплата без первого применения — проблема активации;

· первое применение без повторного визита — каталог не стал рабочим инструментом.

Оценка — 25 из 25.

Здесь сработала не длина. Сработали три ограничения: не придумывать цифры, отделить оплату от применения и связать каждый вывод с событием воронки.

Обычный ответ:

А, вот структурированный вариант сказал почти то же самое, только немного подробнее.

Оба получили по 25 баллов.

Это важный результат. Для короткого ответа клиенту не обязательно каждый раз запускать сложный сценарий из десяти блоков. Задача понятна, позиция продукта определена, нужный следующий шаг очевиден.

В задаче «ответить на возражение: ChatGPT сам напишет промпт» обычный вариант оказался сильнее:

Он получил 25 из 25.

Структурированный ответ был содержательно правильным, но стал длиннее и потерял часть разговорной естественности — 24 из 25.

То есть формула «больше структуры = лучше» не подтвердилась. Когда задача простая, длинный промпт может привести к переобъяснению.

После разбора пар мы выделили семь блоков. Они полезны не потому, что делают запрос визуально «профессиональным», а потому что каждый снимает отдельную неопределённость.

Не «ты лучший эксперт в мире», а конкретная перспектива:

Не «проанализируй», а какой результат должен появиться:

Для кого и в какой ситуации выполняется работа:

Какие факты разрешено использовать:

Что нельзя додумывать:

Как человек будет использовать ответ:

Как отличить полезный результат от уверенно написанной воды:

Роль может задать угол зрения, но не сообщает модели, что за продукт перед ней, какие данные есть и что запрещено придумывать.

Модель не знает вашей личной шкалы качества. Для одного это подробность, для другого — краткость, для третьего — готовый документ.

Часть длинных запросов можно сократить вдвое без потери результата. Повторы и противоречия способны только ухудшить ответ.

Если данных не хватает, модель либо спросит, либо начнёт заполнять пробелы предположениями. Для сложных задач полезнее ограничить число вопросов, а не запрещать их полностью.

В нашем внутреннем тесте структурированный промпт чаще давал более пригодный результат. Но не потому, что в нём больше текста.

Он:

· заранее определял задачу;

· сохранял фактическую дисциплину;

· задавал формат;

· отделял данные от гипотез;

· показывал критерий завершения.

Короткий запрос оставался конкурентоспособным, когда задача была простой и однозначной.

Поэтому рабочая формула выглядит не так:

А так:

Поэтому вывод такой — дробить большую задачу на несколько мелких. Нужна статья дели на: анализ аудитории, сбор фактов, триггеров, ключевых слов, определение целей и структуры и только уже можно генерировать статью на основе этих данных

Любой человек может собрать такую структуру самостоятельно. ChatGPT также может помочь улучшить запрос.

Каталог нужен не потому, что промпты невозможно написать без покупки. Его задача — убрать повторную сборку: выбрать готовый сценарий, добавить свои данные, ответить на уточнения и перейти к работе.

В YouKey AI сейчас около 1000+ промптов более чем в 70 направлениях. Бесплатные варианты открыты полностью.

Проверить подход на бесплатном промпте:

Открыть каталог промптов YouKey AIОткрыть каталог промптов YouKey AI

Открыть каталог промптов YouKey AI

Если бесплатных сценариев хватает — покупать полный доступ необязательно.

Telegram-канал YouKey AI Lab:

Открыть Telegram-канал YouKey AI Lab

Там публикуем разборы нейросетей, обновления продукта и практические материалы.

Чтобы не превращать внутренний benchmark в рекламную «науку», фиксируем ограничения отдельно:

· Ответы генерировала одна модель.

· Эта же модель участвовала в технической оценке.

· Задачи взяты из работы YouKey AI, а не из случайной рыночной выборки.

· Мы оценивали качество черновика, а не реальный бизнес-результат.

· Баллы не показывают, сколько денег или времени сэкономит конкретный пользователь.

· Другие модели, режимы и исходные данные могут дать другой результат.

· Для внешнего подтверждения был проведён слепой тест (A и B меняли местами)

Поэтому корректный вывод ограничен нашей выборкой:

На сложных рабочих задачах структурированный промпт заметно улучшил управляемость и пригодность ответов. На простых задачах его преимущество уменьшалось или исчезало.

И это, пожалуй, полезнее обещания «идеальных ответов с первого раза».