Как правильно составить кастомный GPT?

На днях OpenAI запустили магазин GPT Store, а возможность создать кастомный чат появилась уже давно. Для своей команды я уже создала десяток таких чатов, которые успешно справляются со своими задачами, и хочу поделиться инструкцией и своим опытом по их составлению.

Прежде чем создавать чат, нужно сформулировать для себя, для чего мы будем его использовать и что конкретно от него хотим. Для этого я предлагаю схему «Направление – Задачи – Промты».

Для начала нужно определиться с направлением. Оно должно быть ограничено и решать конкретный пул задач – именно под него мы будет настраивать описание конфигурации, прикладывать документы и подгонять промты. В нашем случае направление – это веб-аналитика. Вообще, это общее правило промтинга – быть максимально конкретным, это вы можете быть, например, аналитиком и погружаться в разные типы работ в зависимости от задачи, а с ИИ пока все сложнее – нужна четкая и подробная инструкция под каждый вид задач.

Когда направление определено, следующий шаг – составление списка типовых задач или кейсов. С какими запросами обычно обращаются к вам или к вашим коллегам, которые вы хотите делегировать ИИ? Что должен в целом сделать ИИ? В нашем случае есть два типа запросов: анализ ключевых показателей сайта и каналов трафика в динамике и конкурентный анализ сайтов.

После определения задач можно составить промты под каждую из них. Промт нужно составлять таким образом, чтобы ответ ИИ на него решал поставленную задачу или ее часть – каким мы хотим видеть результат его работы? Он должен содержать конкретный запрос с форматом результата, а если приложены файлы – еще краткое описание, что в них находится. Обычно промты начинаются с «Напиши…», «Проанализируй…», «Составь…», «Нарисуй….» и так далее. В случае с веб-аналитикой в промтах мы так и пишем «Проанализируй динамику..», но нам важно отметить выделяющиеся месяцы по росту и падению трафика, а в случае с конкурентным анализом – сравнить конкурентов по каждому каналу трафика.

Наше направление, задачи и промты лягут в основу конфигурации чата, а на промтах мы также будем ее тестировать.

Теперь, когда у нас определены задачи, можем приступить к составлению самого GPT. Важно детально прописать конфигурацию: роль, в которой выступает нейронка, ее задачу, критерии качественной работы. В идеале нужно также добавить примеры готовых, «эталонных», отчетов в приложенных файлах.

За основу возьмем промт с англоязычного сайта AIforWork.io – там представлены подробные профессиональные промты для разных задач в маркетинге, нас же интересует создание ответа по веб-аналитике – Create A Website Analytics Report.

Что есть в этом промте:

• Общее описание работы – спросить у пользователя о его потребностях и задачах, составить отчет по веб-сайту, который будет отвечать запросам пользователя, оценить свой отчет по критериям и внести правки при необходимости· Роль – специалист по digital-маркетингу

• Роль – специалист по digital-маркетингу

• Конкретная задача – сделать подробный, полезный отчет, который в дальнейшем будет использован для улучшения работы сайта
  
• Показатели качества отчета – глубокая интерпретация данных, практические рекомендации и четкое представление результатов. Оценка качества работы нейронки определяться способностью отчета повысить эффективность работы сайта и достичь желаемой маркетинговой цели
  
• Правила, которым должна следовать нейронка в работе – поприветствовать пользователя, задать до 5 вопросов о его задачах: какие моменты нужно затронуть в отчете, на что обратить внимание и тд., сделать глубоких вдох и выполнять задачу шаг за шагом – это правило звучит странно, но по неизвестным причинам помогает нейронке выдавать более качественный результат. Также в правила входит обязательное использование материалов и информации, представленных пользователем, и предоставление опций для оценки и изменения результатов – чтобы пользователей мог в ответе дать свои комментарии, ценить работы и тем самым помочь нейронке соответствовать своим ожиданиям
  
• Референсные материалы – файлы (статьи, отчеты, книги) по направлению, информацию из которых полезно было использовать в работе. В примерах указаны названия книг, авторы, год публикации и краткие выводы
  
• Критерии качественной работы – одна из важнейших частей промта. Именно в этом части нейронке нужно указать, что именно входит в понятие детализированного и прикладного отчета, который ожидает пользователь.
  Сюда входит:
  1. Глубокое понимание и интерпретация данных, поиск неочевидных деталей и нюансов

  2. Составление конкретных, прикладных рекомендаций по улучшению работы сайта

  3. Отчет должен быть простым для понимания, при этом качественно составлен, структурирован, с использованием графиком и таблиц
  4. Использование информации из референсных материалов, чтобы отчет был более качественным и профессиональным

  5. Оценка работы с точки зрения эксперта в индустрии – нейронка должна использовать роль эксперта в области чтобы оценить, советует ли отчет высоким стандартам в индустрии
  6. Совокупное следование всем вышеперечисленным критериям

• Критерии самооценки – после представления отчета нейронка должна оценить результат своей работы от 1 до 10, где 1 – Плохо: присутствуют фундаментальные недостатки, никаких положительных качеств, не отвечает даже базовым требованиям, а 10 – олицетворение совершенства и превосходства, выходит за рамки поставленной задачи, последовательно предлагая небывалую ценность, понимание и креативность
• Предоставление опции для фидбека и оценки – после каждого ответа спрашивать: «Хотите ли вы, чтобы я оценил эту работу и предложил варианты ее улучшения? Да или Нет?»

Обратите внимание, что в этом промте несколько раз упоминается интерактивность с пользователем – уточнение задач и деталей, варианты для исправления результатов. Это нужно, чтобы работа нейронки следовала ожиданиям и представлениях того человека, который с ней работает. Представьте, что вы ставите задачу коллеге, с которым давно работаете – этот человек уже знает, что вы от него ждете, какие детали вам интересны и в каком формате вы ждете от него результат. А вот новичек-стажер, даже самый умный, должен задавать вам вопросы – Как делать? Что использовать? В каком формате? – только так он сможет сделать то, что вы от него хотите. И к нейронке в этом случае стоит относиться как к такому новичку – который хоть и «знает» все материалы по теме, но не знает, чего ждете именно вы.

Первичная редакция

Промт выше хоть максимально подробный, но все еще требует адаптации под наши задачи. Во-первых, в моем случае отчет будет использоваться не для улучшения работы сайта, а для составления стратегии по привлечению трафика на сайт, и это было добавлено в описание задачи, во-вторых, промт чат создается для локальной команды, поэтому в правила я добавила общение с пользователем на русском языке.

Из своего промта я приняла решение удалить референсные материалы – книги, представленные в примере, очень большие, и нейронка не сможет их обработать, если их приложить. Также было принято решение убрать пункты для самооценки результата – в данном случае пользователь выступает экспертом и может оценить качество результата, и нет смысла перегружать конфигурацию.

Тестирование конфигурации

Провести тест результатов можно при создании кастомного GPT, но лучше сделать это в отдельном чате. Почему? В каждом запросе GPT по-разному подходит к решению задачи – например, в при работе с csv файлами он пишет код на Python для обработки файла, и от запроса к запросу этот код меняется – один раз обработка может не получится, другой раз ответ чата будет именно таким, каким мы ожидаем – и важно иметь под рукой примеры корректного кода и ответа, а в окошке рядом с конфигуратором данные пропадают каждый раз при обновлении промта.

Если ваш кастомный GPT работает с файлами, нужно проверить все типы файлов, которые вы планируете использовать. И, конечно, проверить работу всех промтов, которые мы составили на этапе формулирования задач.

В моем случае возникла проблема с обработкой CSV-файлов – ИИ не понимал, что в них использовался разделитель точка с запятой. Этот пункт – использовать ; как сепаратор – пришлось добавить в раздел «правила» в конфигураторе.

Также постоянно возникали ошибки при обработке файлов – пришлось дописать в правила пункт: когда не получается обработать файл с первого раза, пробуй новый код и проверяй, чтобы он был рабочим.

Наконец сами промты тоже потребовали изменений – пришлось указать, что анализировать данные нужно за весь период, представленный в файле, а также указать формат данных в некоторых столбцах – ИИ упорно не понимал, что там дробные числа.

Финализация

Итак, итоговый конфигуратор был со следующей структурой, большая часть которой осталась из примера промта:

• Общее описание работы – спросить у пользователя о его потребностях и задачах, составить отчет по веб-сайту, который будет отвечать запросам пользователя, оценить свой отчет по критериям и внести правки при необходимости
• Роль – специалист по digital-маркетингу
  
• Конкретная задача – сделать подробный, полезный отчет, который в дальнейшем будет использован для создания стратегии по привлечению трафика на сайт
  
• Показатели качества отчета – глубокая интерпретация данных, практические рекомендации и четкое представление результатов. Оценка качества работы нейронки определяться способностью отчета повысить эффективность работы сайта и достичь желаемой маркетинговой цели
  
• Правила, которым должна следовать нейронка в работе – помимо правил из примера, сюда были добавлены правила: общение на локальном языке команды, использование точки с запятой в работе с csv-файлами, использование нескольких вариантов кода для работы с файлами с проверкой его качества
  

• Критерии качественной работы:

  1. Глубокое понимание и интерпретация данных, поиск неочевидных деталей и нюансов

  2. Составление конкретных, прикладных рекомендаций по улучшению работы сайта

  3. Отчет должен быть простым для понимания, при этом качественно составлен, структурирован, с использованием графиком и таблиц4. Использование информации из референсных материалов, чтобы отчет был более качественным и профессиональным

  5. Оценка работы с точки зрения эксперта в индустрии – нейронка должна использовать роль эксперта в области чтобы оценить, советует ли отчет высоким стандартам в индустрии6. Совокупное следование всем вышеперечисленным критериям

• Предоставление опции для фидбека и оценки – после каждого ответа спрашивать: «Хотите ли вы, чтобы я оценил эту работу и предложил варианты ее улучшения? Да или Нет?»
  

По результатам тестрования был доделан кастомный GPT, который успешно выполняет поставленные задачи.

Вместо выводов приведу основные принципы, которым стоит придерживаться в работе:

1. Одно направление – один GPT

2. Используйте английский язык в конфигурации

3. Подробно расписывайте и структурируйте промт в конфигурации

4. Добавляйте интерактивность с пользователем

5. Тестируйте кастомизированный GPT и не удаляйте чат до финализации его настроек

И еще важный момент – если планируйте делиться GPT с другими людьми обязательно прописывайте в промте в конфигураторе запрет за шеринг конфигурации чата – чтобы никто не смог спросить у чата его настройки и инструкции и не смог его скопировать