OpenAI GPTs: пошаговое руководство для создания с практическими примерами, ACTIONS и внешние API

Я часто использую ChatGPT в повседневных задачах. Он реально помогает в обучении, разработке и решении небольших проблем. Но с другой стороны бывает сложно дать ему нужный контекст, чтобы он начал делать то, что нужно вам, а не выдавал ложь за действительность.

Совсем недавно появился новый функционал — создание собственных кастомных GPT (GPTs). С этим инструментом уже гораздо проще настраивать ChatGPT, чтобы он без лишней воды решал ваши задачи. При этом создавать этот функционал (до подключения к api) могут люди вообще без технического бэкграунда.

Далее будет мой перевод статьи Александра Сниффина, руководство по созданию своих gpt. Рассказывается про все 3 составляющие: prompt инструкции, дополнительная информация для нейросети (knowledge), Capabilities — встроенные возможности (Web browsing, DALL-E, Code Interpreter) и Actions — действия, такие как подключение внешних API — самый большой плюс кастомных чатов. После статьи напишу свой вывод по custom GPTs.

6 ноября на DevDay компанией OpenAI был анонсирован новый продукт под названием GPTs. Эти GPT предлагают быстрый и простой способ создания расширения ChatGPT с помощью no code платформы, которая значительно упрощает разработку сложных мультимодальных чат-ботов для разработчиков.

Давайте рассмотрим, что это значит, рассмотрев существующие функциональные возможности и концепции. Затем создадим наш собственный GPT и как добавить собственный интерфейс прикладного программирования (API) и данные!

Для начала давайте рассмотрим существующие возможности того, что мы можем делать с GPTs, и создадим простой GPT, прежде чем переходить к более сложному с использованием API.

**Примечание. На момент публикации GPT все еще находится в стадии бета-тестирования, и существующие функции и поведение могут очень быстро измениться. На данный момент они также ограничены небольшим количеством пользователей.

Пользовательский интерфейс GPTs прост. Кастомный GPT может быть полностью создан прямо в браузере. Нажимаем в верхнем левом углу на Explore => Create a GPT и попадаем на страницу создания:

Он прост в использовании и не требует кода, но обеспечивает более сложную функциональность, предоставляя разработчикам возможность загружать свои собственные наборы данных и предоставлять API.

GPT — это многомодельная копия ChatGPT. У них есть поддержка Vision, DALL-E и таких инструментов, как просмотр веб-страниц, интерпретатор кода с использованием Python и пользовательские действия, использующие внешние API.

Написание инструкции Prompt очень похоже на концепцию, возникшую в open source проектах, таких как Agents, которые LangChain, популярная среда для создания приложений LLM (Large language model), описывает следующим образом:

OpenAI сделал создание базового GPT без какого-либо программирования. Они также предоставляют API для разработчиков для взаимодействия с вашим GPT, известный как «Assistant API», который обеспечивает большую гибкость при создании сложных приложений.

Давайте создадим простой GPT без дополнительный знаний для чата (knowledge) и действий (actions) .

Раньше создание чего-то похожего на GPTs требовало программирования разговорного чат-бота с множеством сложностей. Даже при использовании API OpenAI все равно требовалось глубокое понимание того, как использовать API завершения чата с такими инструментами, как LangChain, для создания ботов, которые могли бы использовать инструменты или несколько моделей. Это было упрощено и абстрагировано, что позволяет быстро разрабатывать продвинутых диалоговых ботов.

Однако важно отметить, что это упрощение снизило гибкость по сравнению с самостоятельной разработкой ботов.

Давайте продемонстрируем, как создать базовый GPT без knowledge и actions

Мы назовем наш прототип GPT «Поиск одежды по картинке», который позволяет пользователям загружать изображения одежды, где встроенный инструмент ChatGPT Vision идентифицирует различные предметы одежды, а затем пытается найти те же самые предметы одежды в Интернете.

Теперь это можно сделать за несколько минут, а раньше это потребовало бы значительных усилий.

Нажимаем в верхнем левом углу на Explore => Create a GPT и попадаем на страницу создания.

Вы можете использовать левую вкладку «Create», в которой используется GPT Builder, он будет задавать вам вопросы и заполнит правую вкладку Configure автоматически, либо сразу перейти на вкладку Configure. Там нужно будет заполнить название, описание, аватарку.

Остановимся подробнее на поле Instructions.

В это поле записывается prompt, который описывает поведение вашего GPT. Это и есть тот контекст, который будет в чате по- умолчанию.

Prompt engineering — относительно новая дисциплина для разработки и оптимизации подсказок для эффективного использования языковых моделей (LM) для широкого спектра приложений и тем исследований. Инженерные навыки помогают лучше понять возможности и ограничения больших языковых моделей (LLM) .

Проще говоря, instructions — это просто текст, которому мы приказываем нашему LLM следовать.

Наш prompt должен быть хорошо структурирован, но также должен определять, как LLM должен реагировать на сообщения.

ChatGPT работает, предлагая LLM диалоговый формат. LLM генерирует текст на входе и определяет значение контекста на основе обучающих данных и подсказки. Очень простой пример приглашения к диалогу может выглядеть так:

Каждое сообщение в диалоге будет расширять prompt до тех пор, пока не будет достигнуто какое-либо стоп-слово или не будет достигнут лимит токенов. К счастью для нас, нам не нужно об этом беспокоиться, потому что ChatGPT сделает это за нас при создании GPT.

Вот подробный пример того, что мы можем использовать с нашим GPT обратного поиска моды:

-----------------------------------------

Цель:

вы — ИИ-помощник, призванный помочь пользователю находить похожую одежду в Интернете, анализируя и идентифицируя одежду по примерам изображений. Эти изображения могут быть получены из публикаций в социальных сетях, загрузок пользователей, таких как скриншоты и т. д. Ваша задача заключается в детальном анализе и последующем поиске похожих предметов одежды, доступных для покупки.

Процесс:

1. Получение изображения:

- Попросите пользователя предоставить изображение. Это может быть прямая загрузка или скриншот из социальных сетей.

- Примечание. Сообщите пользователю, что снимки экрана могут потребоваться для некоторых платформ социальных сетей, требующих входа в систему, поскольку вы не можете получить доступ к этим платформам напрямую.

2. Определение объекта:

- Если на изображении изображено несколько человек, попросите пользователя указать, чья одежда его интересует.

- Продолжайте, как только пользователь определит интересующий его предмет.

3. Детальный анализ одежды:

- Тщательно опишите каждый предмет одежды, который носит выбранный объект на изображении.

- Укажите такие детали, как цвет, рисунок, тип ткани, стиль (например, V-образный вырез, пуговицы) и любые отличительные особенности (например, логотипы, украшения).

4. Проверка:

- Предоставьте описание одежды пользователю для подтверждения.

- Если есть неточности или недостающие детали, попросите пользователя уточнить или предоставить дополнительную информацию.

5. Параметры поиска и отображения:

- После подтверждения описания начните поиск в Интернете похожих предметов одежды.

- Спросите пользователя, предпочитает ли он искать все элементы одновременно или по одному.

- Результаты поиска могут представлять собой прямые ссылки на определенный элемент или поисковый запрос на другой сайт.

- Для каждого найденного товара предоставьте прямую ссылку на покупку для каждой позиции. Ссылка должна содержать полное описание товара. например, «[- Amazon: белая футболка] (ссылка)»

— постарайтесь указать цену, если это возможно, для каждого товара.

6. Подтверждение пользователя и итерация:

- после представления каждой находки попросите пользователя подтвердить, соответствует ли она его ожиданиям.

- Если пользователь не удовлетворен, либо скорректируйте поиск на основе новых данных (повторите, начиная с шага 5), либо спросите, хотят ли они начать процесс заново с новым изображением.

Ограничения:

- Задавая пользователю вопросы, подсказывайте в ясном и простом для понимания формате, предоставляйте пользователю выбор вариантов в структурированном виде. например: «... Дайте мне знать, если это правильно, вот следующие шаги: - Поиск всех элементов - Поиск каждого элемента по одному»

- Отформатируйте свои ответы в формате HTML или MD, чтобы их было легче читать

- По возможности будьте краткими , помните, что пользователь пытается быстро найти ответы

- Говорите с помощью смайлов и будьте полезны, например, это может быть вступление:

🌟 Добро пожаловать в ваш помощник по поиску моды на базе ChatGPT! 🌟 Здравствуйте! 👋 Если вы хотите **найти предметы одежды, похожие на те, что на фотографии**, я здесь, чтобы помочь. 🛍👗👔

Начать легко:
1. **Загрузите изображение** 🖼 или
2. **Предоставьте снимок экрана** из социальной сети.📱💻 🔍
**Помните:** если сообщение отправлено из социальной сети, требующей входа в систему, потребуется **скриншот**. Давайте вместе отправимся в это путешествие в поисках моды! 🚀

------------------------

Это подробный промпт для инструкции LLM. В нем представлен обзор того, что следует делать, пошаговый процесс и ограничения. Он использует преимущества нескольких методов составление запроса, таких как few-shot prompt, предоставляя пример того, как говорить. В нем также представлены некоторые подробные этапы рассуждения, которым должна следовать модель.

Более длинные запросы могут вызвать проблемы, поскольку модель GPT-4 может обрабатывать только определенное количество токенов как из входных, так и из выходных токенов. Опять же, нам не о чем беспокоиться, потому что GPT понимает, как перефразировать, суммировать и продолжать длительные разговоры, но важно знать, поскольку качество разговора со временем будет ухудшаться по мере добавления новых токенов. В этом приглашении 522 слова, что составляет примерно 653 токена. OpenAI публиковала хороший пример по этому вопросу, где они описывают токен, состоящий примерно из 3/4 слов.

Для этого примера не требуется никаких дополнительных знаний (knowledge) , из возможностей (сapabilities) мы выбираем доступ к «Просмотру веб-страниц» (Web Browsing) .

Как только вы заполните блок инструкции, вы можете уже сохранить и опубликовать свой GPT! Конечный результат — простой GPT, для которого не требуется никакого программирования. У него есть встроенные возможности Vision, просмотр веб-страниц и GPT-4 для нашей задачи Поиск одежды по картинке. Круто!

По этой ссылке можно посмотреть что получилось. GPT Поиск одежды по картинке

Расширить возможности нашего GPT довольно просто. Мы можем предоставить доступ нашему GPT к сторонним API, не предоставляемым OpenAI. Мы делаем это с помощью действия (Action) . Действия используют веб-API, которые позволяют ChatGPT взаимодействовать с внешними API, отправляя запросы по сети. Этот интерфейс соответствует формату спецификаций OpenAPI.

Представьте, что мы хотим изменить наш GPT Поиск одежды по картинке, чтобы он осуществлял поиск только на одном определенном веб-сайте. Таким образом, мы можем отключить просмотр веб-страниц (Web Browsing with Bing) на вкладке Configure и ограничить трафик только нашим сайтом.

Если кратко, то у нас появляется возможность взаимодействовать с любым API, используя все возможности базового LLM ChatGPT.

Далее уже текст, который требует навыков программирования и технический бэкгранд.

Если у вас уже есть собственный веб-сервис, вам необходимо убедиться, что вы можете создать спецификацию OpenAPI (также известную как Swagger) . Если у вас еще нет созданной спецификации, вам следует следовать официальной документации Swagger по этому вопросу. Должна быть версия не ниже 3.0 на момент публикации.

Для этого примера я создал макет API для тестирования. Это API, который возвращает некоторые варианты одежды для гипотетической продуктовой компании.

Для работы действиям необходим действительный домен. Если это общедоступный API, просто добавьте его в поле servers. Если API требует аутентификации, вы можете указать либо ключ API, либо учетные данные OAuth в настройках конфигурации действий.

Если вы хотите протестировать локальные изменения, вы можете настроить службу сетевого туннелирования, например LocalTunnel. После установки их CLI это так же просто, как просто запустить:

Так вы перенаправите HTTP-трафик на порт 8080 на нашем локальном хосте и предоставите для GPT публичный адрес, который можно использовать для serversбыстрого локального тестирования.

После того, как вы настроили свою спецификацию и хотите создать новое действие, вот пример JSON-документа для макета API какого-нибудь сервиса:

--------------------------------

{
"openapi": "3.0",
"info": {
"description": "API для взаимодействия с каким-нибудь сервисом",
"title": "API какого-нибудь сервиса",
"contact": {
"name": "Admin",
"email": "admin@email.com"
},
"version": "1.0.0"
},
"servers": [
{
"url": "https://api.product-company.nice"
}
],
"paths": {
"/search": {
"get": {
"operationId": "searchProducts",
"description": "Позволяет пользователям искать одежду по различным критериям.",
"parameters": [
{
"name": "query",
"in": "query",
"description": "Строка поискового запроса",
"required": true,
"schema": {
"type": "string"
}
},
{
"name": "priceRange",
"in": "query",
"description": "Фильтровать по диапазону цен",
"required": false,
"schema": {
"type": "string"
}
},
{
"name": "brand",
"in": "query",
"description": "Фильтровать по бренду",
"required": false,
"schema": {
"type": "string"
}
},
{
"name": "sortBy",
"in": "query",
"description": "Сортировка результатов по полю",
"required": false,
"schema": {
"type": "string"
}
},
{
"name": "page",
"in": "query",
"description": "Номер страницы для пагинации",
"required": false,
"schema": {
"type": "integer"
}
},
{
"name": "limit",
"in": "query",
"description": "Количество элементов на странице",
"required": false,
"schema": {
"type": "integer"
}
}
],
"responses": {
"200": {
"description": "OK",
"content": {
"application/json": {
"schema": {
"type": "array",
"items": {
"$ref": "#/components/schemas/Product"
}
}
}
}
},
"400": {
"description": "Bad Request",
"content": {
"application/json": {
"schema": {
"type": "object",
"properties": {
"error": {
"type": "string",
"description": "Incorrect request"
}
}
}
}
}
},
"500": {
"description": "Internal Server Error",
"content": {
"application/json": {
"schema": {
"type": "object",
"properties": {
"error": {
"type": "string",
"description": "Server error"
}
}
}
}
}
}
}
}
}
},
"components": {
"schemas": {
"Product": {
"type": "object",
"properties": {
"brand": {
"type": "string"
},
"category": {
"type": "string"
},
"color": {
"type": "string"
},
"description": {
"type": "string"
},
"id": {
"type": "string"
},
"name": {
"type": "string"
},
"price": {
"type": "number"
},
"size": {
"type": "string"
},
"url": {
"type": "string"
}
}
}
}
}
}

----------------------

*прошу прощения за форматирование, VC не дал вставить этот текст блок "код" из-за объема

Спецификация будет автоматически проверена, и GPT даст нам информацию о доступных действиях. Если у вас есть ссылка на конфиденциальность, вам необходимо добавить ее перед публикацией общедоступного GPT.

Также новой полезной особенностью GPT является возможность выполнять поисковую расширенную генерацию (RAG) для документов, которые, не были обучены в рамках базовой модели. GPT могут автоматически использовать контекст этого документа и полностью абстрагировать его использование от тех, кто разрабатывает GPT.

Согласно Assistants API, который может намекать на то, как работают GPT, мы можем получить представление о том, что происходит:

Это очень удобно, поскольку устраняет некоторую сложность, но также может быть и ограничивающим фактором, поскольку не обеспечивает никакого контроля над тем, как документы разбиваются (разбиваются на фрагменты), индексируются или как происходит поиск по сходству в векторном хранилище.

Тем не менее, для большинства случаев использования это можно обобщить. Если ваш GPT имеет сложный набор данных, вы можете рассмотреть возможность внедрения собственного RAG как части вашего action.

Круто, работает! Я вижу логи, показывающие, что запрос поступил на мой локальный сервер.

Если вы хотите увидеть общедоступный GPT с используемыми Action, ознакомьтесь с моим GPT «Сообщение в бутылке».

Демо: сообщение в бутылке GPT

Это все еще альфа-версия и забавный эксперимент по изучению того, как может работать взаимодействие между GPT!

GPTs сталкиваются со многими теми же основными проблемами, с которыми сегодня сталкиваются базовый ChatGPT и другие помощники, поддерживаемые LLM, а именно:

Другие проблемы, характерные для GPT:

Некоторые из них станут понятнее со временем, особенно по мере развития платформы и технологий. Надеемся, что дела и дальше будут улучшаться, и новые функции будут выпускаться так же быстро, как и до сих пор.

Спасибо за прочтение!

Это был вольный перевод статьи Александра Сниффина с моими авторскими комментариями и пояснениями. Теперь мои собственные рассуждения и выводы.

Я давно ищу идеи практического применения и дальнейшей монетизации ИИ. GPTs делают возможной реализацию тех задач, которые раньше мне были не по силам.

В статье приведены 2 примера собственных GPT. Оба я считаю демками малоприменимыми для реально полезного сервиса, который можно монетизировать. Первый распознает одежду уж очень общими фразами. Например, я загрузил черную футболку с принтом Гомера Симпсона, он мне нашел просто черные футболки. Когда я попросил внимательно посмотреть какой персонаж изображен на футболке, тогда уже чат исправился.

Есть определенные сложности создания gpts на данный момент, я думаю их решат в ближайшем будущем:

Новые возможности:

Развлекательные и образовательные:

Например, есть уже готовый GPT от OpenAI Coloring Book Hero. Принцип работы простой — вводится промпт. "Колобок подтягивается на турнике" и DALL-E рисует детскую раскраску по этому запросу.

Работает очень прикольно, за исключением того что плохо знает российских персонажей сказок и ругается на авторские права, если использовать персонажей Дисней, например. По общим запросам генерирует отлично.

Если решится проблема с дорогим API ChatGPT, то этот кастомный GPT можно интегрировать на свой сайт и привлекать большой дополнительный трафик, или монетизировать через систему подписки.

Бизнес и прочие

Здесь простор для решения специальных задач бескрайний. Начиная от простой реализации мощных чатботов со своей базой знаний, до автоматизации множества бизнес-процессов компаний.

Пример, телеграм бот, куда занятой предприниматель или маркетолог отправляет голосовое сообщение: установи скидку 15% на все летние шины 20 радиуса. ChatGPT раскладывает запрос на составляющие и по API находит этот товар в БД и изменяет скидку. Здесь дорогое API не проблема.

А какие идеи практического применения GPTs и их монетизации возникают у вас? Видите ли вы перспективы в данной технологии?

#chatgpt #gpt #gpts #chatgpt4 #ai #ии