Двойное обновление GPT-3.5/4: контекст взлетает в 4 раза, для создания плагинов используется API

Рано утром OpenAI опубликовала на своем официальном сайте все подробности обновления, включая следующие аспекты:

Среди них большое внимание должны привлечь новая возможность вызова функций, модернизация двух моделей GPT-4 и GPT-3.5-Turbo, а также различные снижения затрат.

В связи с этим пользователь сети Twitter «Baoyu» сказал, что функция вызова функции обновления OpenAI на этот раз по существу позволяет API напрямую поддерживать агент или плагин.

Теперь разработчики могут описывать функции в GPT-4-0613 и GPT-3.5-turbo-0613, а модель разумно выбирает вывод объекта JSON, содержащего аргументы для вызова этих функций.

Это новый способ более надежно связать функциональность GPT с внешними инструментами и API.

Эти модели были точно настроены, чтобы обнаруживать необходимость вызова функции (в зависимости от пользовательского ввода) и отвечать с помощью JSON, который соответствует сигнатуре функции.

Вызовы функций позволяют разработчикам более надежно получать структурированные данные из моделей.

Например, разработчик может создать чат-бота, который будет отвечать на вопросы, вызывая внешний инструмент (например, плагин ChatGPT).

В частности, такой запрос, как «отправить Ане электронное письмо, чтобы узнать, хочет ли она кофе в следующую пятницу», можно превратить в вызов функции, такой как send_email (to: string, body: string) .

Или преобразовать «Какая погода в Бостоне?» в get_current_weather (местоположение: строка, единица измерения: 'Цельсий' | 'Фаренгейт').

Кроме того, разработчики могут переводить естественный язык в вызовы API или запросы к базе данных.

Например, преобразование «Кто входит в первую десятку моих клиентов в этом месяце?» во внутренний вызов API: get_customers_by_revenue (start_date: string, end_date: string, limit: int).

Или преобразуйте «Сколько заказов у Acme, Inc. было в прошлом месяце?» в SQL-запрос: sql_query (запрос: строка).

Кроме того, он позволяет разработчикам извлекать структурированные данные из текста.

Просто определите функцию с именем extract_people_data (люди: [{имя: строка, день рождения: строка, местоположение: строка}] для извлечения всех людей, упомянутых в статье Википедии.

Раньше пользователям нужно было добавлять множество описаний в приглашение для поддержки агента, но теперь это намного проще, если при запросе API передается параметр functions.

Параметр functions на самом деле аналогичен Агенту, который хочет указать пользователь.

Учтите, что здесь может быть больше одной функции, функция — это объект, а также можно добавить название (name), описание (description), параметры (parameters) и так далее.

Затем возвращаемый результат содержит следующее структурированное содержимое:

function_call: имя вызываемой функции, которое соответствует имени функции, переданному пользователем.

аргументы: значение параметра в формате JSON, включая имя параметра и значение, требуемое пользователем для вызова функции.

Например:

"function_call": { "name": "get_current_weather", "arguments": "{ \"location\": \"Бостон, Массачусетс\"}" }

Иностранные пользователи сети сказали, что наибольшая ценность функции заключается в решении проблемы структурированных данных, возвращаемых GPT, и пользователям больше не нужно вводить сложные подсказки.

Шаг 1: API OpenAI

Шаг 2. Сторонний API

Основным обновлением GPT-4-0613 является упомянутая выше новая функция вызова функции.

Обновление GPT-4-32k-0613, помимо включения всего обновленного содержимого GPT-4-0613, также добавляет более длинный контекст для лучшего понимания более длинных текстов.

По словам OpenAI, в ближайшие недели больше людей, находящихся в списке ожидания, смогут начать использовать GPT-4.

Обновление GPT-3.5-turbo-0613 содержит те же вызовы функций, что и GPT-4, и обеспечивает большую управляемость с помощью системной информации.

Эти две функции позволят разработчикам более эффективно направлять ответы, генерируемые моделями GPT.

ГПТ-3,5-турбо-16к имеет в 4 раза большую длину контекста по сравнению с ГПТ-3,5-турбо, но стоит вдвое дороже.

Комиссия составляет 0,003 доллара США за 1000 токенов на входе и 0,004 доллара США за 1000 токенов на выходе.

Длина контекста 16 КБ означает, что модель теперь может поддерживать ~ 20 страниц текста в одном диалоге.

В то же время в OpenAI заявили, что новая модель будет официально запущена в 6.27, а старая модель не будет снова доступна после 9.13 в этом году.

Наконец, новые новости о снижении цен, выпущенные OpenAI, также тронули многих пользователей.

text-embedding-ada-002 — самая популярная модель встраивания OpenAI. Сегодня мы снизили нашу стоимость на 75% до 0,0001 доллара США за 1000 токенов.

Поскольку самая популярная модель чата — GPT-3.5-turbo, комиссия за ввод токенов снижена на 25%.

Теперь разработчики могут использовать эту модель по цене 0,0015 доллара США за 1000 токенов ввода и 0,002 доллара США за 1000 токенов вывода, что соответствует примерно 700 страницам за доллар.

Цена GPT-3.5-turbo-16k составляет 0,003 доллара США за 1000 входных токенов и 0,004 доллара США за 1000 выходных токенов.

Наш Telegram канал с самыми свежими новостями где так-же можно попробовать бот-BingAi бесплатно без ВПН: t.me/necodery