Openai выпустила GPT-4 Turbo с более дешевым API и контекстным окном на 128 тысяч токенов
Всего через восемь месяцев после запуска GPT-4 компания OpenAI представила обновленную модель GPT-4 Turbo с контекстным окном, в которое можно поместить 300-страничную книгу, и более дешевым доступом к API.
Что нового в GPT-4 Turbo?
Вот основные особенности GPT-4 Turbo:
- Контекстное окно объемом 128000 токенов (в 16 раз больше, чем у GPT-4)
- Цена входных токенов в 3 раза дешевле, а цена выходных токенов в 2 раза дешевле по сравнению с GPT-4
- Обладает знаниями о мире вплоть до апреля 2023 года (у GPT-4 знания обрываются до сентября 2023 года)
Как получить доступ
GPT-4 Turbo теперь является моделью по умолчанию, используемой в ChatGPT для пользователей с платной подпиской. Если у вас есть учетная запись OpenAI с существующим доступом к GPT-4, вы также можете получить доступ к новой модели, переключившись на модель gpt-4-11-6-preview.
GPT-4 Turbo доступен для всех разработчиков, которые могут попробовать его, передав в API запрос gpt-4-1106-preview. Вот пример запроса на javascript:
Вот пример на языке Python:
Цены на API
Как разработчик, я больше всего рад снижению цен. OpenAI снизил ее до 3 раз для входных токенов и до 2 раз для выходных. Это делает новую модель гораздо более доступной для небольших разработчиков и стартапов.
Предыдущая цена:
Если вам интересно, что означает лексема, то это фрагменты слов, используемые для обработки естественного языка. Для английского текста 1 токен равен примерно 4 символам, или 0,75 слова.
Кроме того, доступ к API ChatGPT оплачивается отдельно от подписки ChatGPT Plus. Отслеживать расходование можно на странице вашего аккаунта OpenAI.
Автоматическое переключение инструментов
В последней версии пользовательского интерфейса ChatGPT можно заметить, что выпадающий список для выбора инструментов, которые вы хотите использовать, уже исчез. На его месте появилось всего три варианта: GPT-4, GPT-3.5 и Plugins.
Теперь GPT-4 Turbo автоматически подбирает нужные инструменты.
Например, если попросить ИИ сгенерировать изображение, то теперь он достаточно умен, чтобы для этого Dall-E 3.
В целом я рад тому, как быстро OpenAI внедряет инновации в свои языковые модели. Они, несомненно, интересны и открывают широкие возможности для инновационных приложений на базе GPT.
Однако интересно поразмыслить над стратегическим подходом OpenAI. Первоначально OpenAI выпустила свой API, предоставив разработчикам возможность создавать и внедрять инновации, по сути, взяв на себя риски раннего внедрения и вовлечения пользователей. Этот шаг оказался разумной тактикой OpenAI, поскольку он не только способствовал развитию разнообразной экосистемы приложений, но и позволил получить представление о наиболее востребованных функциях.
Теперь OpenAI, похоже, выборочно интегрирует эти популярные функции непосредственно в свою платформу, фактически отбирая лучшие продукты и сервисы, разработанные сообществом.
OpenAI вытесняет небольшие стартапы и разработчиков.
Поэтому им ничего не остается, как придумывать новые идеи приложений, вместо того чтобы конкурировать с крупными компаниями.
насколько реалистично натравить его на github и попросить внести определенные изменения в проект?
Тебе всё равно придётся всё проверять лично
Я не обладаю знанием си уровня понять много файлов и найти, но отдельный код могу проверить
Приятель из Канады за несколько месяцев с помощью gpt-чата освоил бэкенд написания сайтов. Правда он достаточно высококвалифицированный программист, но тем не менее.
Так что пробуйте, потом можете даже рассказать об этом.
небольшое уточнение, я прям вообще не программист. мой предел писать скрипты bash/js для автоматизации и исправить в текстовике несколько строчек, если я понимаю их суть.
ни разработки продуктов, ни в принципе больших проектов я не ковырял. мне нужен старший брат, кто укажет в коде кусок, который отвечает за функционал, а не объяснит текущий кусок
Для тебя и меня есть решение это LM Studio для запуска ии различных моделей локально в итом числе и моделей ии специально преднозначенных для програмирования, но нужны видеокарты либо 3090 или 4090 уровня чтобы нормальная скорость выдачи ответа была как и макс видеопамяти.
А какие-то конкретные модельки могли бы посоветовать?
Code Llama - это семейство моделей, специализированных на задачах кодирования. Они были обучены на 500 миллиардах токенов кода. Базовые модели инициализированы из Llama 2 и затем дообучены на двух разных вариантах: специалист по Python (100 миллиардов дополнительных токенов) и версия, дообученная по инструкциям, которая может понимать инструкции на естественном языке.
Модели показывают передовые результаты в Python, C++, Java, PHP, C#, TypeScript и Bash1. Варианты моделей 7B и 13B поддерживают заполнение на основе окружающего контента, что делает их идеальными для использования в качестве помощников по коду.
Похожую функциональность предлагает проект LocalAI2. Это бесплатная, открытая альтернатива OpenAI, которая работает на обычном оборудовании. Она поддерживает множество моделей, совместимых с форматом ggml, pytorch и другими.
Есть еще модель Replit Code V-1.5 3B.
Bash/JS скрипты - это уже очень хорошая база
совершенно неприменимая для разбора большого проекта на с++