Почему руководитель API OpenAI стремится снизить цены

Оливье Годеман, руководитель группы разработки API-продуктов OpenAI, объясняет причины ценовой стратегии технологической компании.

Сэм Альтман видит мир таким, в котором ИИ так же вездесущ, как электричество. Соучредитель и генеральный директор OpenAI, чья компания только что получила инвестиции в размере 500 миллионов долларов от SoftBank, давно предсказывал, что ИИ фундаментально изменит деловой мир . Помимо устранения необходимости тратить время людей на задачи, которые можно автоматизировать, владельцы бизнеса используют ИИ для разработки новых продуктов и услуг для своих брендов. Чтобы видение Альтмана стало реальностью, стоимость использования ИИ должна быть доступной для каждого бизнеса, от крупнейших предприятий в мире до небольших семейных магазинчиков.

К счастью, OpenAI агрессивно снижает цены на свои API-сервисы, которые позволяют компаниям снабжать свои собственные приложения передовыми моделями ИИ. Если вы не можете позволить себе самую продвинутую модель , возможно, вам просто придется подождать, пока цены не снизятся еще больше, поскольку OpenAI постоянно выпускает новые модели с большей мощностью и меньшими ценниками.

OpenAI начала предлагать модели ИИ для коммерческого использования в 2020 году по базовой стоимости в размере $100 в месяц или $400 в месяц. С тех пор компания пересмотрела свою схему ценообразования и сократила расходы более чем в дюжину раз.

Просто посмотрите, насколько резко снизился порог входа для GPT-4 от OpenAI. Когда GPT-4 впервые был запущен в марте 2023 года, OpenAI взимала 30 долларов за миллион входных токенов (данные, обработанные моделью) и 60 долларов за миллион выходных токенов (новый контент, сгенерированный моделью). Текущая версия модели, GPT-4o, стоит всего 5 долларов за миллион входных токенов и 15 долларов за миллион выходных токенов, что на 78 процентов меньше, чем за год.

Сокращение расходов на API является основной целью Оливье Годемента, руководителя группы по разработке API OpenAI. Что касается программного обеспечения, команда инженеров Годемента в значительной степени сместила фокус с разработки новых моделей ИИ на сжатие большего количества информации в модели меньшего размера, что является основным фактором снижения цен. Что касается аппаратного обеспечения, Годемент говорит, что графические процессоры OpenAI (полупроводниковые чипы, используемые для обучения и запуска моделей ИИ) были обновлены за последний год для более эффективной обработки запросов, и команда улучшила свой метод объединения в сеть множества графических процессоров для решения сложных задач.

Рахул Вохра, основатель и генеральный директор подписного почтового приложения Superhuman, был одним из первых предпринимателей, встроивших функции OpenAI в свой продукт. Superhuman использовала экономичную модель GPT-3.5 Turbo для работы функций Auto Summarize и Instant Reply, которые генерировали однострочные резюме над потоками писем и создавали варианты ответов по электронной почте.

Хотя функции Auto Summarize и Instant Reply могут показаться простыми, они не были дешевыми. Например, чтобы создать резюме, модель GPT обрабатывала бы всю ветку электронной почты вместе с инструкциями, подробно описывающими, как должно быть отформатировано резюме. Больше информации в подсказке увеличивает количество входных токенов, обрабатываемых моделью.

Криш Раминени, основатель и генеральный директор инструмента для транскрипции собраний на базе ИИ Fireflies.ai, хотел обновиться с 3.5 Turbo до GPT-4 в начале этого года, но для этого ему пришлось бы повысить стоимость подписки на Fireflies.

Fireflies.ai продолжала использовать 3.5 Turbo для поддержки нескольких функций до июня 2024 года, когда была выпущена GPT-4o mini, заявленная как «самая экономичная малая модель» компании. 4o mini стоит всего 15 центов за миллион входных токенов и 60 центов за миллион выходных токенов, что делает ее в 33 раза дешевле, чем GPT-4o, и более чем на 60 процентов дешевле, чем 3.5 Turbo.

Раминени перевел почти все функции ИИ Fireflies на 4o mini и реинвестировал сэкономленные средства обратно в API, чтобы обеспечить более амбициозные функции и изучить способы использования технологии внутри компании. Раминени говорит, что спрос на продукцию Fireflies вырос в 7 раз за последний год, но ему не пришлось увеличивать размер своей команды поддержки, потому что «мы обучили их делать больше вещей и научили использовать ИИ».

Вохра также перевел большинство функций искусственного интеллекта Superhuman с 3.5 Turbo на 4o mini, что, по его словам, позволило сократить расходы компании на API с 78 000 до 55 000 долларов в месяц.

Годемент говорит, что 4o mini разработан для приложений, которым поручено обрабатывать «очень большой объем базовых задач», таких как реферирование и проверка орфографии, но не так полезен для приложений, требующих общих знаний. С момента запуска GPT-4o mini использование API OpenAI увеличилось более чем вдвое, по словам Годемента, который считает, что этот скачок в использовании доказывает, что снижение затрат может открыть множество новых вариантов использования, которые ранее были недоступны.

«Люди в сфере технологий не привыкли к такому темпу сокращения расходов и совершенствования интеллекта», — говорит он, ссылаясь на тот факт, что затраты на API для других технологических сервисов, таких как облачное хранилище, как правило, улучшаются всего на 10–20 процентов в год.

На своем мероприятии Developer Day в октябре 2024 года OpenAI анонсировала новый метод дальнейшего снижения цен на API. Новая функция под названием Prompt Caching позволяет разработчикам «повторно использовать» токены ввода со скидкой 50 процентов и более быстрой обработкой. Для таких вариантов использования, как Auto Summarize от Vohra, который включает одни и те же подробные инструкции в каждом запросе, API автоматически применит скидку при обнаружении запросов с общими префиксами.

Насколько низкими могут быть цены на API OpenAI? Годемент не готов назвать точную цифру, но говорит: «Мое предчувствие подсказывает, что мы все еще довольно далеки от дна. Я буду удивлен, если мы не сможем снизить их еще на одну величину в течение следующего года или двух».

ps. Комментируйте, пожалуйста! Это помогает продвижению статьи.

Ну и как положено, канал тг))) Канал и чатик

Там под сообщениями и в закрепленном боты KolerskyAi для генерации видео, а так же для доступа в Chat GPT+4 и Dalle-3 без VPN и другие нейросети.