Новая модель OpenAI gpt-4o на примере реального продукта
Обновили модель gpt-4o в приложении нашего клиента - Summarizer, сразу же рассказываем об эффекте после изменений.
Обновление главного ИИ
На этой неделе отгремела презентация от OpenAI, на которой они представили новую модель - GPT-4o. В основном рассказывали про пользовательские изменения - появилось десктоп приложение, крутая модель стала доступна в бесплатном доступе, генерация голосового ответа стала более человечной и генирируется практически моментально и много других интересных фич.
Нас больше всего интересуют возможности, которые открывает новая модель в плане API, поскольку мы используем его для работы Summarizer. Что нам обещают:
Меньший расход токенов
Чем меньше токенов расходуется, тем дешевле для разработчика обработка информации. С новой моделью расход уменьшился с 1.1 раза (для английского), до 4.4 раза (для языка Gujarati). Про русский тоже не забыли
Более быстрая обработка
На презентации объявили, что обработка в два раза быстрее по сравнению с GPT-4-Turbo
Понимание текста
В бенчмарках по когнитивным способностям модель тоже всех порвала и вырвалась на первое место:
Давайте скорее посмотрим, как обновление показывает себя на реальном продукте!
Стоимость и скорость
Сравнивать будем две модели - новую GPT-4o (gpt-4o-2024-05-13) и последнюю GPT-4-Turbo (gpt-4-0125-preview). В каждую модель отправим видео на русском и английском, чтобы сравнить данные для основного и иностранного для модели языка
gpt-4-0125-preview
Видео на английском
время обработки: 1:44
кол-во токенов: 8019 на вход, 782 на выход
цена обработки: $0.104
Видео на русском
время обработки: 1:31
кол-во токенов: 9021 на вход, 1538 на выход
цена обработки: $0.136
gpt-4o-2024-05-13
Видео на английском
время обработки: 1:33
кол-во токенов: 8019 на вход, 791 на выход
цена обработки: 0.052$
Русское видео
время обработки: 1:21
кол-во токенов: 9021 на вход, 1084 на выход
цена обработки: 0.061$
Цена обработки оказалась в два раза меньше! Уже это можно считать победой. По токенам все не так круто, как рисует нам OpenAI, для русского языка уменьшение получилось только в 1.4 раза, а для английского ничего не поменялось. Но это в любом случае неплохо, плюс надо бы собрать больше данных, чтобы сделать более реальные выводы.
Время обработки уменьшилось не сильно, всего на 10-11 секунд как для английского, так и для русского видео. Это связано с тем, что помимо gpt в приложении используется whisper, который переводит аудио в текст, чтобы отправить его на суммаризацию в gpt. Обновления whisper у OpenAI в этот раз не было, так что там без изменений (но мы очень ждем!).
Качество результатов
Сравнивать будем то же самое - две модели и два языка. Для лучшего понимания и оценивания результатов расскажу про видео
английский - презентация gpt-4o (что же еще я мог взять для этой статьи)
русский - классификация гравийных велосипедов (тут чисто личный интерес)
Summary
Action points
Здесь уже сложно делать какие-либо количественные выводы, больше вопрос субъективного восприятия. Кажется разница минимальна. Возможно, это связано с тем, что использовался один и тот же промпт для обеих моделей, который изначально писался под старую версию.
Нашей следующей задачей будет переработать промпт, чтобы лучше использовать новые когнитивные способности GPT-4o.
Выводы
Если у вас есть продукт с gpt под капотом, то обновляться на новую модель однозначно нужно. Вы сможете сократить расходы на токены API и уменьшить время обработки без доработки промптов, не потеряв при этом в качестве результатов.
Пишите в комментариях какие у вас впечатления о новой модели OpenAI, не только в плане API, но и в приложении ChatGPT.
Мы в along.pw создаем и развиваем новые IT продукты для предпринимателей. Умеем за месяц сделать мобильное приложение с GPT, в котором сразу можно продавать подписки. Без no-code и fake door testing, только реальные масштабируемые продукты.
Всегда интересно узнать о последних достижениях в мире искусственного интеллекта, а тут еще и подробный разбор, как это может отразиться на реальных продуктах.
рады стараться, спасибо!)
У меня есть сейчас своя seo тула, под свои задачи с большим кол-во параметров и промтов. Есть ощущение что gpt4o стал хуже понимать эти параметры и большое кол-во пунктов в промте пропускать.
Грубо говоря если раньше я просил его делать вхождение ключа 15 раз, то он делал 11-12 или 16-20 (т.е. где-то рядом), то сейчас с gpt4o он делает либо 10-15, либо 30-35.
Не понимаю почему так происходит, но он стал прям явно тупить в этом направлении. Промты не менял, ничего не трогал....
А также он тупит и делает структуру статьи хуже, чем было...
встречал такие жалобы да. Что мы сделали, чтобы избежать:
1. Добавили простой комментарий "подумай, прежде чем писать ответ", реально помогает)))
2. Лучше использовать не просто модель gpt-4o, а версию от определенной даты. Это нужно потому что поведение модели от определенной даты более предсказуемое и надежное. А в обычную модель могут постоянно отгружать новые обновления
Я работал в чатгпт 4 и Клауде, так Клауде в 2 раза адекватнее работает с точки зрения создания текстов и использования преконтекста. Не знаю, но OpenAI разочаровывающе плохи в написании текстов.
согласен, клауде более "человечная". В приложении используется GPT, потому что он может работать с большим количеством языков, сейчас это важнее. Но как вариант мы рассматриваем использование Клода для популярных языков, и GPT для более редких
Уменьшение цены обработки особенно порадовала – классно, что завленное соответствует действительности. Спасибо за непредвзятый анализ и оценку, поможет в принятии решения в будущем!