Оптимизация расходов на API OpenAI: как снизить затраты
Второй день наблюдаю за прикольным тредом на Реддите. Там чувак рассказывает, что решил в эти выходные проанализировать расходы компании и обнаружил, что на API OpenAI они тратят 1200 долларов в месяц. Процитирую:
«Я, честно говоря, думал, что это просто издержки бизнеса, пока не посмотрел, на что мы на самом деле используем gpt-4. И это же серьёзная трата денег: извлечение номеров телефонов из имейлов, проверка текста на ненормативную лексику, переформатирование JSON и, буквально, перевод текста в ВЕРХНИЙ РЕГИСТР».
Дальше парень хвастается тем, что просто переключил всё на gpt-4o-mini и счёт снизился до 200 долларов, такой вот он мамкин оптимизатор.
Но в первом же комментарии у него спросили, а не считает ли он странным использовать LLM для изменения регистра текста или извлечения номеров телефонов из писем? Возможно, более умным решением было бы попросить у ChatGPT поискать или написать решение для этого. Ну и там полетел холивар на сотни комментариев.
А я читаю всё это и понимаю, что знаю как минимум десяток компаний, которые используют LLM-ки примерно для таких же задач и абсолютно счастливы. И не нужен им никакой «design doc» с описанием изменений — зачем они нужны (мотивация), каковы цели и нецели (что сознательно не делаем), какие метрики, логирование, зависимости и прочее. Ну и инженерное ревью тоже не делается, просто платят OpenAI деньги за API, потому что всё это многократно перекрывается выручкой компании. А когда перестанет, можно и штатное расписание пересмотреть.
Подписывайтесь на Telegram Силиконовый Мешок.