OpenAi выпустила «бесплатные модели». Вот когда их действительно выгодно использовать
В открытом доступе появились две большие модели — gpt‑oss‑20b и gpt‑oss‑120b. Они лучшие в своём классе, ближайший аналог китайский Qwen в ≈2 раза слабее.
Их часто называют «бесплатными», но запустить их всё‑таки стоит денег. Я разобрался, когда их действительно использовать дешевле
Я Никита, 6 лет работаю с ИИ в коммерции и вот в этой тележке рассказываю о своей практике, присоединяйся:
Итак, стоимость «бесплатного» развёртывания:
• gpt‑oss‑20b. Достаточно мощного ПК с видеокартой уровня RTX 4090 24 ГБ или Mac Mini + eGPU. Покупка такой машины обойдётся примерно в $3 000;
• gpt‑oss‑120b. Потребуется сервер с одной NVIDIA H100 80 ГБ. Аренда стоит около $3 000 в месяц, покупка — от $25 000 единовременно.
И вот оно же по Api, модели уже доступны на OpenRouter:
• oss‑20b — $0,20 за 1 млн токенов вывода.
• oss‑120b — $0,60 за 1 млн токенов вывода.
Это очень дёшево и идеально, если у вас нет стабильного потока задач на миллионы токенов в день.
Я прикинул точку безубыточности, где свой хостинг становится дешевле API.
• oss‑20b — окупается при нагрузке ≥5 млрд токенов в месяц (≈160 млн в день). Выгодно небольшим командам, постоянно гоняющим модель.
• oss‑120b — аренда дешевле API после 10 млрд токенов в месяц. Покупка железа имеет смысл только при горизонте 2–3 лет и ~15 млрд токенов ежемесячно.
У хостинга конечно есть и другие преимущества: приватность, кастомиация и масштабирование. Но дорого жеж…)
В общем расклад такой:
• Начинаете проект, тестируете гипотезы или у вас нерегулярная нагрузка? → Ваш выбор — API. Это всё также быстро, просто и дёшево на старте.
• Вы небольшой стартап или разработчик с постоянными задачами? → Присмотритесь к gpt-oss-20b на своём ПК.
• Вы крупная компания с огромным и стабильным потоком данных, и для вас критична приватность → арендуйте или покупайте сервера для gpt-oss-120b.
В любом случае сегодня OpenAi cтал действительно Open, поздравляю нас всех. Ну и эт, подписывайтесь, что ли: