Отличная статья, спасибо! Но по доступу к gpt есть вопросы. Всегда интересовали вот такие сервиса по доступу и насколько они честны. Ваш выглядит немного подозрительно, если честно. 1. Почему у 3.5 доступно только 500 токенов истории? Актуальная модель в апи если правильно помню держит до 16к токенов 2. Почему 4 дороже в 30 раз, если цена за 1000 токенов выше в 10 раз, а считаются токены так же? (Теоретически могут немного по-другому, но явно не в 3 раза)
Первое, понятно, может быть для экономии денег пользователя, но тогда хорошо бы явно указывать, что это обрезка на стороне сервиса, а не модели.
1) Точно не вспомню, но доступно вроде 8к токенов в режиме диалога на оба сообщения (включая предыдущую переписку)
2) Я для устрашения написал :). Пользователи писали 5-8 длинных сообщений и лимит заканчивался. Когда предупреждал о "10 разах" - игнорировали и жаловались, что всё быстро закончилось. О "30-ти" - уже не жалуются и аккратно используют.
Отличная статья, спасибо!
Но по доступу к gpt есть вопросы. Всегда интересовали вот такие сервиса по доступу и насколько они честны. Ваш выглядит немного подозрительно, если честно.
1. Почему у 3.5 доступно только 500 токенов истории? Актуальная модель в апи если правильно помню держит до 16к токенов
2. Почему 4 дороже в 30 раз, если цена за 1000 токенов выше в 10 раз, а считаются токены так же? (Теоретически могут немного по-другому, но явно не в 3 раза)
Первое, понятно, может быть для экономии денег пользователя, но тогда хорошо бы явно указывать, что это обрезка на стороне сервиса, а не модели.
1) Точно не вспомню, но доступно вроде 8к токенов в режиме диалога на оба сообщения (включая предыдущую переписку)
2) Я для устрашения написал :). Пользователи писали 5-8 длинных сообщений и лимит заканчивался. Когда предупреждал о "10 разах" - игнорировали и жаловались, что всё быстро закончилось. О "30-ти" - уже не жалуются и аккратно используют.