Можно зайти groq.com и попробовать. По умолчанию стоит модель Mixtral 8x7B-32К. Подумываю, чтобы смоделировать в Ложке две нейросети ChatGPT + Mixtral.
быстрота в данном случае должна стоять не на первом месте, а на первом месте поддержка контекста и смысловая адекватность ответов
Поддерживает контекст 32 тыс. токенов; ответы дает вполне адекватные, немного слабее ChatGPT 4 Turbo, но точно лучше ChatGPT 3.5.
Экий шустрый зайчик нарисовался на поляне AI, мне понравилось ))
Ну и Хайнлайна разработчики уважают, что приятно.
Чисто для без-VPN-ых текущих запросов – очень славно, хотя чаты не создает, историю не хранит, но дико быстрый и ± адекватный.