Fallout Style чат с нейросетью Llama3-70B для личных нужд и хорошего настроения
Когда-то в детстве я был настоящим фанатом Fallout! Эта игра затягивала меня настолько, что я мог тратить часы на ее прохождение, экспериментируя с различными сюжетными линиями и развитием персонажей, особенно в Fallout 2. Думаю, многие разделят мою памятную детскую страсть!
А локально можно запустить модель?
Да, в справке LangChain есть список провайдеров и моделей, с которыми можно работать. Мне кажется у них есть интеграции вообще ко всему, что я встречал: https://python.langchain.com/v0.1/docs/integrations/chat/
Вам потребуется локальный сервер со скаченной моделью нейронки, далее в коде нужно будет заменить импорт:
from groq import Groq на соответствующий
Далее в коде нужно будет прописать настройки локального сервера с моделью