Fallout Style чат с нейросетью Llama3-70B для личных нужд и хорошего настроения
Когда-то в детстве я был настоящим фанатом Fallout! Эта игра затягивала меня настолько, что я мог тратить часы на ее прохождение, экспериментируя с различными сюжетными линиями и развитием персонажей, особенно в Fallout 2. Думаю, многие разделят мою памятную детскую страсть!
Не важно по каким причинам, но ночь сегодня была бессонной. Не знал на что отвлечься, чтобы прийти «в чувство». Реализуя свои задачи в терминале я понял, что мне не нравится шрифт и вообще как то скучно... Решил почитать, вообще кроме размера шрифта можно ли что-то сделать с ним?! К моему удивлению, да! В поисках ответа я наткнулся на официальное руководство от Microsoft о визуальных настройках командной строки, где заметил картинку с зеленым цветом, напоминающим мне атмосферу старых добрых Fallout.
"А что так можно было?!" — задал я себе вопрос.
На этой ноте, полагаю, стоит показать конечный результат!
После этого Вы сможете принять решение для себя, отправляться к информации о настройках и коду или закрыть эту кладку))
Видео cmd чата с нейросетью в духе Fallout
Что хочу отметить:
- Во-первых, сама по себе llama3-70b довольно неплохо справляется с задачами, по сравнению с предыдущими версиями, без какого либо файнтьюнинга.
- Во-вторых, меня очень удивила технология компании Groq (не путать с нейросетью grok, от Илона). Они вроде как разработали технологическое решение, который обеспечивает быструю отдачу результата от нейросети и надо сказать — я был удивлен увиденному.
Отдельно хочу сказать:
- Скорость выдачи результата работы нейросети намного быстрее, чем мы видим в терминале. Посимвольная выдача информации сделана для визуального эффекта, не более. Кому нужно, сможете убрать ее в коде.
- В коде не реализована память диалога. Иными словами, каждый запрос как новый чат с нейросетью.
Настройка командной строки
Не думаю, что стоит долго рассказывать о настройках, просто прикреплю скрины.
Python код и настройки
1. Первым делом, если у вас не установлен python, то сделайте это. Я использую версию 3.12.3.
Скачать его можно по ссылке (для windows) :
2. После установки, в терминале нужно установить необходимые библиотеки:
pip install colorama
pip install groq
3. Сохраните код в файл на вашем компьютере с расширением .py, например «pipboy.py»
4. Далее идем за api Groq по ссылке и получаем его, изначально сделав регистрацию. Да вам потребуется использовать сервис на 3 буквы, начинающийся на V**, тк с Ру они не особо работают…
5. После получения api, который бесплатен, вставляем его в 41 строчку кода программы: api_key=«ВАШ API КЛЮЧ» и сохраняем.
6. В терминале запускаем файл py программы и пользуемся на здоровье =)
Запустить файл можно по разному, я обычно указываю путь к самому python и к исполняемому файлу: "путь к python" "путь к файлу.py", в видео видно.
7. Самое важное - музыкальное сопровождение, для атмосферы:
Надеюсь, что Вам понравилась реализация и гайд был достаточно понятен для собственной реализации.
Всего наилучшего!
Шацкий Ростислав.
Друзья, я написал доработанную версию этого чата, в нем:
- поддерживается история переписки
- можно загружать документы из папки в исторический контекст
- можно загружать собственный код программы в исторический контекст
- появилась команда "новый чат" - создает новый диалог с очищенной историей переписки/исторического контекста.
Давайте, если лаков будет 30+ я выложу продолжение)
А локально можно запустить модель?
Да, в справке LangChain есть список провайдеров и моделей, с которыми можно работать. Мне кажется у них есть интеграции вообще ко всему, что я встречал: https://python.langchain.com/v0.1/docs/integrations/chat/
Вам потребуется локальный сервер со скаченной моделью нейронки, далее в коде нужно будет заменить импорт:
from groq import Groq на соответствующий
Далее в коде нужно будет прописать настройки локального сервера с моделью