Как настроить Ollama с Ollama-WebUI с использованием Docker Compose
Ollama — это открытая платформа LLM, обученная на огромном наборе текстов и кода, что позволяет ей выполнять различные задачи, такие как генерация текста, перевод, автодополнение кода и ответы на вопросы.
Предварительные требования:
- Установите docker и docker compose на вашу машину.
Настройка и запуск:
У ollama есть доступный docker образ, которым можно воспользоваться. Для графического интерфейса можно использовать решение open-webui.
1. Создайте docker-compose.yml
2. Добавьте следующее содержимое
3. Добавьте файл entrypoint.sh
Он будет использоваться для автоматического запуска языковой модели после старта контейнера.
4. Запустите контейнеры через терминал
5. Немного подождите
Для установки и запуска llama3 требуется некоторое время. Прогресс установки вы можете наблюдать в терминале.
6. Перейдите в веб-интерфейс
Если все настроить точно так, как в шагах выше, то он будет доступен по адресу http://localhost:8080
7. Пользуйтесь)
Решение попроще:
Для тех, кому писать и даже копировать конфигурационные файлы совсем не хочется, мы подготовили небольшой репозиторий.
Просто склонируйте и запустите за две строчки:
Надеемся, что Ollama будет полезна для решения ваших задач!)
Я хочу запустить docker-compose на своем сервере, а подключаться к нему со своего РМ. Мой сервер и РМ в одной подсети. Если я указываю путь http://ip-адрес_сервера:8080, то веб интерфейс не открывается. Причем контейнеры на сервере запустились и работают.