Как настроить Ollama с Ollama-WebUI с использованием Docker Compose

Ollama — это открытая платформа LLM, обученная на огромном наборе текстов и кода, что позволяет ей выполнять различные задачи, такие как генерация текста, перевод, автодополнение кода и ответы на вопросы.

Установите docker и docker compose на вашу машину.

У ollama есть доступный docker образ, которым можно воспользоваться. Для графического интерфейса можно использовать решение open-webui.

1. Создайте docker-compose.yml

2. Добавьте следующее содержимое

version: "3.8" services: webui: image: ghcr.io/open-webui/open-webui:git-09a81eb expose: - 8080/tcp ports: - "8080:8080" environment: - OLLAMA_BASE_URL=http://ollama:11434 volumes: - ./open-webui:/app/backend/data depends_on: - ollama ollama: image: ollama/ollama expose: - 11434/tcp ports: - "11434:11434" healthcheck: test: ollama --version || exit 1 entrypoint: /root/entrypoint.sh volumes: - ./ollama:/root/.ollama - ./entrypoint.sh:/root/entrypoint.sh

3. Добавьте файл entrypoint.sh

#!/usr/bin/sh ollama serve ollama run llama3

Он будет использоваться для автоматического запуска языковой модели после старта контейнера.

4. Запустите контейнеры через терминал

docker compose up

5. Немного подождите

Для установки и запуска llama3 требуется некоторое время. Прогресс установки вы можете наблюдать в терминале.

6. Перейдите в веб-интерфейс

Если все настроить точно так, как в шагах выше, то он будет доступен по адресу http://localhost:8080

7. Пользуйтесь)

Для тех, кому писать и даже копировать конфигурационные файлы совсем не хочется, мы подготовили небольшой репозиторий.

github.com

GitHub - leinodev/ollama-docker: This repository makes it easy to run ollama and its web interface using only docker compose

This repository makes it easy to run ollama and its web interface using only docker compose - leinodev/ollama-docker

Просто склонируйте и запустите за две строчки:

git clone github.com/leinodev/ollama-docker docker compose up

Надеемся, что Ollama будет полезна для решения ваших задач!)

Как настроить Ollama с Ollama-WebUI с использованием Docker Compose

Предварительные требования:

Настройка и запуск:

Решение попроще: