Instação do podman
O Docker poderia ser usado mas vou dar preferencia para o podman. Com isso podemos levantar as 2 aplicações de forma mais isolada do sistema base.
IMPORTANTE! Portainer não sobe o stack tem que ser por linha de comando. Docker da problema parece que estamos vivendo uma migração do modo OCI de trabalhar para o CDI. Não sei entedi certo.
sudo apt update
sudo apt-get -y install podman podman-compose
sudo systemctl enable --now podman.socketPara usar placa NVIDIA alguns passos são necessários
Infelizmente isso tem que ser feito na maquina base do docker. Se ela for virtual os Drivers também devem ser instalados no Host também.
instalação básica do drives da NVIDIA
sudo apt update
sudo apt install nvidia-driver linux-headers-$(uname -r)Instalar nvidia container toolkit
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
| sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
| sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
| sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get updateexport NVIDIA_CONTAINER_TOOLKIT_VERSION=1.17.8-1
sudo apt-get install -y \
nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}Instalar e ativar o Container Device Interface (CDI)
Fontes:
https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/cdi-support.html
https://docs.docker.com/reference/cli/docker/container/run/#cdi-devices
https://docs.docker.com/build/building/cdi/
https://docs.docker.com/reference/cli/docker/container/run/#gpus
https://docs.docker.com/compose/how-tos/gpu-support/
sudo nvidia-ctk cdi generate --output=/etc/cdi/nvidia.yamlTestando o container
Fonte: https://docs.podman.io/en/v4.6.0/markdown/options/security-opt.html
Esse é o modo CDI
podman run --rm \
--device nvidia.com/gpu=0 \
--security-opt=label=disable \
ubuntu nvidia-smi -L
services:
test:
image: docker.io/nvidia/cuda:12.3.1-base-ubuntu20.04
runtime: nvidia
command: nvidia-smi
devices:
- nvidia.com/gpu=all
Esse é o modo nvidia-container-toolkit
podman run --rm \
--gpus=all \
ubuntu nvidia-smi -L
services:
test:
image: docker.io/nvidia/cuda:12.3.1-base-ubuntu20.04
runtime: nvidia
command: nvidia-smi
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: 1
capabilities: [gpu]
Instalar Ollama
podman run -d -v ollama:/root/.ollama \
--gpus=all \
--security-opt=label=disable \
-p 11434:11434 \
--name ollama \
--security-opt=label=disable \
ollama/ollamapodman run -d -v ollama:/root/.ollama \
--device nvidia.com/gpu=0 \
--security-opt=label=disable \
-p 11434:11434 \
--restart always \
--name ollama \
docker.io/ollama/ollamaInstalar Open WebUI
podman run -d -v open-webui:/app/backend/data \
-p 3000:8080 \
-e OLLAMA_BASE_URL=http://ollama:11434 \
--name open-webui \
--restart always \
ghcr.io/open-webui/open-webui:mainDocker Compose
version: '3.8'
services:
ollama:
# O serviço principal Ollama para rodar modelos de linguagem
image: docker.io/ollama/ollama
container_name: ollama
# Removemos a opção --restart=always do comando original, mas
# é altamente recomendado mantê-la para produção.
# restart: always
# Mapeamento de portas para que o Ollama seja acessível fora do Podman
# Você usará esta porta para acessar a interface da web (via proxy interno)
# ou para rodar modelos diretamente.
ports:
- "11434:11434"
# Configuração de recursos de GPU
deploy:
resources:
reservations:
devices:
# Especifica a GPU a ser usada (dispositivo 0 neste caso)
- driver: nvidia
device_ids: ['0']
capabilities: [gpu]
# Desabilita o rótulo de segurança (necessário para rodar o Ollama com GPU em certos setups Linux)
security_opt:
- label=disable
# Mapeia o volume para persistir os modelos baixados e as configurações
volumes:
- ollama_data:/root/.ollama
open-webui:
# A interface de usuário baseada na web para interagir com o Ollama
image: ghcr.io/open-webui/open-webui:main
container_name: open-webui
restart: always
# Mapeamento de portas para acessar a interface web no host (porta 3000)
ports:
- "3000:8080" # Host:3000 -> Container:8080
# Variável de ambiente para que o Open WebUI saiba onde encontrar o Ollama.
# Usamos o nome do serviço 'ollama' + a porta interna (11434)
environment:
- OLLAMA_BASE_URL=http://ollama:11434
# Volume para persistir os dados do usuário, sessões e configurações do Open WebUI
volumes:
- open_webui_data:/app/backend/data
# Definição dos volumes nomeados
volumes:
ollama_data:
driver: local
open_webui_data:
driver: local
networks:
default:
enable_ipv6: true