Grafikkarte im Container nutzen

• KI
• Werkzeuge

Donnerstag, 16. Juli 2026 - Matt

Läuft Ollama im Container ohne Zusatz, rechnet es auf der CPU, auch wenn eine Grafikkarte vorhanden ist. Das erklärt die meisten Berichte über langsame lokale Modelle im Docker-Betrieb.

Nötig ist das NVIDIA Container Toolkit auf dem Host, danach:

services:
  ollama:
    image: ollama/ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

Prüfen lässt sich das von innen:

docker exec -it ollama nvidia-smi

Kommt dort eine Ausgabe, ist die Karte sichtbar. Ob das Modell sie auch benutzt, sagt danach ollama ps.