Welches Modell liegt gerade im Speicher?
- Matt
Ollama hält ein Modell nach dem letzten Aufruf noch eine Weile im Speicher. Was gerade liegt:
ollama ps
Ausgegeben werden Name, Größe, ob GPU oder CPU und die verbleibende Zeit bis zum Entladen. Die Spalte mit GPU oder CPU ist die interessante: Steht dort teilweise CPU, passt das Modell nicht vollständig in den Grafikspeicher, und genau das erklärt eine langsame Antwort.
Die Vorhaltezeit lässt sich ändern:
OLLAMA_KEEP_ALIVE=30m ollama serve
Auf einem Rechner, der nebenbei anderes tut, ist ein kürzerer Wert sinnvoller als der Standard.