LLM VRAM Rechner: GPU-Speicher für lokale Modelle

Wie sich der Grafikspeicher zusammensetzt

Der LLM VRAM Rechner schätzt, wie viel GPU-Speicher ein lokales LLM braucht. Drei Posten zählen: Die Gewichte belegen Parameter mal Bits pro Gewicht geteilt durch acht Byte. Ein 8B-Modell braucht in FP16 also rund 16 GB, in 4-Bit-Quantisierung nur gut 5 GB. Dazu kommt der KV-Cache, der für jedes Token im Kontext Schlüssel und Werte aller Layer speichert: 2 × Layer × KV-Köpfe × Kopfdimension × Bytes je Wert. Der dritte Posten ist der Overhead für Laufzeitumgebung, CUDA-Kontext, Aktivierungen und Puffer.

So können Sie VRAM berechnen, bevor Sie ein Modell in Ollama, LM Studio, llama.cpp oder vLLM starten. Die Beispielarchitekturen enthalten die Werte aus den Konfigurationsdateien der Modelle; für andere Modelle tragen Sie Layer (num_hidden_layers), KV-Köpfe (num_key_value_heads) und Kopfdimension selbst ein. Bei Mixture-of-Experts-Modellen wie Mixtral müssen alle Experten im Speicher liegen, auch wenn pro Token nur ein Teil rechnet. Wie schnell das Modell danach antwortet, schätzt der Rechner Tokens pro Sekunde.

Grenzen: Das Ergebnis ist eine Schätzung. vLLM reserviert standardmäßig einen festen Anteil des Grafikspeichers für den KV-Cache, llama.cpp legt Puffer je nach Batch-Größe an, und Modelle mit Sliding Window Attention brauchen weniger Cache. Planen Sie etwa 1 bis 2 GB Reserve ein, besonders wenn der Bildschirm an derselben Grafikkarte hängt.