LLM Quantisierung: Modellgröße in FP16, 8 Bit und 4 Bit

Bits pro Gewicht und Modellgröße

LLM Quantisierung speichert die Gewichte eines Sprachmodells mit weniger Bits. Die Modellgröße ergibt sich aus Parametern mal Bits pro Gewicht geteilt durch acht: Ein Modell mit 8 Milliarden Parametern belegt in FP16 (16 Bit) etwa 16 GB, mit 8 Bit etwa 8 GB und mit 4 Bit rund 4 bis 5 GB. Die Tabelle rechnet das für die gängigen Formate gleichzeitig aus, in Gigabyte (10⁹ Byte) und Gibibyte (2³⁰ Byte), wie sie Betriebssysteme oft anzeigen.

Bei GGUF, dem Dateiformat von llama.cpp, Ollama und LM Studio, liegen die effektiven Bits pro Gewicht etwas über der Nennzahl. Q8_0 speichert je 32 Gewichte einen 16-Bit-Skalierungsfaktor, das ergibt 8,5 Bit. Mischformate wie Q4_K_M halten wichtige Tensoren in höherer Genauigkeit und kommen so auf etwa 4,8 bis 4,9 Bit. GPTQ und AWQ speichern je Gruppe von 128 Gewichten zusätzlich Skalierung und Nullpunkt. Die Werte in der Tabelle sind deshalb Richtwerte; die tatsächliche Dateigröße hängt vom Modell ab, etwa vom Vokabular und davon, welche Tensoren unquantisiert bleiben.

Zur Qualität gilt als Faustregel: 8 Bit ist kaum von FP16 zu unterscheiden, Q5 und Q6 verlieren wenig, Q4_K_M gilt als guter Kompromiss für den Alltag. Unter 4 Bit steigen die Fehler deutlich, besonders bei kleinen Modellen. Ein großes Modell in 4 Bit ist oft besser als ein kleines in FP16. Wie viel Speicher das Modell beim Ausführen inklusive KV-Cache braucht, zeigt der LLM-VRAM-Rechner.