KV-Cache Rechner: Speicher je Token und Kontextlänge

So entsteht der KV-Cache

Der KV-Cache Rechner zeigt den Speicherbedarf, den ein Sprachmodell für bereits gelesene Tokens braucht. Damit es nicht für jedes neue Token die gesamte Vorgeschichte neu berechnet, speichert es in jedem Layer die Schlüssel (Keys) und Werte (Values) aller bisherigen Tokens. Die Formel zum KV-Cache berechnen lautet: 2 × Layer × KV-Köpfe × Kopfdimension × Bytes je Wert × Kontextlänge × Sequenzen. Bei Llama 3.1 8B ergibt das in FP16 genau 131.072 Byte, also 128 KiB je Token.

Grouped-Query Attention (GQA) ist der Grund, warum moderne Modelle mit langen Kontexten auskommen: Mehrere Abfrage-Köpfe teilen sich ein Schlüssel-Wert-Paar. Llama 3.1 8B hat 32 Attention-Köpfe, aber nur 8 KV-Köpfe, und braucht deshalb ein Viertel des Speichers einer klassischen Multi-Head Attention. Die letzte Spalte der Tabelle zeigt zum Vergleich den Bedarf ohne GQA. Ein FP8 KV-Cache halbiert den Bedarf noch einmal; vLLM, TensorRT-LLM und llama.cpp unterstützen solche Formate.

Grenzen: Die Formel gilt für volle Aufmerksamkeit in allen Layern. Modelle mit Sliding Window Attention in einem Teil der Layer, etwa Gemma 2, oder mit komprimierter Aufmerksamkeit wie Multi-head Latent Attention bei DeepSeek brauchen weniger. Paged Attention in vLLM reserviert Speicher in Blöcken, was leichte Abweichungen ergibt. Den gesamten Speicherbedarf inklusive Gewichten schätzt der LLM-VRAM-Rechner, wie viel Text in den Kontext passt, der Kontextfenster-Rechner.