Transformer-Parameter berechnen: Layer, d_model, Vokabular

Woraus ein Transformer besteht

Mit diesem Werkzeug können Sie Transformer-Parameter berechnen, so wie sie in Decoder-Modellen wie Llama, Qwen, Mistral oder Gemma vorkommen. Die Parameteranzahl setzt sich aus drei Teilen zusammen. Die Embedding-Parameter sind Vokabular mal d_model, einmal für die Eingabe und, falls nicht geteilt, noch einmal für die Ausgabeschicht (LM-Head). Je Layer kommen die Attention-Matrizen hinzu: Q und O mit d_model × Köpfe × Kopfdimension, K und V mit d_model × KV-Köpfe × Kopfdimension.

Den größten Anteil hat meist der Feed-Forward-Block. Bei SwiGLU, das fast alle aktuellen Modelle nutzen, sind es drei Matrizen der Größe d_model × FFN-Größe (Gate, Up, Down), bei klassischen Transformern wie GPT-2 zwei. Dazu kommen je Layer zwei Norm-Vektoren mit d_model Einträgen und eine Abschluss-Norm. Bei Mixture-of-Experts gibt es den FFN-Block je Experte, dazu einen Router mit d_model × Experten. Rechnet man Llama 3.1 8B nach, ergeben sich 8,03 Milliarden Parameter, davon gut 1 Milliarde für die beiden Embedding-Matrizen mit dem großen Vokabular von 128.256 Tokens.

Aus der Parameterzahl folgen zwei nützliche Größen: der Speicher in FP16 (2 Byte je Parameter) und der Rechenaufwand von etwa 2 FLOPs je aktivem Parameter und Token beim Erzeugen. Bias-Terme, Positions-Embeddings mit eigenen Gewichten oder Zusatzköpfe zählt das Werkzeug nicht mit; die Abweichung liegt dadurch meist unter einem Prozent. Wie viele Trainings-Tokens zu einer Modellgröße passen, zeigt der Chinchilla-Rechner.