Chinchilla-Rechner: Tokens, Parameter und FLOPs

Rechenoptimal trainieren

Der Chinchilla-Rechner beruht auf der Arbeit „Training Compute-Optimal Large Language Models“ von Hoffmann und Kollegen (DeepMind, 2022). Sie zeigte, dass viele große Modelle zu wenig Daten gesehen hatten. Rechenoptimal ist ein Verhältnis von ungefähr 20 Tokens pro Parameter: Das Modell Chinchilla mit 70 Milliarden Parametern wurde auf 1,4 Billionen Tokens trainiert und schlug größere Modelle mit gleichem Rechenaufwand. Diese Chinchilla Scaling Law ist eine Faustregel, kein Naturgesetz.

Die Trainings-FLOPs schätzt man mit C ≈ 6 · N · D: Pro Parameter und Token fallen etwa 2 FLOPs im Vorwärts- und 4 im Rückwärtsdurchlauf an. Bei festem Budget C und Verhältnis r folgen N = √(C / (6 r)) und D = r · N. Aus den FLOPs berechnet das Werkzeug GPU-Stunden: FLOPs geteilt durch Spitzenleistung mal Auslastung (Model FLOPs Utilization, MFU). Gut optimierte Trainingsläufe erreichen etwa 35 bis 50 Prozent MFU.

Heute trainieren Anbieter bewusst weit über dem Chinchilla-Punkt, weil kleinere Modelle im Betrieb günstiger sind; Meta nennt für Llama 3 über 15 Billionen Trainings-Tokens, beim 8B-Modell also fast 2.000 Tokens pro Parameter. Stellen Sie dafür das Verhältnis entsprechend höher ein. Die Spitzenleistungen sind Herstellerangaben für dichte Matrizen ohne Sparsity. Die Kosten basieren auf Ihrem eingetragenen Stundenpreis, nicht auf aktuellen Marktpreisen. Wie sich N aus der Architektur ergibt, zeigt der Transformer-Parameter-Rechner.