GPU-Kosten-Rechner für Training und Inferenz

Von GPU-Stunden zu Euro

Der GPU-Kosten-Rechner multipliziert GPU-Stunden mit dem Stundensatz Ihres Anbieters. Bei Cloud-GPU-Anbietern zahlen Sie für jede angefangene oder volle Stunde, die eine GPU reserviert ist, unabhängig davon, ob sie rechnet. Für Trainingskosten zählt deshalb die gesamte Laufzeit inklusive Einrichtung, Fehlversuchen und Wartezeit, für Inferenz die Zeit, die der Server bereitsteht.

Wie lange ein Training dauert, lässt sich mit der Faustformel 6 · N · D grob schätzen: N ist die Zahl der Parameter, D die Zahl der Trainings-Tokens. Ein Modell mit 7 Milliarden Parametern auf 140 Milliarden Tokens braucht rund 5,9 · 10^21 FLOPs. Geteilt durch die Rechenleistung der GPUs mal der realistischen Auslastung (MFU) ergibt sich die Laufzeit. Die TFLOPS stehen im Datenblatt der GPU, je nach Zahlenformat unterschiedlich; der voreingestellte Wert ist ein Beispielwert.

Für Inferenz im Dauerbetrieb wählen Sie Stunden pro Tag und Tage pro Monat; der Rechner zeigt dann die Monatskosten und eine Hochrechnung für zwölf Monate. Reservierte Instanzen und Spot-Angebote sind oft deutlich günstiger, Spot-Instanzen können aber jederzeit beendet werden. Nicht enthalten sind Datenvorbereitung, Personal und Speicher über die Zusatzkosten hinaus. Ob sich eigene GPUs gegenüber einer API überhaupt lohnen, zeigt der Rechner API oder selbst hosten.