LLM selbst hosten Kosten: API oder eigene GPUs?

Break-even zwischen API und eigenen GPUs

Was kostet es, ein LLM selbst zu hosten, im Vergleich zur API? LLM selbst hosten Kosten bestehen vor allem aus festen Posten: Eine gemietete GPU kostet pro Stunde, ob sie rechnet oder wartet. Die API-Kosten dagegen wachsen mit jedem Token. Self-Hosting lohnt sich deshalb erst ab einem bestimmten Volumen, dem Break-even. Der Rechner ermittelt ihn aus GPU pro Stunde, dem gemessenen Durchsatz Ihres Servers und der Auslastung.

Die Auslastung ist der häufigste Rechenfehler. Ein Server, der rund um die Uhr läuft, aber nur tagsüber Anfragen bekommt, ist im Mittel vielleicht zu 30 bis 50 % ausgelastet. Die Kapazität je Server ist dann entsprechend kleiner, die Kosten je Token höher. Reicht ein Server nicht, rechnet der Rechner mit weiteren; die Zahl steht in der Tabelle in Klammern. Dazu kommen Betrieb, Überwachung und Personal, die bei API-Kosten im Preis enthalten sind.

Grenzen: Der Durchsatz hängt stark von Modell, Hardware, Inferenz-Software, Kontextlänge und Verhältnis von Eingabe zu Ausgabe ab; messen Sie ihn mit Ihren Anfragen. Der Rechner fasst Eingabe- und Ausgabe-Tokens zu einem Durchsatz zusammen, obwohl Eingaben deutlich schneller verarbeitet werden. Die GPU-Preise sind Beispielwerte. Ein selbst gehostetes offenes Modell ist zudem nicht automatisch so gut wie das Vergleichsmodell; Kosten für Training und einzelne Läufe rechnet der GPU-Kosten-Rechner.