Open-Weight-Modelle oder API: Was ist günstiger?

Open-Weight-Modelle wie Llama, Mistral, Qwen oder DeepSeek lassen sich herunterladen und auf eigener Hardware betreiben. Das klingt nach „kostenlos“, ist es aber selten: Grafikkarten, Strom und Betreuung kosten Geld. Ob sich das lohnt, hängt vor allem von der Menge ab.

Begriffe: Open Source oder Open Weight?

Bei den meisten „offenen“ Modellen sind nur die trainierten Gewichte frei verfügbar, nicht die Trainingsdaten und nicht immer der Trainingscode. Deshalb spricht man genauer von Open-Weight-Modellen. Die Lizenzen unterscheiden sich: Manche erlauben jede Nutzung, andere schränken kommerzielle Nutzung oder sehr große Anbieter ein.

Was der eigene Betrieb kostet

• Hardware: Ein kleines Modell (7 bis 14 Milliarden Parameter) läuft auf einer guten Grafikkarte. Große Modelle brauchen Server mit mehreren Rechenzentrums-GPUs, die zehntausende Euro kosten oder mehrere Euro pro Stunde Miete.
• Strom und Kühlung bei eigener Hardware.
• Betreuung: Einrichtung, Updates, Überwachung, Sicherheit. Oft der größte Posten.
• Auslastung: Ein Server kostet auch nachts Geld, wenn niemand fragt.

Was die API kostet

Bei der API zahlen Sie nur pro Token. Kleine Modelle kosten wenige Cent pro Million Tokens, und dieselben Open-Weight-Modelle werden auch von Cloud-Anbietern per API angeboten, oft sehr günstig. Für die meisten Unternehmen mit unter einigen hundert Millionen Tokens im Monat ist die API deshalb billiger als ein eigener GPU-Server. Ihre Monatskosten per API zeigt der KI-Kostenrechner.

Wann sich selbst hosten trotzdem lohnt

• sehr hohe, gleichmäßige Last, die eine GPU rund um die Uhr auslastet
• Daten dürfen das eigene Netz nicht verlassen (Geheimhaltung, Branchenvorgaben)
• Betrieb ohne Internet, etwa in der Produktion
• Feinabstimmung auf eigene Daten mit voller Kontrolle

Der Mittelweg

Viele Cloud-Anbieter betreiben Open-Weight-Modelle in europäischen Rechenzentren mit Vertrag zur Auftragsverarbeitung. Das verbindet Datenschutz mit API-Komfort. Auch die großen Modelle von OpenAI, Anthropic und Google gibt es über Azure, AWS und Google Cloud mit Datenverarbeitung in der EU.