Batch-Verarbeitung: Halber Preis für KI-Anfragen ohne Eile
Batch-Verarbeitung ist der einfachste Weg, KI-Kosten zu halbieren: Statt jede Anfrage einzeln zu schicken und sofort eine Antwort zu bekommen, reichen Sie viele Anfragen gesammelt ein und erhalten die Ergebnisse innerhalb von 24 Stunden. OpenAI, Anthropic und Google geben dafür 50 Prozent Rabatt.
Wofür sich Batch eignet
- Produktbeschreibungen für einen ganzen Katalog
- Übersetzungen vieler Texte
- Kundenbewertungen, Tickets oder Umfragen klassifizieren
- Daten aus Dokumenten auslesen
- Testläufe: dieselben 500 Fragen mit einem neuen Prompt
Ungeeignet ist Batch für alles, worauf ein Mensch wartet, etwa Chats.
So funktioniert es
- Anfragen in einer Datei sammeln: bei OpenAI eine JSONL-Datei mit einer Anfrage pro Zeile, bei Anthropic eine Liste im Anfrage-Body. Jede Anfrage bekommt eine eindeutige custom_id.
- Datei hochladen beziehungsweise Batch anlegen.
- Warten. Meist sind die Ergebnisse deutlich schneller als nach 24 Stunden fertig.
- Ergebnisse abholen und über die custom_id zuordnen.
Die Datei erstellt der Batch-Datei-Generator aus einer Liste und einer Prompt-Vorlage.
Was es spart
Bei 100.000 Produkttexten mit je 800 Tokens Eingabe und 300 Tokens Ausgabe macht der Rabatt mit einem mittleren Modell schnell mehrere hundert Euro aus. Zusammen mit Prompt-Caching für den gleichbleibenden Teil des Prompts sinken die Kosten noch weiter. Die Kombination rechnet der Spar-Rechner durch.
Tipps aus der Praxis
- Erst 20 Anfragen normal testen, dann den großen Batch starten.
- Strukturierte Ausgabe nutzen, damit sich die Ergebnisse automatisch weiterverarbeiten lassen.
- Fehlgeschlagene Einzelanfragen gezielt wiederholen statt den ganzen Batch.
- Limits pro Batch (Anzahl Anfragen, Dateigröße) in der Dokumentation des Anbieters prüfen.
Erstellt mit Unterstützung von KI, geprüft und redaktionell verantwortet von Leon Blatz. Allgemeine Information, keine Rechts-, Steuer- oder Finanzberatung.