Tokenlabor

Batch-Ergebnisse auswerten

Batch-Ergebnisse auswerten: Laden Sie die JSONL-Ergebnisdatei der Batch-API von OpenAI oder Anthropic und sehen Sie Status, Fehler, Tokens und Kosten.

–

 

Tokens und Kosten je Modell
ModellAnfragenEingabeCacheAusgabeKosten
Einzelne Anfragen
custom_idStatusModellEingabeAusgabeHinweis

Alles läuft in Ihrem Browser. Eingaben verlassen Ihr Gerät nicht.

Ergebnisdateien der Batch-API verstehen

Mit diesem Werkzeug können Sie Batch-Ergebnisse auswerten, wie sie die Batch-API von OpenAI und die Message Batches API von Anthropic liefern. Beide Anbieter geben die Antworten als JSONL-Ergebnisdatei zurück: eine Zeile je Anfrage, gekennzeichnet mit der custom_id, die Sie beim Einreichen vergeben haben. So lassen sich Batch-API Ergebnisse auch bei Tausenden Zeilen schnell prüfen. Die Reihenfolge der Zeilen entspricht nicht unbedingt der Reihenfolge der Eingabe, deshalb ist die ID der Schlüssel für die Zuordnung.

Das Werkzeug zählt erfolgreiche und fehlgeschlagene Anfragen, zeigt Fehlermeldungen, summiert die gemeldeten Tokens und berechnet die Batch-Kosten je Modell. Bei OpenAI gilt eine Zeile als Fehler, wenn das Feld error gefüllt ist oder der status_code nicht 200 ist; bei Anthropic zählt der Typ des Ergebnisses: succeeded, errored, canceled oder expired. Die IDs aller fehlgeschlagenen Anfragen kopieren Sie mit einem Klick, um sie gezielt erneut einzureichen. Eine neue Batch-Datei erstellen Sie mit dem Batch-Datei-Generator.

Die Kosten beruhen auf den Listenpreisen der Modelldatenbank dieser Website, umgerechnet in Euro. Beide Anbieter gewähren für Batch-Verarbeitung derzeit 50 % Rabatt auf den Standardpreis; der Schalter rechnet diesen Abzug ein. Abweichungen zur Rechnung entstehen etwa durch Sondertarife, langen Kontext mit Aufpreis oder Rundung. Für Logs aus normalen API-Aufrufen gibt es das Werkzeug LLM-Nutzung auswerten.

Anleitung: Batch-Ergebnisse auswerten in 4 Schritten

  1. Die Ergebnisdatei (.jsonl) mit „Datei wählen“ laden oder den Inhalt einfügen.
  2. Im Feld „Preis für unbekannte Modelle“ ein Modell wählen, falls die Datei Modellnamen enthält, die nicht in der Preisliste stehen.
  3. Den Schalter „Batch-Rabatt 50 %“ an- oder ausschalten.
  4. Übersicht und Tabelle prüfen; mit „Fehlgeschlagene custom_id kopieren“ die Liste für einen neuen Lauf übernehmen.

Typische Anwendungsfälle

  • Nach einem nächtlichen Batch-Lauf schnell sehen, wie viele Anfragen gescheitert sind und warum.
  • Die tatsächlichen Kosten eines Laufs aus den gemeldeten Tokens nachrechnen.
  • Die IDs fehlgeschlagener oder abgelaufener Anfragen sammeln und nur diese erneut einreichen.
  • Ausreißer mit sehr vielen Ausgabe-Tokens finden, etwa abgeschnittene oder endlose Antworten.
Fragen

Häufige Fragen

Wo bekomme ich die Ergebnisdatei?

Bei OpenAI über die output_file_id des fertigen Batches und den Files-Endpunkt, bei Anthropic über die results_url des Message Batch. Fehlerhafte Anfragen liefert OpenAI zusätzlich in einer eigenen error_file_id.

Was bedeutet der Status expired?

Die Anfrage wurde nicht innerhalb des Verarbeitungsfensters bearbeitet. Sie wurde nicht ausgeführt und nicht berechnet und kann erneut eingereicht werden.

Wie groß darf die Datei sein?

Die Datei wird nur im Browser gelesen. Mehrere Zehntausend Zeilen sind kein Problem; die Tabelle zeigt zur Übersicht höchstens die ersten 500 Anfragen, die Summen gelten für alle.

Werden die Antworttexte angezeigt?

Nein, das Werkzeug zeigt Status, Tokens und Fehler. Die Antworten selbst bleiben in Ihrer Datei.

Woher kennt das Werkzeug die Preise?

Es nutzt die Listenpreise aus der Modelldatenbank dieser Website (US-Dollar je 1 Million Tokens, in Euro umgerechnet). Der Modellname in der Datei wird dem passenden Eintrag zugeordnet; Datumsangaben im Namen wie -2024-07-18 werden dabei ignoriert.

Werden auch Cache-Tokens berücksichtigt?

Ja, soweit die Datei sie meldet: cached_tokens bei OpenAI sowie cache_read_input_tokens und cache_creation_input_tokens bei Anthropic. Gelesene Cache-Tokens werden mit dem Cache-Preis des Modells berechnet.

Ratgeber

Zum Weiterlesen

Alle Artikel
  1. RAG einfach erklärt: KI mit eigenen Dokumenten nutzenRAG einfach erklärt: wie Retrieval-Augmented Generation funktioniert, wofür man Embeddings und Vektordatenbanken braucht und was ein RAG-System kostet.
  2. Structured Outputs: Zuverlässig JSON von KI-ModellenStructured Outputs erklärt: Wie Sie mit JSON-Schema garantiert gültiges JSON von OpenAI, Claude und Gemini bekommen, statt kaputte Antworten nachträglich zu reparieren.
  3. Prompt Injection: Wie Angriffe auf KI-Systeme funktionierenPrompt Injection erklärt: wie versteckte Anweisungen in E-Mails, Dokumenten und Websites KI-Assistenten und Agenten manipulieren und welche Schutzmaßnahmen wirken.
Weitere Werkzeuge

Das könnte auch helfen

Alle 558 Werkzeuge

JSON formatierenneu

JSON formatieren, prüfen und minifizieren, mit Fehlerstelle und Tokenzahl.

Öffnen

JSON reparierenneu

Kaputtes JSON aus KI-Antworten reparieren: Codeblöcke, Kommas, Anführungszeichen.

Öffnen

Batch-Datei-Generatorneu

Aus einer Vorlage und einer Liste viele Prompts erzeugen, als JSONL für die Batch-APIs.

Öffnen

API-Anfrage-Generatorneu

Fertige cURL-Anfragen für die APIs von OpenAI, Anthropic und Google erzeugen.

Öffnen

Prompt-Injection-Prüferneu

Fremde Texte vor der KI-Verarbeitung auf versteckte Anweisungen und Tricks prüfen.

Öffnen

JSON-Schema-Generator

Aus einem JSON-Beispiel ein JSON Schema für strukturierte Ausgaben von KI-Modellen erzeugen.

Öffnen