Durchsatz-Rechner für Rate Limits

Wie lange dauert es, 10.000 Dokumente durch ein KI-Modell zu schicken? Rate Limits eingeben und sehen, was der Engpass ist und wie lange es dauert.

–

 

Grenzeerlaubt Anfragen pro Minute

Ihre tatsächlichen Grenzen stehen in der Konsole Ihres Anbieters; sie steigen meist mit dem bisherigen Umsatz. Die Dauer einer Anfrage wird als eine Sekunde Vorlauf plus Ausgabelänge geteilt durch die Geschwindigkeit geschätzt.

Was die Geschwindigkeit begrenzt

API-Anbieter begrenzen, wie viele Anfragen und Tokens Sie pro Minute schicken dürfen. Dazu kommt, wie viele Anfragen Ihr Programm gleichzeitig offen hält. Die kleinste dieser Grenzen bestimmt das Tempo. Der Rechner zeigt, welche das ist und wie lange ein Stapel Anfragen damit dauert.

Liegt der Engpass bei den Tokens pro Minute, hilft eine höhere Stufe beim Anbieter oder kürzere Prompts. Liegt er bei den gleichzeitigen Anfragen, hilft mehr Parallelität im eigenen Programm. Wenn das Ergebnis nicht sofort gebraucht wird, ist die Batch-Verarbeitung oft die bessere Wahl: Sie umgeht die normalen Grenzen und kostet die Hälfte.

Anleitung: Rate Limit in 4 Schritten

  1. Geben Sie die Anzahl der Anfragen und die Eingabe- und Ausgabe-Tokens je Anfrage ein.
  2. Tragen Sie Ihre Rate Limits ein: Anfragen pro Minute (RPM), Eingabe-Tokens pro Minute und Ausgabe-Tokens pro Minute.
  3. Ergänzen Sie die gleichzeitigen Anfragen und die Ausgabegeschwindigkeit in Tokens pro Sekunde.
  4. Wählen Sie ein Modell für die Kosten und lesen Sie ab, welche Grenze der Engpass ist und wie lange der Stapel dauert.

Typische Anwendungsfälle

  • Massenverarbeitung planen: Abschätzen, ob 10.000 Dokumente in einer Nacht durch das Modell passen.
  • Engpass finden: Prüfen, ob TPM, RPM oder die eigene Parallelität das Tempo begrenzt, bevor man eine höhere Stufe beim Anbieter beantragt.
  • Batch-API abwägen: Dauer und Kosten der normalen API mit der günstigeren, aber verzögerten Batch-Verarbeitung vergleichen.
Fragen

Häufige Fragen

Was sind RPM und TPM?

RPM steht für Anfragen pro Minute (requests per minute), TPM für Tokens pro Minute. Viele Anbieter begrenzen Eingabe- und Ausgabe-Tokens getrennt. Die Werte stehen in der Konsole Ihres Kontos.

Warum hilft mehr Parallelität nicht immer?

Wenn bereits ein Rate Limit des Anbieters greift, bringen mehr gleichzeitige Anfragen nichts, sie werden nur abgewiesen. Der Rechner zeigt, welche Grenze zuerst erreicht wird.

Wann ist die Batch-API besser?

Wenn Ergebnisse nicht sofort gebraucht werden, etwa bei nächtlichen Auswertungen. Sie kostet bei Anthropic, OpenAI, Google und Mistral die Hälfte und läuft unabhängig von den normalen Minutengrenzen.

Wie berechne ich den API-Durchsatz?

Der API-Durchsatz ist die kleinste von vier Grenzen: Anfragen pro Minute (RPM), Eingabe- und Ausgabe-Tokens pro Minute (TPM) und die Zahl gleichzeitiger Anfragen geteilt durch deren Dauer. Der Rechner zeigt alle vier und markiert den Engpass.

Wie viele API-Anfragen schaffe ich pro Stunde?

Höchstens 60-mal so viele wie die engste Minutengrenze erlaubt. Bei 500 Anfragen pro Minute sind das 30.000 pro Stunde, sofern Tokens pro Minute und gleichzeitige Anfragen nicht früher bremsen; der Rechner prüft alle Grenzen und zeigt den Engpass.

Warum bekomme ich Fehler 429, obwohl ich unter dem RPM-Limit bleibe?

Oft greift zuerst das Limit für Tokens pro Minute, besonders bei langen Prompts. Manche Anbieter rechnen außerdem den max_tokens-Wert vorab auf das Limit an. Tragen Sie Ihre TPM-Grenzen im Rechner ein, um den tatsächlichen Engpass zu sehen.

Ratgeber

Zum Weiterlesen

Alle Artikel
  1. API-Fehler bei KI-Diensten behandeln: 429, 500 und ZeitüberschreitungenAPI-Fehler bei KI-Diensten behandeln: Rate Limits (429), Überlastung, Zeitüberschreitungen. Mit Wiederholungsstrategie und Ausweichmodellen.
  2. Rate Limits erklärt: Wie viele Anfragen KI-APIs erlaubenRate Limits erklärt: was RPM und TPM bedeuten, wie die Stufen bei OpenAI, Anthropic und Google funktionieren und wie Ihre Anwendung mit Fehler 429 umgeht.
  3. RAG einfach erklärt: KI mit eigenen Dokumenten nutzenRAG einfach erklärt: wie Retrieval-Augmented Generation funktioniert, wofür man Embeddings und Vektordatenbanken braucht und was ein RAG-System kostet.
Weitere Werkzeuge

Das könnte auch helfen

Alle 561 Werkzeuge