Latenz von KI-Anwendungen: So antworten Modelle schneller
Die Latenz entscheidet, ob sich eine KI-Anwendung flüssig oder zäh anfühlt. Ein Chat, der acht Sekunden schweigt, wirkt kaputt, auch wenn die Antwort gut ist. Die gute Nachricht: Die meisten Verzögerungen lassen sich mit wenigen Mitteln deutlich verringern.
Die Latenz einer KI-Anwendung setzt sich aus Netzwerk, Verarbeitung der Eingabe, gegebenenfalls Nachdenken und dem Schreiben der Antwort zusammen. Am meisten hilft Streaming, weil dann nur die Time to First Token zählt. Kürzere Antworten, kleinere Modelle, Prompt-Caching und parallele Anfragen senken die Antwortzeit zusätzlich.
Woraus sich die Antwortzeit zusammensetzt
- Netzwerk und Warteschlange: meist ein Bruchteil einer Sekunde.
- Verarbeitung der Eingabe: wächst mit der Länge des Prompts; bei sehr langen Dokumenten spürbar.
- Nachdenken: bei Reasoning-Modellen oft mehrere Sekunden bis Minuten.
- Schreiben der Antwort: Ausgabe-Tokens geteilt durch die Geschwindigkeit, typisch 40 bis 200 Tokens pro Sekunde.
Die ersten drei Punkte ergeben die Time to First Token, also die Zeit bis zum ersten Wort. Der Antwortzeit-Rechner zeigt die Anteile für Ihre Werte.
Die wirksamsten Hebel
- Streaming: Die Antwort erscheint Wort für Wort. Die gefühlte Wartezeit sinkt auf die Zeit bis zum ersten Token.
- Kürzere Antworten: Die Ausgabe ist fast immer der größte Zeitblock. „Höchstens drei Sätze“ halbiert die Wartezeit.
- Kleineres Modell: Kleine Modelle schreiben oft doppelt so schnell.
- Reasoning gezielt: Denkaufwand nur dort, wo er die Qualität messbar verbessert.
- Prompt-Caching: verkürzt bei langen, gleichbleibenden Eingaben auch die Verarbeitungszeit.
- Parallel statt nacheinander: Unabhängige Teilaufgaben gleichzeitig schicken.
Gefühlte Geschwindigkeit
Auch wenn die Rechnung dauert, hilft gutes Design: sofort eine Bestätigung zeigen, Zwischenschritte bei Agenten anzeigen („Suche in Dokumenten …“) und lange Aufgaben im Hintergrund laufen lassen, mit Benachrichtigung am Ende.
Messen statt raten
Protokollieren Sie für jede Anfrage Zeit bis zum ersten Token, Gesamtzeit und Tokenzahlen. Schwankungen sind normal, gerade zu Stoßzeiten. Wer harte Zeitvorgaben hat, testet mehrere Anbieter und Regionen; dasselbe Modell kann je nach Plattform unterschiedlich schnell sein.
Häufige Fragen
Was bedeutet Time to First Token?
Time to First Token ist die Zeit bis zum ersten Wort der Antwort. Sie umfasst Netzwerk und Warteschlange, die Verarbeitung der Eingabe und bei Reasoning-Modellen das Nachdenken. Mit Streaming entspricht sie ungefähr der gefühlten Wartezeit.
Wie schnell schreiben KI-Modelle ihre Antwort?
Typisch sind 40 bis 200 Tokens pro Sekunde. Die Ausgabe ist fast immer der größte Zeitblock, deshalb verkürzt eine Vorgabe wie „höchstens drei Sätze“ die Wartezeit spürbar. Kleine Modelle schreiben oft doppelt so schnell wie große.
Ist dasselbe Modell bei jedem Anbieter gleich schnell?
Nein. Dasselbe Modell kann je nach Plattform und Region unterschiedlich schnell sein, und zu Stoßzeiten schwankt die Antwortzeit. Wer harte Zeitvorgaben hat, sollte mehrere Anbieter testen und für jede Anfrage Zeit bis zum ersten Token und Gesamtzeit protokollieren.