Latenz von KI-Anwendungen: So antworten Modelle schneller

Die Latenz entscheidet, ob sich eine KI-Anwendung flüssig oder zäh anfühlt. Ein Chat, der acht Sekunden schweigt, wirkt kaputt, auch wenn die Antwort gut ist. Die gute Nachricht: Die meisten Verzögerungen lassen sich mit wenigen Mitteln deutlich verringern.

Woraus sich die Antwortzeit zusammensetzt

• Netzwerk und Warteschlange: meist ein Bruchteil einer Sekunde.
• Verarbeitung der Eingabe: wächst mit der Länge des Prompts; bei sehr langen Dokumenten spürbar.
• Nachdenken: bei Reasoning-Modellen oft mehrere Sekunden bis Minuten.
• Schreiben der Antwort: Ausgabe-Tokens geteilt durch die Geschwindigkeit, typisch 40 bis 200 Tokens pro Sekunde.

Die ersten drei Punkte ergeben die Time to First Token, also die Zeit bis zum ersten Wort. Der Antwortzeit-Rechner zeigt die Anteile für Ihre Werte.

Die wirksamsten Hebel

1. Streaming: Die Antwort erscheint Wort für Wort. Die gefühlte Wartezeit sinkt auf die Zeit bis zum ersten Token.
2. Kürzere Antworten: Die Ausgabe ist fast immer der größte Zeitblock. „Höchstens drei Sätze“ halbiert die Wartezeit.
3. Kleineres Modell: Kleine Modelle schreiben oft doppelt so schnell.
4. Reasoning gezielt: Denkaufwand nur dort, wo er die Qualität messbar verbessert.
5. Prompt-Caching: verkürzt bei langen, gleichbleibenden Eingaben auch die Verarbeitungszeit.
6. Parallel statt nacheinander: Unabhängige Teilaufgaben gleichzeitig schicken.

Gefühlte Geschwindigkeit

Auch wenn die Rechnung dauert, hilft gutes Design: sofort eine Bestätigung zeigen, Zwischenschritte bei Agenten anzeigen („Suche in Dokumenten …“) und lange Aufgaben im Hintergrund laufen lassen, mit Benachrichtigung am Ende.

Messen statt raten

Protokollieren Sie für jede Anfrage Zeit bis zum ersten Token, Gesamtzeit und Tokenzahlen. Schwankungen sind normal, gerade zu Stoßzeiten. Wer harte Zeitvorgaben hat, testet mehrere Anbieter und Regionen; dasselbe Modell kann je nach Plattform unterschiedlich schnell sein.