Modell-Routing: Ersparnis berechnen

Wann sich Routing lohnt

Modell-Routing heißt: Nicht jede Anfrage geht an das teuerste Modell. Ein LLM-Router entscheidet, ob eine Anfrage einfach genug für ein kleines Modell ist, und schickt nur schwierige an ein großes. Weil kleine Modelle oft ein Zehntel oder weniger kosten, lässt sich so viel Geld sparen. Der Rechner zeigt, wie viel bei Ihrem Routing-Anteil übrig bleibt.

Zwei Effekte schmälern die Ersparnis. Erstens kostet der Router selbst etwas, wenn er per Modell klassifiziert. Zweitens scheitert das kleine Modell an manchen Anfragen, die dann per Eskalation zusätzlich beim großen Modell landen und doppelt bezahlt werden. Bei hoher Eskalationsquote kann Routing sogar teurer werden. Der Rechner berechnet daraus, ab welchem Anteil einfacher Anfragen sich das Routing lohnt, und zeigt die Kosten für 0 bis 100 % in der Tabelle.

Wichtig: Kosten sparen ist nur eine Seite. Ob das kleine Modell die einfachen Anfragen gut genug beantwortet, müssen Sie mit Testfällen messen; den Aufwand dafür schätzt der Eval-Kostenrechner. Einen kompletten Wechsel auf ein anderes Modell vergleicht der Modellwechsel-Rechner.