Eval-Kosten berechnen: LLM-Evaluierung

Was eine Evaluierung kostet

Eval-Kosten entstehen, wenn Sie Sprachmodelle systematisch mit Testfällen prüfen. Eine LLM-Evaluierung besteht aus einer Sammlung von Eingaben, zu denen das Modell antwortet, und einer Bewertung dieser Antworten. Die Kosten ergeben sich aus Testfälle mal Läufe mal Modelle mal Tokens. Der Rechner zeigt sie je Modell und für einen kompletten Durchlauf.

Für die Bewertung nutzen viele Teams LLM-as-a-Judge: Ein meist starkes Modell erhält die Aufgabe, die Antwort und ein Bewertungsraster und vergibt eine Note. Die Bewertung liest dabei Testfall und Antwort und ist deshalb oft teurer als die Antwort selbst. Weil Evals nicht sofort fertig sein müssen, eignen sie sich gut für die Batch-Schnittstellen der Anbieter mit Batch-Rabatt von 50 %. Für einen Modellvergleich mit drei Kandidaten verdreifachen sich die Antwortkosten; das Bewertungsmodell bleibt gleich.

Grenzen: Der Rechner nimmt durchschnittliche Tokens je Fall an. Bei Reasoning-Modellen kommen interne Denk-Tokens hinzu, die als Ausgabe berechnet werden; erhöhen Sie dafür die Ausgabe-Tokens. Menschliche Bewertung, die für wichtige Entscheidungen weiterhin dazugehört, ist nicht enthalten. Ein Raster für die Bewertung erstellt das Bewertungsraster für KI-Antworten.