Prompts testen mit Evals: So messen Sie, ob ein Prompt besser ist

Prompts testen heißt: Varianten an denselben Beispielen messen statt nach Gefühl zu entscheiden. Solche Tests nennt man Evals. Sie sind der wichtigste Schritt, wenn ein Prompt in einer Anwendung oder im Team dauerhaft genutzt wird.

1. Testsatz anlegen

Sammeln Sie 20 bis 100 typische Eingaben, auch schwierige und seltene Fälle. Notieren Sie, was eine gute Antwort ausmacht, bei klaren Aufgaben auch die richtige Lösung.

2. Kriterien festlegen

Was zählt? Richtigkeit, Vollständigkeit, Tonfall, Länge, Format. Legen Sie für jedes Kriterium fest, wie es bewertet wird, und gewichten Sie. Das Bewertungsraster hilft dabei.

3. Varianten vergleichen

Lassen Sie beide Prompt-Versionen alle Testfälle bearbeiten. Bewerten Sie die Antworten möglichst blind, ohne zu wissen, welche Version sie geschrieben hat.

4. KI als Prüfer

Bei vielen Testfällen kann ein zweites Modell die Bewertung übernehmen (LLM as a Judge). Prüfen Sie anfangs 20 bis 30 Bewertungen selbst, um sicherzugehen, dass der Prüfer Ihre Kriterien richtig anwendet.

5. Dokumentieren

Halten Sie fest, welche Version welche Ergebnisse erzielt hat. Bei jedem Modellwechsel lassen Sie denselben Testsatz erneut laufen.

Unterschiede zwischen zwei Prompt-Versionen zeigt der Prompt-Vergleich; wie Sie Prompts im Team verwalten, steht in Prompt-Vorlagen im Team.