Bewertungsraster für KI-Antworten
Das Bewertungsraster für KI-Antworten legt Kriterien und Gewichte fest und erzeugt einen Prompt, mit dem ein Modell Antworten bewertet.
| Kriterium | Gewicht | Bewertung |
|---|
Warum ein Bewertungsraster?
Wer Prompts verbessert oder Modelle vergleicht, braucht feste Kriterien. Sonst entscheidet das Bauchgefühl. Ein Bewertungsraster legt fest, worauf es ankommt und wie stark jedes Kriterium zählt.
Das Werkzeug erzeugt ein Raster mit Gewichten und einen Prompt, mit dem ein zweites KI-Modell Antworten nach diesem Raster bewertet. Prüfen Sie die KI-Bewertung anfangs stichprobenartig gegen menschliche Urteile.
Häufige Fragen
Was ist LLM-as-a-Judge?
Ein Sprachmodell bewertet die Antworten eines anderen Modells nach festen Kriterien. Das spart Zeit beim Testen vieler Varianten.
Ist die KI-Bewertung zuverlässig?
Für klare Kriterien meist gut, bei Geschmacksfragen weniger. Vergleichen Sie anfangs 20 bis 50 Bewertungen mit menschlichen Urteilen.
Welche Skala ist am besten?
Erfüllt/nicht erfüllt ist am eindeutigsten. Skalen von 1 bis 5 erfassen Abstufungen, schwanken aber stärker.
Wie kann ich einen Prompt testen?
Legen Sie Bewertungskriterien fest, sammeln Sie 20 bis 50 typische Eingaben und bewerten Sie die Antworten mit dem Raster. Solche Evals zeigen, ob eine neue Prompt-Version wirklich besser ist.
Zum Weiterlesen
- Prompts testen mit Evals: So messen Sie, ob ein Prompt besser istPrompts testen mit Evals: Testsatz anlegen, Kriterien festlegen, Varianten vergleichen und mit KI bewerten lassen. Messbar statt nach Gefühl.
- Gute Prompts schreiben: Was einen Prompt wirklich besser machtGute Prompts schreiben ist Handwerk: welche Angaben ein Prompt braucht, welche Fehler die Ergebnisse verschlechtern und wie man Vorlagen sinnvoll nutzt.
- Halluzinationen vermeiden: So werden KI-Antworten verlässlicherKI-Halluzinationen vermeiden: warum Sprachmodelle Fakten erfinden und mit welchen Prompts, Quellen und Prüfschritten ihre Antworten verlässlicher werden.
Das könnte auch helfen
Bild-Prompt-Generatorneu
Bildprompts für Midjourney, DALL-E und Co. aus Motiv, Stil, Licht und Perspektive zusammenbauen.
ÖffnenFew-Shot-Generatorneu
Beispiele für Eingabe und Ausgabe zu einem sauberen Few-Shot-Prompt zusammensetzen.
ÖffnenPrompt-Baukasten
Aus Aufgabe, Kontext, Format und Grenzen einen sauber strukturierten Prompt bauen.
ÖffnenPrompt-Vergleich
Zwei Prompt-Versionen vergleichen: Änderungen markiert, Token- und Kostenunterschied.
ÖffnenPrompt-Prüfer
Findet Floskeln, vage Wörter und fehlende Angaben in Ihrem Prompt und zeigt, was sich sparen lässt.
ÖffnenKlassifizierungs-Prompt-Generatorneu
Prompt und JSON-Schema zum Einordnen von Texten in Kategorien.
Öffnen