Tokenlabor

Prompt-Testmatrix erstellen

Prompt-Testmatrix erstellen: Kombinieren Sie Prompt-Varianten mit Testfällen, Modellen und Wiederholungen und exportieren Sie alles als CSV oder JSONL.

–

 

    Testmatrix

    Alles läuft in Ihrem Browser. Eingaben verlassen Ihr Gerät nicht.

    Prompts systematisch vergleichen

    Mit der Prompt-Testmatrix kombinieren Sie mehrere Prompt-Varianten mit einer Liste von Testfällen und, falls gewünscht, mehreren Modellen. Das Ergebnis ist eine Tabelle, in der jede Zeile genau einen Aufruf beschreibt: welche Variante, welcher Testfall, welches Modell, welcher Durchlauf und der fertig ausgefüllte Prompt. Damit wird aus der Frage „Welcher Prompt ist besser?“ ein nachvollziehbarer Vergleich statt eines Bauchgefühls. Das Werkzeug unterstützt so Prompt-Varianten testen, einen A/B-Test Prompt gegen Prompt und die systematische Prompt-Evaluierung.

    Die Testfälle für Prompts geben Sie als CSV ein. Jede Spalte wird zum Platzhalter: Eine Spalte text füllt {{text}} in jeder Variante. Eine Spalte mit dem Namen erwartet wird nicht eingesetzt, sondern als Sollwert mitgeführt, damit Sie oder ein Bewertungsmodell die Antworten später vergleichen können. Wiederholungen derselben Kombination zeigen, wie stark ein Modell bei gleicher Eingabe streut. Die Testmatrix CSV öffnen Sie in Excel, die JSONL-Ausgabe eignet sich für Skripte und mit dem Batch-Datei-Generator für die Batch-API.

    Achten Sie auf die Größe: Varianten mal Testfälle mal Modelle mal Wiederholungen ergibt schnell Hunderte Aufrufe. Das Werkzeug zeigt die Zahl vorab an. Fangen Sie mit wenigen, aber typischen und schwierigen Testfällen an. Zwei einzelne Texte lassen sich schneller mit dem Prompt-Vergleich gegenüberstellen.

    Anleitung: Prompt-Testmatrix in 4 Schritten

    1. Im Feld „Prompt-Varianten“ jede Variante eintragen und Varianten mit einer Zeile --- trennen; Platzhalter schreiben Sie als {{name}}.
    2. Im Feld „Testfälle (CSV)“ die erste Zeile mit Spaltennamen füllen, darunter je Zeile einen Testfall.
    3. Unter „Modelle“ die Modell-IDs mit Komma getrennt eintragen und die Zahl der „Wiederholungen je Kombination“ wählen.
    4. Format CSV oder JSONL wählen und das Ergebnis kopieren oder herunterladen.

    Typische Anwendungsfälle

    • Zwei Formulierungen eines Systemprompts an denselben 30 Kundenanfragen vergleichen.
    • Ein kleineres Modell gegen das bisherige antreten lassen, bevor man umstellt.
    • Durch Wiederholungen prüfen, wie stark Antworten bei gleicher Eingabe schwanken.
    • Eine Tabelle für die manuelle Bewertung durch Fachleute vorbereiten, mit Spalte für die erwartete Antwort.
    Fragen

    Häufige Fragen

    Wie schreibe ich Platzhalter?

    In doppelten geschweiften Klammern, zum Beispiel {{frage}}. Der Name muss genau einer Spaltenüberschrift der Testfälle entsprechen; Groß- und Kleinschreibung zählt nicht.

    Kann ich Texte mit Zeilenumbrüchen als Testfall verwenden?

    Ja. Setzen Sie den Wert in der CSV in doppelte Anführungszeichen. Innerhalb davon dürfen Zeilenumbrüche und Trennzeichen stehen, doppelte Anführungszeichen werden verdoppelt.

    Brauche ich das Feld Modelle?

    Nein. Bleibt es leer, entsteht die Matrix ohne Modellspalte, etwa wenn Sie nur Varianten an einem festen Modell testen.

    Bewertet das Werkzeug die Antworten?

    Nein, es erstellt nur die Matrix der Aufrufe. Die Antworten erzeugen und bewerten Sie mit Ihrem Skript, einer Tabellenkalkulation oder einem Evaluierungswerkzeug.

    Was passiert mit Platzhaltern, für die es keine Spalte gibt?

    Sie bleiben unverändert stehen und werden unter dem Ergebnis als Warnung aufgeführt, damit kein Testlauf mit leerem Platzhalter startet.

    Wie verschicke ich die Matrix an eine API?

    Die JSONL-Ausgabe enthält je Zeile eine eindeutige custom_id. Daraus lässt sich mit dem Batch-Datei-Generator eine Datei für die Batch-API erstellen.

    Ratgeber

    Zum Weiterlesen

    Alle Artikel
    1. RAG einfach erklärt: KI mit eigenen Dokumenten nutzenRAG einfach erklärt: wie Retrieval-Augmented Generation funktioniert, wofür man Embeddings und Vektordatenbanken braucht und was ein RAG-System kostet.
    2. Structured Outputs: Zuverlässig JSON von KI-ModellenStructured Outputs erklärt: Wie Sie mit JSON-Schema garantiert gültiges JSON von OpenAI, Claude und Gemini bekommen, statt kaputte Antworten nachträglich zu reparieren.
    3. Prompt Injection: Wie Angriffe auf KI-Systeme funktionierenPrompt Injection erklärt: wie versteckte Anweisungen in E-Mails, Dokumenten und Websites KI-Assistenten und Agenten manipulieren und welche Schutzmaßnahmen wirken.
    Weitere Werkzeuge

    Das könnte auch helfen

    Alle 558 Werkzeuge

    JSON formatierenneu

    JSON formatieren, prüfen und minifizieren, mit Fehlerstelle und Tokenzahl.

    Öffnen

    JSON reparierenneu

    Kaputtes JSON aus KI-Antworten reparieren: Codeblöcke, Kommas, Anführungszeichen.

    Öffnen

    Batch-Datei-Generatorneu

    Aus einer Vorlage und einer Liste viele Prompts erzeugen, als JSONL für die Batch-APIs.

    Öffnen

    API-Anfrage-Generatorneu

    Fertige cURL-Anfragen für die APIs von OpenAI, Anthropic und Google erzeugen.

    Öffnen

    Prompt-Injection-Prüferneu

    Fremde Texte vor der KI-Verarbeitung auf versteckte Anweisungen und Tricks prüfen.

    Öffnen

    JSON-Schema-Generator

    Aus einem JSON-Beispiel ein JSON Schema für strukturierte Ausgaben von KI-Modellen erzeugen.

    Öffnen