Prompts versionieren: Änderungen nachvollziehbar machen

Prompts versionieren bedeutet, jede Änderung an einem wichtigen Prompt festzuhalten: was geändert wurde, warum und mit welchem Ergebnis. Das klingt nach Bürokratie, spart aber Ärger. Wer einen Prompt im Kundenservice, in einer Automatisierung oder in einem Produkt nutzt, muss wissen, welche Fassung gerade läuft und wie man zur vorherigen zurückkommt.

Warum Versionierung nötig ist

• Kleine Änderung, große Wirkung: Ein zusätzlicher Satz kann das Verhalten eines Modells deutlich verändern, auch an unerwarteten Stellen.
• Modellwechsel: Wenn ein Anbieter ein Modell ersetzt oder Sie wechseln, müssen Prompts oft angepasst werden. Dann brauchen Sie den Vergleich mit dem bisherigen Stand.
• Mehrere Beteiligte: Im Team ändern verschiedene Personen denselben Prompt. Ohne Protokoll weiß niemand, woher eine Verschlechterung kommt.
• Nachweise: In regulierten Bereichen oder bei Beschwerden hilft es, zeigen zu können, welche Anweisungen zu einem Zeitpunkt galten.

Was zu einer Prompt-Version gehört

1. der vollständige Prompt-Text inklusive Systemprompt,
2. eine Versionsnummer oder ein Datum,
3. das verwendete Modell und wichtige Parameter wie Temperatur oder max_tokens,
4. eine kurze Notiz, was geändert wurde und warum,
5. das Ergebnis der Tests mit dieser Fassung.

Das Modell gehört dazu, weil derselbe Prompt mit einem anderen Modell andere Ergebnisse liefert. Zum Thema Parameter siehe Temperatur und Top-p.

Bewährt hat sich ein einfaches Nummernschema: Die erste Zahl steigt bei grundlegenden Änderungen, etwa einem neuen Aufbau oder Modellwechsel, die zweite bei kleineren Anpassungen wie einer zusätzlichen Regel. So erkennt man auf einen Blick, ob zwischen zwei Fassungen viel oder wenig passiert ist. Wichtig ist nur, dass das Schema im Team einheitlich genutzt wird.

Einfache Lösung für kleine Teams

Für wenige Prompts reicht ein gemeinsames Dokument oder eine Tabelle: eine Zeile je Version mit Datum, Änderung, Bearbeiter und Testergebnis, der Prompt-Text daneben oder verlinkt. Wichtig ist nur die Disziplin, jede Änderung einzutragen. Hinweise zur gemeinsamen Ablage gibt der Ratgeber Prompt-Vorlagen im Team.

Prompts im Git-Repository

In Softwareprojekten gehören Prompts in die Versionsverwaltung, am besten als eigene Dateien statt als Text mitten im Code. Vorteile:

• Änderungen sind über Commits und Diffs sichtbar,
• Prompt-Änderungen lassen sich wie Code prüfen, bevor sie live gehen,
• alte Stände sind mit einem Befehl wiederherstellbar,
• automatische Tests können bei jeder Änderung laufen.

Platzhalter für variable Inhalte machen Prompts wiederverwendbar; das Prinzip zeigt Serien-Prompts mit Platzhaltern. Es gibt zudem spezialisierte Werkzeuge für Prompt Management, die Versionen, Tests und Auswertungen bündeln. Ob sich das lohnt, hängt von der Zahl der Prompts und Beteiligten ab.

Testen vor dem Wechsel

Eine neue Version sollte erst live gehen, wenn sie mit einem festen Satz von Testeingaben mindestens so gut abschneidet wie die alte. Wie man solche Testsätze aufbaut, erklärt der Ratgeber Evals für Prompts. Für einen schnellen Vergleich zweier Fassungen eignet sich der Prompt-Vergleich. Im laufenden Betrieb hilft Monitoring, Verschlechterungen früh zu bemerken; mehr im Ratgeber LLM-Observability.