Agent testen und auswerten
Ein Agent ist nur so gut wie seine Tests. Mit einem festen Satz an Testfragen erkennen Sie, ob Änderungen helfen oder schaden. Nach dem Start zeigen die Analysen in Copilot Studio, wo der Agent scheitert.
Voraussetzungen
- Ein Agent in Copilot Studio
- 20 bis 50 typische Fragen mit erwarteten Antworten
Ablauf
1Testsatz anlegen
Sammeln Sie typische Fragen, schwierige Fälle und Fragen außerhalb des Themas. Notieren Sie, was eine gute Antwort enthalten muss.
2Im Testbereich prüfen
Stellen Sie die Fragen im Testbereich und bewerten Sie jede Antwort nach festen Kriterien: richtig, vollständig, mit Quelle, im richtigen Ton.
3Ablauf nachvollziehen
Die Aktivitätsanzeige zeigt, welche Wissensquellen und Werkzeuge genutzt wurden. So finden Sie heraus, warum eine Antwort falsch war.
4Verbessern und wiederholen
Ändern Sie immer nur eine Sache (Anweisung, Beschreibung, Wissen) und wiederholen Sie den Testsatz.
5Nach dem Start messen
Im Bereich Analysen sehen Sie Nutzung, abgebrochene Gespräche und Bewertungen. Ergänzen Sie den Testsatz um echte Fragen, die schlecht beantwortet wurden.
- Ein Bewertungsraster macht Ergebnisse vergleichbar.
- Testen Sie mit Konten unterschiedlicher Berechtigungen.
Erfolgskontrolle
- Mindestens 90 Prozent der Testfragen werden gut beantwortet.
- Fragen außerhalb des Themas werden abgelehnt.
Quellen
Passende Werkzeuge und Ratgeber
Unabhängige Anleitung, nicht von Microsoft. Menüs können sich ändern; maßgeblich ist die verlinkte Dokumentation. Erstellt mit Unterstützung von KI, geprüft und verantwortet von Leon Blatz. Grafiken: Tokenlabor.