Agenten in Copilot Studio testen: Testbereich, Testsätze und Analysen

Wer in Copilot Studio testen will, braucht mehr als ein paar Fragen im Testfenster. Ein Agent, der bei der Vorführung glänzt, kann im Alltag an unklaren Fragen, fehlenden Rechten oder überraschenden Formulierungen scheitern. Ein fester Ablauf mit Testsätzen macht Qualität messbar.

Der Testbereich

Im Testbereich chatten Sie mit dem aktuellen Entwurf des Agenten, ohne ihn zu veröffentlichen. Die Aktivitätsansicht zeigt dabei, welches Thema, welche Wissensquelle und welches Werkzeug der Agent gewählt hat und mit welchen Eingaben. Gerade bei generativer Orchestrierung ist das die wichtigste Hilfe: Sie sehen, warum eine Antwort so ausgefallen ist.

Einen Testsatz aufbauen

1. Typische Fragen echter Nutzer sammeln, in deren eigenen Worten.
2. Schwierige Fälle ergänzen: unklare Fragen, Tippfehler, mehrere Anliegen in einer Nachricht.
3. Fragen außerhalb des Themas aufnehmen, die der Agent ablehnen oder weiterleiten soll.
4. Fragen ohne Antwort in den Quellen, bei denen der Agent Nichtwissen zugeben muss.
5. Erwartung notieren: was eine gute Antwort enthalten muss und was nicht.

Copilot Studio bietet automatisierte Testsätze, mit denen Sie Änderungen gegen dieselben Fragen prüfen. Ein Bewertungsschema für Antworten erstellt das Bewertungsraster für KI-Antworten. Die Anleitung Agent testen und auswerten zeigt die Schritte im Detail.

Woran Sie Antworten messen

Rechte und Kanäle testen

• Mit verschiedenen Testkonten prüfen: Bekommt jemand ohne Leserechte Antworten aus geschützten Dokumenten? Das darf nicht passieren.
• Im Zielkanal testen, etwa in Teams, nicht nur im Testbereich. Darstellung und Anmeldung können sich unterscheiden.
• Werkzeuge mit Testdaten aufrufen, bevor sie echte Tickets oder Mails erzeugen.

Eine Änderung zur Zeit

Ändern Sie Anweisungen, Beschreibungen oder Quellen immer einzeln und wiederholen Sie danach den Testsatz. Sonst wissen Sie nicht, welche Änderung eine Verbesserung oder Verschlechterung gebracht hat. Tipps für robuste Anweisungen bietet Copilot Studio Anweisungen schreiben, allgemeine Methoden Evals für Prompts.

Nach dem Start

Im Bereich Analysen sehen Sie Gesprächszahlen, abgebrochene Gespräche, Übergaben an Menschen und Bewertungen. Lesen Sie in den ersten Wochen regelmäßig echte Gespräche, übernehmen Sie schlecht beantwortete Fragen in den Testsatz und prüfen Sie auch den Verbrauch an Copilot Credits.

Testen als Teamaufgabe

Wer einen Agenten baut, testet oft mit den Formulierungen, die er selbst im Kopf hat. Bitten Sie deshalb Fachleute und spätere Nutzer, den Agenten vor dem Start auszuprobieren und Fragen in eigenen Worten zu stellen. Sammeln Sie deren Rückmeldungen strukturiert, etwa mit einer kurzen Liste aus Frage, erhaltener Antwort und Bewertung. Diese Fälle ergänzen den Testsatz und machen ihn mit jeder Runde realistischer. Legen Sie außerdem fest, wer vor jeder Veröffentlichung den Testsatz ausführt und das Ergebnis freigibt.

Bewahren Sie die Ergebnisse jeder Testrunde auf. Der Vergleich über mehrere Versionen zeigt, ob der Agent mit der Zeit besser wird oder ob sich alte Fehler wieder einschleichen.