Copilot Agent testen: Testfälle erstellen
Copilot Agent testen mit System: Das Werkzeug erzeugt Testfälle aus Zweck, Themen, Aktionen und Grenzen, mit erwartetem Verhalten, als Tabelle und CSV für den Abnahmetest.
| Nr. | Art | Testeingabe | Erwartetes Verhalten |
|---|
Alles läuft in Ihrem Browser. Eingaben verlassen Ihr Gerät nicht.
Copilot-Agenten systematisch testen
Wer einen Copilot Agent testen will, braucht feste Testfälle, die vor jeder Freigabe und nach jeder Änderung gleich ablaufen. Das Werkzeug erzeugt sie aus Zweck, Themen, Aktionen und Grenzen des Agenten: Kernfragen je Thema, andere Formulierungen, Tippfehler, unvollständige Angaben, Fragen außerhalb des Themas, Grenzfälle, Manipulationsversuche per Prompt-Injection, Aufrufe von Aktionen und Fragen in anderen Sprachen. Zu jeder Testeingabe steht das erwartete Verhalten.
Die Testfragen eignen sich für den Abnahmetest im Testbereich von Copilot Studio genauso wie für Tests durch die Fachabteilung. Tragen Sie beim Copilot Studio Test in den Spalten „Ergebnis“ und „Bemerkung“ ein, ob der Agent wie erwartet reagiert hat. Weil die Testfälle aus Ihren Angaben gebildet werden, wiederholen Sie den Test nach Änderungen an Anweisungen, Wissensquellen oder Themen mit denselben Fragen und sehen so Rückschritte.
Grenzen: Die Testfälle sind Vorlagen. Ergänzen Sie echte Fragen aus Ihrem Fachbereich und erwartete Antworten mit konkreten Inhalten, etwa Beträge aus der Richtlinie. Sicherheitstests ersetzen keine Prüfung von Berechtigungen und Datenquellen.
Anleitung: Copilot Agent testen in 4 Schritten
- Tragen Sie Name und Zweck des Agenten ein und listen Sie unter „Themen“ je Zeile eine Aufgabe des Agenten auf.
- Ergänzen Sie „Aktionen“, „Darf nicht“ und die „Sprachen“, die der Agent beherrschen soll.
- Wählen Sie die Testarten, etwa Varianten, Grenzfälle und Sicherheit.
- Kopieren Sie die Tabelle als CSV oder laden Sie sie herunter und tragen Sie beim Testen das Ergebnis ein.
Typische Anwendungsfälle
- Vor der Freigabe eines Agenten in Copilot Studio wird ein Abnahmetest mit festen Fragen durchgeführt.
- Nach einer Änderung an Anweisungen oder Wissensquellen wird geprüft, ob alte Fragen noch richtig beantwortet werden.
- Fachabteilungen bekommen eine Liste, mit der sie den Agenten selbst testen können.
- Die IT-Sicherheit prüft, ob der Agent auf Manipulationsversuche und Fragen nach vertraulichen Daten richtig reagiert.
Häufige Fragen
Was gehört in einen Testfall für einen Agenten?
Eine konkrete Eingabe, das erwartete Verhalten und später das tatsächliche Ergebnis. Bei Wissensfragen am besten mit der erwarteten Kernaussage.
Warum Fragen außerhalb des Themas testen?
Ein Agent soll nicht alles beantworten. Der Test zeigt, ob er höflich ablehnt oder weiterverweist statt zu raten.
Wie teste ich Prompt-Injection?
Mit Eingaben, die den Agenten auffordern, Anweisungen zu ignorieren oder interne Informationen preiszugeben. Er sollte ablehnen und bei seiner Aufgabe bleiben.
Wie oft sollte ich testen?
Vor der ersten Freigabe und nach jeder Änderung an Anweisungen, Wissen, Themen oder Aktionen, mit denselben Fällen.
Wie viele Testfälle braucht ein Agent?
Für einen kleinen Agenten reichen oft 20 bis 40 Fälle. Wichtiger als die Menge ist, dass jedes Thema, jede Aktion und jede Grenze mindestens einmal vorkommt.
Kann ich die Fragen automatisch testen lassen?
Copilot Studio bietet je nach Version Funktionen zum Testen und Bewerten von Agenten. Die CSV-Datei lässt sich als Grundlage verwenden; Spaltennamen passen Sie an das jeweilige Werkzeug an.
Zum Weiterlesen
- Was ist Copilot Studio? Microsofts Baukasten für KI-AgentenWas ist Copilot Studio? Microsofts Werkzeug für eigene KI-Agenten erklärt: Funktionen, Einsatzbeispiele, Kanäle wie Teams, Lizenzen und Abgrenzung zu Microsoft 365 Copilot.
- Copilot Studio Lizenzen: Kosten, Credits und AbrechnungCopilot Studio Lizenzen erklärt: Copilot Credits, Kapazitätspakete, Pay-as-you-go, was in Microsoft 365 Copilot enthalten ist und was ein Agent pro Monat kostet.
- Copilot Studio Agent erstellen: Schritt für SchrittCopilot Studio Agent erstellen: vom leeren Agenten über Anweisungen, Wissensquellen und Werkzeuge bis zu Test und Veröffentlichung. Anleitung mit Tipps aus der Praxis.
Das könnte auch helfen
Lizenz oder Credits?neu
Ab wann lohnt sich die Microsoft-365-Copilot-Lizenz für interne Agenten gegenüber Copilot Credits?
ÖffnenAgent-Beschreibungen schreibenneu
Klare Beschreibungen für Themen, Werkzeuge und Wissensquellen bei generativer Orchestrierung.
ÖffnenCopilot-Studio-Kostenrechnerneu
Was kostet ein Agent in Copilot Studio? Copilot Credits je Gespräch, Kapazitätspakete oder Pay-as-you-go.
ÖffnenCopilot-Credits-Rechnerneu
Copilot Credits in Euro umrechnen und sehen, ab wann sich Kapazitätspakete lohnen.
ÖffnenAnweisungen für Copilot-Studio-Agentenneu
Agent-Anweisungen strukturiert schreiben, mit Zähler für die Grenze von 8.000 Zeichen.
ÖffnenTrigger-Phrasen-Prüferneu
Trigger-Phrasen für Copilot-Studio-Themen prüfen: Anzahl, Dubletten und Überschneidungen.
Öffnen