Tokenlabor

Runbook für KI-Agenten erstellen

Runbook für KI-Agenten erstellen: Zuständigkeiten, Überwachung, Not-Aus und Störungsszenarien als Markdown-Vorlage für Wiki und Betrieb.

Störungsszenarien
–

 

Runbook (Markdown)

Alles läuft in Ihrem Browser. Eingaben verlassen Ihr Gerät nicht.

Betrieb und Notfall für KI-Agenten

Ein Runbook für KI-Agenten beschreibt, was im Betrieb zu tun ist: wer zuständig ist, wie man den Agenten überwacht, wie man ihn im Notfall stoppt und wie man auf typische Störungen reagiert. Der Generator erzeugt aus wenigen Angaben eine Runbook-Vorlage als Markdown, die Sie in Wiki oder Repository ablegen und mit Details aus Ihrem Betrieb ergänzen. Es ist das Betriebshandbuch und zugleich der Notfallplan für den Agenten.

Für jedes gewählte Szenario enthält das Runbook vier Abschnitte: Woran erkennt man die Störung, was ist sofort zu tun, was ist zu prüfen und wie läuft der Agent wieder an. Abgedeckt sind etwa eine nicht erreichbare oder überlastete Modell-API, Rate Limits mit HTTP 429 und dem Header retry-after, Kostenausreißer, Endlosschleifen, falsche Aktionen, Prompt Injection und Datenschutzvorfälle. Bei Datenschutzvorfällen nennt das Runbook die Frist von 72 Stunden für die Meldung an die Aufsichtsbehörde nach Art. 33 DSGVO und verweist auf die Datenschutzbeauftragten. Zentral sind ein getestetes Not-Aus und eine klare Eskalation; beides tragen Sie oben ein. Wartezeiten für erneute Versuche berechnen Sie mit dem Retry-Backoff-Rechner, Bedeutungen von API-Fehlern finden Sie bei den KI-API-Fehlercodes.

Grenzen: Das Runbook ist eine allgemeine Vorlage. Konkrete Befehle, Dashboards und Telefonnummern müssen aus Ihrer Umgebung kommen, und die Abläufe sollten mindestens einmal geübt werden.

Anleitung: Runbook für KI-Agenten in 4 Schritten

  1. Tragen Sie Name, Zweck, Verantwortliche und die angebundenen Systeme ein.
  2. Beschreiben Sie unter „Not-Aus“, wie der Agent sofort gestoppt wird, und wo Protokolle liegen.
  3. Wählen Sie die Störungsszenarien, die Ihr Agent abdecken soll.
  4. Kopieren Sie das Runbook als Markdown in Ihr Wiki und ergänzen Sie Details aus Ihrem Betrieb.

Typische Anwendungsfälle

  • Übergabe eines Agenten vom Projektteam an den Betrieb.
  • Vorbereitung einer Bereitschaft: Wer tut was, wenn der Agent nachts falsche E-Mails verschickt?
  • Nachweis gegenüber Revision oder Informationssicherheit, dass Störungen geregelt sind.
  • Übung eines Notfalls im Team anhand der Szenarien.
Fragen

Häufige Fragen

Was gehört in ein Runbook für einen KI-Agenten?

Steckbrief mit Zweck und Systemen, Verantwortliche und Eskalation, tägliche Kontrollen, der Weg zum Abschalten, Szenarien mit Erkennung, Sofortmaßnahmen, Prüfung und Wiederanlauf sowie eine Nachbereitung nach jedem Vorfall.

Wie sollte ein Not-Aus für Agenten aussehen?

Es sollte den Agenten in Sekunden stoppen, ohne Code zu ändern, etwa per Feature-Flag oder durch Entzug des API-Schlüssels, und von mehreren Personen ausgelöst werden können. Laufende Aufträge sollten dabei sauber abgebrochen werden.

Muss ich jeden Vorfall mit einem Agenten melden?

Nicht jeden. Betrifft ein Vorfall personenbezogene Daten, kann eine Meldung an die Aufsichtsbehörde binnen 72 Stunden nach Art. 33 DSGVO nötig sein. Ziehen Sie dafür frühzeitig Ihre Datenschutzbeauftragten hinzu. Keine Rechtsberatung.

Werden meine Angaben gespeichert?

Nein. Das Runbook entsteht in Ihrem Browser.

Wie oft sollte ich das Not-Aus testen?

Mindestens vor dem Produktivstart und danach regelmäßig, zum Beispiel jedes Quartal und nach größeren Änderungen. Ein Not-Aus, das nie geübt wurde, scheitert oft an fehlenden Rechten oder veralteten Anleitungen.

Gehört das Runbook in dasselbe Dokument wie der Agenten-Steckbrief?

Es kann, muss aber nicht. Der Steckbrief beschreibt, was der Agent ist und darf; das Runbook beschreibt, was im Betrieb zu tun ist. Viele Teams verlinken beide Dokumente gegenseitig.

Ratgeber

Zum Weiterlesen

Alle Artikel
  1. Was sind Tokens? Einfach erklärtTokens sind die Rechen- und Abrechnungseinheit von Sprachmodellen. Was ein Token ist, wie viele ein deutscher Text hat und warum das Geld kostet.
  2. Kontextfenster erklärt: Wie viel Text ein Modell auf einmal verarbeitetDas Kontextfenster begrenzt, wie viel ein KI-Modell gleichzeitig lesen und schreiben kann. Was die Zahl bedeutet, wo die Grenzen liegen und wie man damit umgeht.
  3. Warum deutsche Texte mehr Tokens brauchen als englischeDeutsche Texte brauchen meist 20 bis 50 Prozent mehr Tokens als englische. Woran das liegt, was es kostet und was man dagegen tun kann.
Weitere Werkzeuge

Das könnte auch helfen

Alle 558 Werkzeuge

Agenten-Workflow planen

Schritte, Werkzeuge, Autonomie und Grenzen eines KI-Agenten festlegen, mit Warnungen und Plan als Markdown.

Öffnen

Automatisierungspotenzial bewerten

Aufgaben nach Häufigkeit, Regeln, Daten und Risiko bewerten: Eignung für KI-Automatisierung und Zeitersparnis.

Öffnen

Human-in-the-Loop-Planer

Je Agenten-Aktion die Freigabestufe bestimmen: automatisch, Stichprobe, Freigabe oder Vier-Augen.

Öffnen

Agent-Berechtigungen prüfen

Checkliste nach dem Least-Privilege-Prinzip und Prüfung von Scopes wie Mail.Send oder Files.ReadWrite.All.

Öffnen

Workflow in Mermaid umwandeln

Schritte und Entscheidungen zeilenweise eingeben und als Mermaid-Flowchart mit einfacher Vorschau ausgeben.

Öffnen

Agent-Evaluierung planen

Testfälle, Läufe, Metriken und Kosten für die Evaluierung eines KI-Agenten, mit pass@k und Fehlerspanne.

Öffnen