KI-Vorfälle melden und erkennen: Pflichten und interner Ablauf

KI-Vorfälle melden zu können, wird für Unternehmen wichtiger. Ein Chatbot gibt vertrauliche Daten preis, eine KI-gestützte Auswahl benachteiligt systematisch eine Gruppe, ein Agent löscht versehentlich Dateien: Solche Ereignisse sollten erkannt, bewertet und gegebenenfalls gemeldet werden. Welche Pflicht greift, hängt von der Art des Vorfalls ab. Dieser Überblick ersetzt keine Rechtsberatung.

Was ist ein KI-Vorfall?

Eine einheitliche Definition für alle Fälle gibt es nicht. Praktisch sinnvoll ist eine weite Auffassung: jedes Ereignis, bei dem ein KI-System Schaden verursacht, beinahe verursacht hätte oder sich deutlich anders verhält als vorgesehen. Beispiele:

• Personenbezogene oder vertrauliche Daten werden durch einen KI-Dienst offengelegt.
• Ein Chatbot gibt falsche, für Kunden folgenreiche Auskünfte.
• Eine Prompt Injection bringt einen Agenten dazu, unerwünschte Aktionen auszuführen.
• Ein System trifft auffällig verzerrte Entscheidungen über Personen.

Meldepflichten nach der KI-Verordnung

Die KI-Verordnung kennt eine Meldepflicht für schwerwiegende Vorfälle bei Hochrisiko-KI (Art. 73). Gemeint sind etwa der Tod oder eine schwere Gesundheitsschädigung eines Menschen, eine schwere und unumkehrbare Störung kritischer Infrastruktur, Verstöße gegen Pflichten zum Schutz der Grundrechte oder schwere Sach- oder Umweltschäden. Der Anbieter muss solche Vorfälle der Marktüberwachungsbehörde melden, je nach Schwere innerhalb weniger Tage, spätestens nach 15 Tagen. Betreiber müssen bei einem schwerwiegenden Vorfall unverzüglich den Anbieter und die Behörde informieren (Art. 26). Diese Pflichten gelten mit den Hochrisiko-Regeln, für Anhang III also ab dem 2. Dezember 2027. Anbieter von GPAI-Modellen mit systemischem Risiko melden schwerwiegende Vorfälle schon jetzt an das Büro für Künstliche Intelligenz.

Meldepflichten nach der DSGVO

Häufiger und schon heute relevant ist die Datenschutzverletzung. Geraten personenbezogene Daten durch einen KI-Dienst an Unbefugte, muss der Verantwortliche das nach Art. 33 DSGVO in der Regel binnen 72 Stunden nach Bekanntwerden der zuständigen Aufsichtsbehörde melden, es sei denn, ein Risiko für die Betroffenen ist unwahrscheinlich. Bei hohem Risiko sind auch die Betroffenen zu benachrichtigen (Art. 34). Auch nicht meldepflichtige Verletzungen müssen intern dokumentiert werden.

Für Unternehmen, die unter die NIS-2-Regeln zur Cybersicherheit fallen, können außerdem Meldepflichten für erhebliche Sicherheitsvorfälle bestehen, auch wenn ein KI-System beteiligt ist.

Ein interner Ablauf in fünf Schritten

1. Melden: Beschäftigte wissen, an wen sie auffälliges KI-Verhalten melden, etwa eine zentrale E-Mail-Adresse.
2. Sichern: Prompt, Antwort, Zeitpunkt, Modell und betroffene Daten festhalten; Screenshots und Protokolle aufbewahren.
3. Eindämmen: Zugang sperren, Freigaben zurücknehmen, Agenten pausieren, Schlüssel austauschen.
4. Bewerten: Datenschutzbeauftragten und Verantwortliche einbinden; prüfen, ob eine Meldepflicht besteht und welche Frist läuft.
5. Lernen: Ursache klären, Regeln oder Prompts anpassen, Schulung ergänzen.

Vorbereitung lohnt sich

Die 72-Stunden-Frist der DSGVO lässt wenig Zeit für Grundsatzfragen. Halten Sie deshalb vorab fest, welche KI-Systeme es gibt, wer verantwortlich ist und welche Daten sie verarbeiten. Der KI-Verzeichnis-Generator erstellt diese Übersicht. Welche Dokumente darüber hinaus sinnvoll sind, beschreibt Dokumentation von KI-Systemen. Agenten, die selbstständig handeln, sollten zusätzlich abgesichert sein, siehe KI-Agenten absichern.