KI-Aufsicht in Deutschland: Wer die KI-Verordnung überwacht

Die KI-Aufsicht in Deutschland verteilt sich auf mehrere Stellen. Die KI-Verordnung (EU) 2024/1689 verpflichtet jeden Mitgliedstaat, Marktüberwachungsbehörden und notifizierende Behörden zu benennen. Für große KI-Modelle ist dagegen die EU selbst zuständig. Wer KI anbietet oder einsetzt, sollte wissen, an wen er sich wenden kann und wer prüfen darf. Dieser Überblick ersetzt keine Rechtsberatung.

Die europäische Ebene

• Büro für Künstliche Intelligenz (AI Office): Teil der EU-Kommission, zuständig für die Aufsicht über Anbieter von KI-Modellen mit allgemeinem Verwendungszweck, siehe GPAI-Pflichten.
• Europäisches KI-Gremium: Vertreter der Mitgliedstaaten, das für eine einheitliche Anwendung sorgen soll.
• Wissenschaftliches Gremium unabhängiger Sachverständiger, das unter anderem vor systemischen Risiken warnen kann.

Die nationale Ebene

Nach Art. 70 der KI-Verordnung benennt jeder Mitgliedstaat mindestens eine Marktüberwachungsbehörde und eine notifizierende Behörde. In Deutschland soll die Bundesnetzagentur nach den Plänen des Bundes die zentrale Rolle übernehmen: als Marktüberwachungsbehörde für viele KI-Systeme und als zentrale Anlaufstelle. Die Einzelheiten regelt ein deutsches Durchführungsgesetz zur KI-Verordnung. Prüfen Sie bei konkreten Fragen den aktuellen Stand; die Bundesnetzagentur bietet bereits Informationen für Unternehmen an.

Sonderzuständigkeiten

Die KI-Verordnung sieht für bestimmte Bereiche vor, dass andere Behörden zuständig sind oder werden können:

• Finanzsektor: Für Hochrisiko-KI, die Finanzinstitute im Zusammenhang mit ihren Dienstleistungen einsetzen, sind grundsätzlich die Finanzaufsichtsbehörden zuständig, in Deutschland die BaFin.
• Produkte nach Anhang I: Ist KI Teil eines Produkts, das bereits EU-Produktvorschriften unterliegt, etwa Maschinen oder Medizinprodukte, prüfen in der Regel die dafür zuständigen Marktüberwachungsbehörden.
• Bestimmte sensible Bereiche: Für Hochrisiko-KI in Strafverfolgung, Migration und Justiz sowie bestimmte biometrische Systeme sieht die Verordnung die Datenschutzaufsichtsbehörden oder andere besonders unabhängige Stellen vor.

Datenschutzaufsicht bleibt zuständig

Unabhängig von der KI-Verordnung überwachen die Datenschutzbehörden die Einhaltung der DSGVO, auch bei KI-Anwendungen. In Deutschland sind das für Unternehmen die Datenschutzaufsichtsbehörden der Länder, für Bundesbehörden und bestimmte Bereiche der Bundesbeauftragte für den Datenschutz und die Informationsfreiheit. Sie haben bereits Orientierungshilfen zum Einsatz von KI veröffentlicht. Für die meisten Unternehmen ist die Datenschutzaufsicht derzeit die Behörde, mit der sie beim Thema KI am ehesten zu tun bekommen. Grundlagen stehen in DSGVO und KI.

Was die Behörden dürfen

Marktüberwachungsbehörden können Unterlagen anfordern, Systeme prüfen, die Korrektur von Mängeln verlangen und Produkte im Extremfall vom Markt nehmen lassen. Bei Verstößen drohen Bußgelder, deren Höhe nach Art des Verstoßes gestaffelt ist; am höchsten sind sie bei verbotenen Praktiken (siehe Verbotene KI-Praktiken). Beschwerden über mutmaßliche Verstöße können grundsätzlich alle Personen bei der Marktüberwachungsbehörde einreichen.

Was das für Unternehmen bedeutet

1. Für jedes KI-System festhalten, welche Aufsicht voraussichtlich zuständig ist.
2. Unterlagen so führen, dass sie bei einer Anfrage schnell vorliegen, siehe Dokumentation von KI-Systemen.
3. Bei neuen Vorhaben mit unklarer Einordnung frühzeitig das Gespräch suchen, etwa über ein KI-Reallabor.
4. Die Risikoklasse Ihrer Systeme mit dem Fragebogen KI-Risikoklasse prüfen vorab einschätzen.