Anhörung in New York: KI-Firmen geben keine Garantie für sichere Agenten
Am 6. Oktober mussten Vertreter von OpenAI, Anthropic, Meta und Google vor dem Stadtrat von New York Fragen zur Sicherheit von KI-Agenten beantworten. Eine Garantie, dass Agenten sich immer an Schutzregeln halten, wollte keines der Unternehmen geben.
Der Vertreter von OpenAI sagte sinngemäß, er könne für keine Technik zusichern, dass sie ohne Risiko sei. Der Vertreter von Anthropic bezeichnete die Wissenschaft dahinter als grundsätzlich schwierig und noch nicht geklärt. Google erklärte, Perfektion könne kein Produkt auf dem Markt versprechen. Meta betonte die eigene Verpflichtung zu sicherer Entwicklung.
Die Vorsitzende des Stadtrats entgegnete, man verlange keine Perfektion, sondern Verantwortlichkeit, Transparenz und Sicherheit. Hintergrund ist die wachsende Verbreitung von KI-Agenten, die nicht nur antworten, sondern im Namen von Menschen handeln: E-Mails senden, Daten bearbeiten, Käufe auslösen.
Die Aussagen decken sich mit dem Stand der Forschung: Sprachmodelle lassen sich durch geschickt formulierte oder versteckte Anweisungen manipulieren, und eine vollständige Absicherung gibt es bislang nicht.
Wer Agenten einsetzt, sollte nicht auf perfekte Modelle setzen, sondern auf gute Architektur: wenige Rechte, Freigaben vor folgenreichen Aktionen, geprüfte Eingaben. Wie Angriffe funktionieren, erklärt Prompt Injection; verdächtige Texte prüft der Prompt-Injection-Prüfer.
Quellen
Eigene Zusammenfassung auf Grundlage der genannten Quellen, erstellt mit Unterstützung von KI, geprüft und redaktionell verantwortet von Leon Blatz. Illustration: Tokenlabor, per Programm gezeichnet, kein KI-Bild.
