KI-Crawler sperren: Website vor KI-Training schützen

2 Min. LesezeitAktualisiert am Mit KI erstellt · redaktionell verantwortet

KI-Crawler sperren können Sie mit wenigen Zeilen in der robots.txt Ihrer Website. Viele Anbieter durchsuchen das Netz, um Trainingsdaten zu sammeln oder Antworten mit aktuellen Quellen zu belegen. Ob Sie das zulassen, ist eine Abwägung zwischen Schutz Ihrer Inhalte und Sichtbarkeit in KI-Antworten.

Kurz gesagt

KI-Crawler sperren Sie mit Einträgen wie „User-agent: GPTBot“ und „Disallow: /“ in der robots.txt, ebenso für ClaudeBot, Google-Extended oder CCBot. Normale Suchmaschinen bleiben erlaubt. Die Sperre ist eine Bitte, keine technische Barriere; zuverlässiger wirkt zusätzlich eine Blockade auf Server- oder CDN-Ebene.

Die wichtigsten KI-Crawler

Name (User-Agent)AnbieterZweck
GPTBotOpenAITraining
OAI-SearchBotOpenAISuche in ChatGPT
ClaudeBotAnthropicTraining
Claude-SearchBotAnthropicSuche in Claude
Google-ExtendedGoogleSteuert die Nutzung für Gemini-Training, kein eigener Crawler
Applebot-ExtendedAppleSteuert die Nutzung für Apples KI-Training
PerplexityBotPerplexitySuche und Antworten
CCBotCommon CrawlOffenes Webarchiv, oft für Training genutzt
meta-externalagentMetaTraining

Die Liste ändert sich laufend; die Anbieter dokumentieren ihre Crawler auf ihren Websites.

So sieht die robots.txt aus

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

Damit verbieten Sie das Training, lassen aber normale Suchmaschinen wie den Googlebot weiter zu. Die Suchcrawler der KI-Anbieter (OAI-SearchBot, Claude-SearchBot) können Sie getrennt erlauben, wenn Sie in KI-Antworten als Quelle auftauchen wollen.

Was die Sperre rechtlich bewirkt

In Deutschland erlaubt § 44b des Urheberrechtsgesetzes das automatisierte Auswerten von Inhalten (Text und Data Mining), solange der Rechteinhaber nicht in maschinenlesbarer Form widersprochen hat. Ein Eintrag in der robots.txt gilt als ein solcher Vorbehalt; zusätzlich empfiehlt sich ein Hinweis im Impressum oder in den Nutzungsbedingungen. Mehr dazu in KI und Urheberrecht.

Grenzen

  • Die robots.txt ist eine Bitte, keine technische Sperre. Seriöse Anbieter halten sich daran, nicht alle tun es.
  • Bereits gesammelte Inhalte werden nicht nachträglich entfernt.
  • Wer zuverlässig sperren will, blockiert bekannte Crawler zusätzlich auf Server- oder CDN-Ebene. Anbieter wie Cloudflare bieten das als Einstellung an.

Sperren oder nicht?

Für Verlage und Anbieter exklusiver Inhalte ist das Sperren der Trainings-Crawler meist sinnvoll. Wer gefunden werden will, etwa Shops, Dienstleister oder Ratgeber-Seiten, profitiert dagegen davon, in KI-Antworten genannt zu werden. Ein häufiger Kompromiss: Training sperren, Such-Crawler erlauben.

Häufige Fragen

Wie blockiere ich GPTBot, ohne bei Google schlechter gefunden zu werden?

Sperren Sie in der robots.txt nur GPTBot und andere Trainings-Crawler. Der Googlebot bleibt davon unberührt. Google-Extended steuert lediglich die Nutzung für Gemini-Training und ist kein eigener Crawler.

Ist die robots.txt rechtlich ein wirksamer Widerspruch gegen KI-Training?

Nach § 44b Urheberrechtsgesetz ist Text und Data Mining erlaubt, solange kein maschinenlesbarer Vorbehalt besteht. Ein Eintrag in der robots.txt gilt als solcher; ergänzend empfiehlt sich ein Hinweis im Impressum oder in den Nutzungsbedingungen.

Werden schon gesammelte Inhalte nach der Sperre gelöscht?

Nein, bereits gesammelte Inhalte werden nicht nachträglich entfernt. Die Sperre wirkt nur für künftige Besuche, und auch nur bei Anbietern, die sich an die robots.txt halten.

Leon Blatz betreibt Tokenlabor und verantwortet alle Inhalte redaktionell. Texte entstehen mit Unterstützung von KI unter redaktioneller Kontrolle; Preise und Fakten stammen aus den genannten Quellen, Hinweise auf Fehler werden geprüft und korrigiert. Mehr über Tokenlabor

Allgemeine Information, keine Rechts-, Steuer- oder Finanzberatung.

KI-Kennzeichnung-GeneratorPassende Hinweise für KI-Texte, KI-Bilder und Chatbots erzeugen, mit Blick auf den EU AI Act.
Öffnen

Auch hilfreich: KI-Richtlinie-Generator · robots.txt-Generator für KI-Crawler

KI-News

Aktuelle News zum Thema

Alle Google & Gemini-News
  1. Google Cloud: Gemini-Agent bekommt eigenes Postfach und eigenen Kalender8. Oktober 2026 · Produkte
  2. Gemini kostenlos nur noch mit Flash-Lite: Was sich am 9. Oktober ändert7. Oktober 2026 · Produkte
  3. Nano Banana 2.1: Googles Bildmodell halbiert den Preis pro Bild7. Oktober 2026 · Produkte
Weiterlesen

Passende Artikel

Alle zu Recht und Datenschutz
  1. KI-Kennzeichnungspflicht: Wann KI-Inhalte markiert werden müssenKI-Kennzeichnungspflicht nach EU AI Act: Wann Chatbots, Deepfakes, KI-Bilder und KI-Texte gekennzeichnet werden müssen und wie ein rechtssicherer Hinweis aussieht.
  2. KI und Urheberrecht: Wem gehören KI-Texte und KI-Bilder?KI und Urheberrecht in Deutschland: Sind KI-Texte und KI-Bilder geschützt, dürfen Sie sie nutzen, und was gilt beim Training? Mit Praxistipps.
  3. Deepfakes erkennen: Merkmale, Werkzeuge und PflichtenDeepfakes erkennen: Merkmale gefälschter Bilder, Videos und Stimmen, Herkunftsnachweise wie C2PA und SynthID, Kennzeichnungspflicht und Betrugsschutz.
  4. KI-Bilder kommerziell nutzen: Was Sie dürfen und wo Risiken liegenKI-Bilder kommerziell nutzen: Was Nutzungsbedingungen erlauben, warum es keinen Urheberschutz gibt und wie Sie Marken-, Persönlichkeits- und Stilrisiken meiden.