KI-Crawler sperren: Website vor KI-Training schützen
KI-Crawler sperren können Sie mit wenigen Zeilen in der robots.txt Ihrer Website. Viele Anbieter durchsuchen das Netz, um Trainingsdaten zu sammeln oder Antworten mit aktuellen Quellen zu belegen. Ob Sie das zulassen, ist eine Abwägung zwischen Schutz Ihrer Inhalte und Sichtbarkeit in KI-Antworten.
KI-Crawler sperren Sie mit Einträgen wie „User-agent: GPTBot“ und „Disallow: /“ in der robots.txt, ebenso für ClaudeBot, Google-Extended oder CCBot. Normale Suchmaschinen bleiben erlaubt. Die Sperre ist eine Bitte, keine technische Barriere; zuverlässiger wirkt zusätzlich eine Blockade auf Server- oder CDN-Ebene.
Die wichtigsten KI-Crawler
| Name (User-Agent) | Anbieter | Zweck |
|---|---|---|
| GPTBot | OpenAI | Training |
| OAI-SearchBot | OpenAI | Suche in ChatGPT |
| ClaudeBot | Anthropic | Training |
| Claude-SearchBot | Anthropic | Suche in Claude |
| Google-Extended | Steuert die Nutzung für Gemini-Training, kein eigener Crawler | |
| Applebot-Extended | Apple | Steuert die Nutzung für Apples KI-Training |
| PerplexityBot | Perplexity | Suche und Antworten |
| CCBot | Common Crawl | Offenes Webarchiv, oft für Training genutzt |
| meta-externalagent | Meta | Training |
Die Liste ändert sich laufend; die Anbieter dokumentieren ihre Crawler auf ihren Websites.
So sieht die robots.txt aus
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: CCBot Disallow: /
Damit verbieten Sie das Training, lassen aber normale Suchmaschinen wie den Googlebot weiter zu. Die Suchcrawler der KI-Anbieter (OAI-SearchBot, Claude-SearchBot) können Sie getrennt erlauben, wenn Sie in KI-Antworten als Quelle auftauchen wollen.
Was die Sperre rechtlich bewirkt
In Deutschland erlaubt § 44b des Urheberrechtsgesetzes das automatisierte Auswerten von Inhalten (Text und Data Mining), solange der Rechteinhaber nicht in maschinenlesbarer Form widersprochen hat. Ein Eintrag in der robots.txt gilt als ein solcher Vorbehalt; zusätzlich empfiehlt sich ein Hinweis im Impressum oder in den Nutzungsbedingungen. Mehr dazu in KI und Urheberrecht.
Grenzen
- Die robots.txt ist eine Bitte, keine technische Sperre. Seriöse Anbieter halten sich daran, nicht alle tun es.
- Bereits gesammelte Inhalte werden nicht nachträglich entfernt.
- Wer zuverlässig sperren will, blockiert bekannte Crawler zusätzlich auf Server- oder CDN-Ebene. Anbieter wie Cloudflare bieten das als Einstellung an.
Sperren oder nicht?
Für Verlage und Anbieter exklusiver Inhalte ist das Sperren der Trainings-Crawler meist sinnvoll. Wer gefunden werden will, etwa Shops, Dienstleister oder Ratgeber-Seiten, profitiert dagegen davon, in KI-Antworten genannt zu werden. Ein häufiger Kompromiss: Training sperren, Such-Crawler erlauben.
Häufige Fragen
Wie blockiere ich GPTBot, ohne bei Google schlechter gefunden zu werden?
Sperren Sie in der robots.txt nur GPTBot und andere Trainings-Crawler. Der Googlebot bleibt davon unberührt. Google-Extended steuert lediglich die Nutzung für Gemini-Training und ist kein eigener Crawler.
Ist die robots.txt rechtlich ein wirksamer Widerspruch gegen KI-Training?
Nach § 44b Urheberrechtsgesetz ist Text und Data Mining erlaubt, solange kein maschinenlesbarer Vorbehalt besteht. Ein Eintrag in der robots.txt gilt als solcher; ergänzend empfiehlt sich ein Hinweis im Impressum oder in den Nutzungsbedingungen.
Werden schon gesammelte Inhalte nach der Sperre gelöscht?
Nein, bereits gesammelte Inhalte werden nicht nachträglich entfernt. Die Sperre wirkt nur für künftige Besuche, und auch nur bei Anbietern, die sich an die robots.txt halten.