robots.txt-Generator für KI-Crawler
Der robots.txt-Generator für KI-Crawler sperrt GPTBot, ClaudeBot, Google-Extended und andere gezielt, während normale Suchmaschinen erlaubt bleiben.
Ausgewählte Crawler werden gesperrt. Voreingestellt: Training sperren, Suche erlauben.
Training sperren, Suche erlauben
Mit der robots.txt legen Sie fest, welche Crawler Ihre Website besuchen dürfen. Die großen KI-Anbieter haben eigene Crawler für das Training und für die Suche, sodass Sie das Training sperren und trotzdem in KI-Antworten als Quelle erscheinen können.
Ein Eintrag in der robots.txt gilt nach § 44b Urheberrechtsgesetz als maschinenlesbarer Vorbehalt gegen Text und Data Mining. Er ist aber keine technische Sperre; nicht alle Crawler halten sich daran.
Häufige Fragen
Wie sperre ich ChatGPT für meine Website?
Mit „User-agent: GPTBot“ und „Disallow: /“ sperren Sie das Training. Für die Suche in ChatGPT ist OAI-SearchBot zuständig, den Sie separat erlauben oder sperren können.
Verliere ich dadurch Google-Rankings?
Nein. Google-Extended steuert nur die Nutzung für Gemini; der normale Googlebot bleibt unberührt.
Wohin kommt die Datei?
In das Hauptverzeichnis Ihrer Domain, also unter https://ihre-domain.de/robots.txt.
Wie kann ich KI-Crawler blockieren?
Mit einer robots.txt für KI: Für jeden Crawler einen Abschnitt mit „Disallow: /“. So können Sie zum Beispiel GPTBot und ClaudeBot sperren, während normale Suchmaschinen erlaubt bleiben.
Zum Weiterlesen
- ChatGPT Datenschutz: Was Unternehmen beachten solltenChatGPT Datenschutz im Unternehmen: personenbezogene Daten, DSGVO, Auftragsverarbeitung, Trainingsnutzung und praktische Regeln für den Alltag. Ein Überblick.
- EU AI Act: Was die KI-Verordnung für Unternehmen bedeutetEU AI Act verständlich: Risikoklassen, neue Fristen nach dem Digital Omnibus, Pflichten für Anbieter und Betreiber, KI-Kompetenz und Kennzeichnung.
- KI-Kennzeichnungspflicht: Wann KI-Inhalte markiert werden müssenKI-Kennzeichnungspflicht nach EU AI Act: Wann Chatbots, Deepfakes, KI-Bilder und KI-Texte gekennzeichnet werden müssen und wie ein rechtssicherer Hinweis aussieht.
Das könnte auch helfen
KI-Richtlinie-Generatorneu
Eine KI-Nutzungsrichtlinie für Ihr Unternehmen aus Bausteinen zusammenstellen.
ÖffnenKI-Kennzeichnung-Generatorneu
Passende Hinweise für KI-Texte, KI-Bilder und Chatbots erzeugen, mit Blick auf den EU AI Act.
ÖffnenKI-Risikoklasse prüfenneu
KI-Systeme nach EU AI Act einstufen, mit Pflichten und Fristen.
ÖffnenKI-Verzeichnis erstellenneu
KI-Systeme mit Zweck, Risikoklasse, Datenschutz und Verantwortlichen erfassen.
ÖffnenDSGVO-Check für KI-Toolsneu
Checkliste zu AVV, Training, Drittland, Speicherdauer und DSFA.
ÖffnenKI-Schulungsnachweisneu
Teilnahmebestätigung für Schulungen zur KI-Kompetenz nach Art. 4 AI Act.
Öffnen