Tokenlabor

robots.txt-Generator

Der robots.txt-Generator erstellt Regeln mit User-agent, Disallow, Allow und Sitemap-Verweis. Testen Sie direkt, ob ein Pfad für einen Crawler gesperrt ist.

    robots.txt
    Pfad testen

    Alles läuft in Ihrem Browser. Eingaben verlassen Ihr Gerät nicht.

    robots.txt erstellen: so funktionieren die Regeln

    Der robots.txt-Generator erstellt die Datei, mit der Sie Suchmaschinen und anderen Crawlern sagen, welche Bereiche Ihrer Website sie abrufen dürfen. Jede Gruppe beginnt mit einer Zeile User-agent, darunter folgen Regeln: Disallow sperrt einen Pfad, Allow erlaubt Ausnahmen darin. Am Ende stehen eine oder mehrere Zeilen für die Sitemap in robots.txt. Die Datei muss genau unter /robots.txt im Hauptverzeichnis der Domain liegen, für jede Subdomain gesondert.

    So robots.txt erstellen: Pfade eintragen, Ergebnis prüfen, herunterladen und hochladen. Der Testbereich wendet die Regeln wie im Standard RFC 9309 an: Es gilt die längste passende Regel, bei gleicher Länge gewinnt Allow; das Sternchen steht für beliebige Zeichen, das Dollarzeichen für das Ende der Adresse. Wer Crawler sperren will, die Inhalte für KI-Training sammeln, findet fertige Regeln für GPTBot, ClaudeBot und andere im robots.txt-Generator für KI-Crawler.

    Grenzen: robots.txt ist eine Bitte, kein Zugriffsschutz. Seriöse Suchmaschinen halten sich daran, andere nicht. Eine gesperrte Seite kann trotzdem im Index landen, wenn andere Seiten auf sie verlinken; um sie aus der Suche zu halten, braucht sie ein noindex und darf dafür gerade nicht gesperrt sein. Crawl-delay wird von Google nicht beachtet, von einigen anderen Suchmaschinen schon.

    Anleitung: robots.txt-Generator in 5 Schritten

    1. Im robots.txt-Generator die Regel für alle Crawler wählen: bestimmte Pfade sperren, alles erlauben oder alles sperren.
    2. Gesperrte Pfade (Disallow) und Ausnahmen (Allow) je eine pro Zeile eintragen, bei Bedarf auch einen Crawl-delay.
    3. Crawler, die komplett gesperrt werden sollen, mit ihrem User-agent auflisten und die Sitemap-Adressen ergänzen.
    4. Unter „Pfad testen“ User-agent und Pfad eingeben und prüfen, ob die Adresse gesperrt ist.
    5. Die Datei mit „robots.txt herunterladen“ speichern und ins Hauptverzeichnis der Domain hochladen.

    Typische Anwendungsfälle

    • Neue Website: Admin-Bereich, Warenkorb und interne Suche sperren und die Sitemap in robots.txt eintragen.
    • Crawl-Budget im Onlineshop: Adressen mit Session- oder Filterparametern vom Crawlen ausschließen.
    • SEO-Werkzeug-Crawler sperren: Bots wie AhrefsBot oder SemrushBot komplett aussperren, Suchmaschinen aber zulassen.
    • Relaunch prüfen: Vor dem Livegang testen, ob wichtige Seiten versehentlich durch eine Disallow-Regel blockiert sind.
    Fragen

    Häufige Fragen

    Wo muss die robots.txt liegen?

    Im Hauptverzeichnis der Domain, also unter https://www.example.de/robots.txt. Für jede Subdomain und jedes Protokoll gilt eine eigene Datei. In Unterordnern wird sie ignoriert.

    Was bedeutet Disallow ohne Pfad?

    Eine leere Zeile Disallow: sperrt nichts. Sie erlaubt dem genannten User-agent also alles. Disallow: / sperrt dagegen die ganze Website.

    Entfernt Disallow eine Seite aus Google?

    Nein. Disallow verhindert nur das Abrufen. Ist die Seite verlinkt, kann sie ohne Inhalt im Index erscheinen. Zum Entfernen setzen Sie noindex und lassen die Seite für den Crawler erreichbar.

    Wie sperre ich KI-Crawler wie GPTBot?

    Mit einer eigenen Gruppe je Crawler, etwa User-agent: GPTBot und Disallow: /. Fertige Regeln für die bekannten KI-Crawler erzeugt der robots.txt-Generator für KI-Crawler auf dieser Website.

    Muss die Sitemap in robots.txt stehen?

    Nicht zwingend, aber es hilft: Suchmaschinen finden die Sitemap so ohne Anmeldung in deren Webmaster-Werkzeugen. Die Adresse muss vollständig mit https:// angegeben werden.

    Wie teste ich, ob meine robots.txt eine Seite sperrt?

    Im Bereich „Pfad testen“ den User-agent, etwa Googlebot, und den Pfad mit Abfrage eintragen. Das Werkzeug wendet die Regeln nach RFC 9309 an und zeigt, ob der Pfad erlaubt oder gesperrt ist.

    Wie sperre ich Adressen mit Parametern in der robots.txt?

    Mit einem Sternchen als Platzhalter, etwa Disallow: /*?sessionid= für alle Adressen mit diesem Parameter. Disallow: /*? sperrt jede Adresse mit Fragezeichen; prüfen Sie solche Regeln vorher im Testbereich.

    Weitere Werkzeuge

    Das könnte auch helfen

    Alle 358 Werkzeuge

    Farbumwandler

    HEX, RGB, HSL, HSV, CMYK und OKLCH ineinander umrechnen, mit Farbwähler, Vorschau und Farbtönen.

    Öffnen

    Farbpalette aus Bild

    Die wichtigsten 5 bis 10 Farben eines Bildes als HEX-Codes ermitteln, lokal im Browser.

    Öffnen

    Kontrast prüfen (WCAG)

    Kontrastverhältnis zweier Farben nach WCAG prüfen, AA und AAA, mit Vorschlag für passende Farbtöne.

    Öffnen

    CSS-Gradient-Generator

    Linearen, radialen und konischen Farbverlauf zusammenstellen und den CSS-Code kopieren.

    Öffnen

    Box-Shadow-Generator

    CSS-Schatten mit mehreren Ebenen, inset und Deckkraft einstellen, Vorschau sehen, Code kopieren.

    Öffnen

    Flexbox-Generator

    Flexbox-Eigenschaften per Auswahl setzen, die Wirkung live sehen und das CSS kopieren.

    Öffnen