robots.txt-Generator (Allow/Disallow auswählen)
Erstellen Sie schnell eine robots.txt-Vorlage, indem Sie Allow-/Disallow-Regeln auswählen.
Dieses Werkzeug dient der Crawl-Steuerung. Es garantiert keine Ranking-Verbesserungen.
Riskante Vollsperren für die gesamte Website werden mit Warnung und Bestätigung erkannt
robots.txt-Vorlagen-Generator
Erstellen Sie Crawler-Sperreinstellungen mit einem praxisnahen Formular. Das erzeugte Ergebnis ist Klartext, den Sie direkt als robots.txt einfügen können.
So wird es verwendet
- Legen Sie User-agent fest und fügen Sie Allow-/Disallow-Regeln hinzu.
- Fügen Sie bei Bedarf Sitemap-URLs hinzu (mehrere Zeilen werden unterstützt).
- Kopieren oder laden Sie die erzeugte robots.txt-Ausgabe herunter.
Was robots.txt macht
- robots.txt steuert das Crawling-Verhalten.
- Für die Steuerung der Indexierung können andere Methoden wie noindex erforderlich sein.
- Platzieren Sie robots.txt im Stammverzeichnis der Website, zum Beispiel unter https://example.com/robots.txt.
FAQ
Verbessert das mein SEO-Ranking?
Der Zweck von robots.txt ist die Steuerung von Crawlern. Ranking-Gewinne werden nicht garantiert.
Ist Disallow: / gefährlich?
Ja. Disallow: / kann das Crawling für die gesamte Website blockieren. Dieses Werkzeug zeigt eine starke Warnung an und verlangt vor Kopieren/Download eine Bestätigung.
Kann ich auch Sitemap-Zeilen aufnehmen?
Ja. Fügen Sie URLs in die Sitemap-Eingabe ein, und das Werkzeug gibt automatisch Sitemap: ...-Zeilen aus, auch für mehrere URLs.