robots.txt-Vorlage

robots.txt-Generator (Allow/Disallow auswählen, um eine Vorlage zu erstellen)

Q: "Verbessert dies die SEO?"

"Der Zweck der robots.txt ist die Crawl-Steuerung und garantiert keine Ranking-Verbesserungen. Nutzen Sie sie, um unnötiges Crawlen zu reduzieren und gesperrte Bereiche zu klären."

Q: "Ist Disallow: / gefährlich?"

"Ja. Disallow: / blockiert die gesamte Website. Die Anwendung in der Produktion kann schwerwiegende Auswirkungen haben. Dieses Tool zeigt eine starke Warnung an und erfordert eine Bestätigung vor dem Kopieren."

Q: "Kann ich Sitemap-Zeilen hinzufügen?"

"Ja. Fügen Sie URLs in das Sitemap-Feld ein und das Tool gibt Sitemap: ... Zeilen aus (mehrere URLs werden unterstützt)."

Wählen Sie Allow/Disallow-Regeln, um schnell eine robots.txt-Vorlage zu erstellen. Dieser robots.txt-Generator vereinfacht die Einstellungen zum Blockieren von Crawlern.

Das Ziel ist die Crawl-Steuerung. Es garantiert keine Ranking-Verbesserungen.

Wird lokal in Ihrem Browser verarbeitet.

robots.txt-Vorlagengenerator

Bereit zum Einfügen als robots.txt.

Verwendungszweck der Vorlage

Starten Sie mit einer Vorlage, die Ihrem Ziel am nächsten kommt.

Von Grund auf neu starten (Standard) Beginnen Sie mit einer leeren, sicheren Vorlage. Staging (alles blockieren) Enthält Disallow: / und ist gefährlich für die Produktion. Gefahr Nur Admin blockieren (Beispiel) Beispiel: Disallow /admin/.

Sitemap-Zeilen hinzufügen

Sitemap

Mehrere Zeilen erlaubt. Jede gültige URL wird zu einer Sitemap:-Zeile.

Vorschau

Bereit zum Einfügen als robots.txt.

Optionen

Erweitert

Bei Bedarf öffnen

Crawl-delay Sekunden. Manche Crawler ignorieren dies. Kommentarzeile hinzufügen Fügt oben einen Kommentar hinzu.

Explizites leeres Disallow Gibt Disallow: aus, auch wenn keine Regeln vorhanden sind (empfohlen). Vorherige Einstellungen wiederherstellen Einstellungen auf diesem Gerät speichern.

Verwendung der robots.txt

Allow/Disallow hinzufügen

Wählen Sie einen User-agent und fügen Sie Regelzeilen hinzu.

Sitemap hinzufügen (optional)

Sie können mehrere Sitemap-URLs hinzufügen.

Kopieren und platzieren

Kopieren Sie das Ergebnis und speichern Sie es als /robots.txt.

Beispiele

Sicherer Standard

Alles erlauben und Sitemap hinzufügen.

User-agent: *
Disallow:

Sitemap: https://example.com/sitemap.xml

Admin blockieren

Nur den Admin-Bereich verbieten (Disallow).

User-agent: *
Disallow: /admin/

Alles für Staging blockieren

Gefährlich, nur für Nicht-Produktionsumgebungen.

User-agent: *
Disallow: /

Was die robots.txt tun kann

• robots.txt dient der Crawl-Steuerung.
• Die Index-Steuerung ist separat und erfordert möglicherweise noindex.

Ort https://example.com/robots.txt

FAQ

Verbessert dies die SEO?

Der Zweck der robots.txt ist die Crawl-Steuerung und garantiert keine Ranking-Verbesserungen. Nutzen Sie sie, um unnötiges Crawlen zu reduzieren und gesperrte Bereiche zu klären.

Ist Disallow: / gefährlich?

Ja. Disallow: / blockiert die gesamte Website. Die Anwendung in der Produktion kann schwerwiegende Auswirkungen haben. Dieses Tool zeigt eine starke Warnung an und erfordert eine Bestätigung vor dem Kopieren.

Kann ich Sitemap-Zeilen hinzufügen?

Ja. Fügen Sie URLs in das Sitemap-Feld ein und das Tool gibt Sitemap: ... Zeilen aus (mehrere URLs werden unterstützt).