robots.txt šablona

robots.txt Generátor (vytvořte šablonu pomocí pravidel)

Q: "Zlepší to SEO?"

"Účelem robots.txt je řízení zátěže robotů, nikoliv přímé zlepšení pozic. Pomáhá omezit zbytečné procházení."

Q: "Je Disallow: / nebezpečné?"

"Ano. Blokuje procházení celého webu. Nástroj zobrazuje varování a vyžaduje potvrzení před kopírováním."

Q: "Mohu přidat více sitemap?"

"Ano. Vložte adresy do pole Sitemap a nástroj vypíše řádky Sitemap: ... pro každou z nich."

Zvolte pravidla Allow/Disallow pro rychlé vytvoření souboru robots.txt. Tento generátor usnadňuje nastavení blokování robotů (crawlerů).

Účelem je řízení procházení webu. Nezaručuje zlepšení pozic ve vyhledávání.

Zpracováno lokálně ve vašem prohlížeči.

Generátor šablony robots.txt

Připraveno ke vložení do souboru robots.txt.

Účel šablony

Začněte se vzorem, který je nejblíže vašemu cíli.

Začít od nuly (výchozí) Začněte s prázdnou, bezpečnou šablonou. Staging (blokovat vše) Obsahuje Disallow: / a je nebezpečné pro ostrý web. Nebezpečí Blokovat pouze admin (příklad) Příklad: Disallow /admin/.

Přidat řádky Sitemap

Sitemap URL

Můžete přidat více řádků. Každá platná URL vytvoří řádek 'Sitemap:'.

Náhled

Připraveno ke vložení do souboru robots.txt.

Možnosti

Pokročilé

Otevřít v případě potřeby

Crawl-delay V sekundách. Někteří roboti to ignorují. Přidat komentář Přidá komentář na začátek souboru.

Explicitní prázdné Disallow Vypíše 'Disallow:' i bez pravidel (doporučeno). Zapamatovat nastavení Uloží nastavení na tomto zařízení.

Jak používat robots.txt

Přidejte pravidla

Zvolte robota (User-agent) a přidejte řádky se zákazy nebo povolením.

Přidejte Sitemap

Můžete přidat jednu nebo více adres k mapě webu.

Zkopírujte a umístěte

Výsledek uložte jako /robots.txt v kořenovém adresáři webu.

Příklady

Bezpečný standard

Povolí vše a přidá sitemap.

User-agent: *
Disallow:

Sitemap: https://example.com/sitemap.xml

Blokovat admin sekci

Zakáže přístup pouze do /admin/.

User-agent: *
Disallow: /admin/

Blokovat vše pro staging

Nebezpečné, pouze pro neveřejné testovací servery.

User-agent: *
Disallow: /

Co robots.txt umí

• robots.txt slouží pouze k řízení procházení (crawl).
• Řízení indexace je oddělené a vyžaduje meta tag noindex.

Umístění https://example.com/robots.txt

Časté dotazy

Zlepší to SEO?

Účelem robots.txt je řízení zátěže robotů, nikoliv přímé zlepšení pozic. Pomáhá omezit zbytečné procházení.

Je Disallow: / nebezpečné?

Ano. Blokuje procházení celého webu. Nástroj zobrazuje varování a vyžaduje potvrzení před kopírováním.

Mohu přidat více sitemap?

Ano. Vložte adresy do pole Sitemap a nástroj vypíše řádky Sitemap: ... pro každou z nich.