robots.txt šablonas

robots.txt generatorius (Sukurkite šabloną nustatydami taisykles)

Q: "Ar tai pagerins SEO?"

"Robots.txt paskirtis yra valdyti resursų nuskaitymą, tai tiesiogiai negarantuoja aukštesnių pozicijų. Naudokite jį tam, kad robotai neeikvotų resursų nereikšmingiems puslapiams."

Q: "Ar Disallow: / pavojingas?"

"Taip. Tai nurodo robotams neindeksuoti jokio turinio svetainėje. Įrankis rodys įspėjimą, jei pasirinksite šį nustatymą."

Q: "Ar galiu pridėti kelis Sitemap?"

"Taip. Pridėkite nuorodas į tam skirtą lauką ir jos bus išvestos atskiromis eilutėmis."

Pasirinkite Leisti/Drausti taisykles ir greitai sukurkite robots.txt šabloną. Šis generatorius supaprastina crawler blokavimo nustatymus.

Tikslas yra nuskaitymo kontrolė. Tai negarantuoja aukštesnių pozicijų paieškoje.

Apdorojama lokaliai jūsų naršyklėje.

robots.txt šablonų generatorius

Paruošta įklijavimui į robots.txt failą.

Išankstiniai nustatymai

Pradėkite nuo šablono, geriausiai atitinkančio jūsų tikslą.

Pradėti nuo nulio (numatytasis) Pradėkite nuo tuščio, saugaus šablono. Testinė aplinka (blokuoti viską) Naudoja Disallow: / – pavojinga naudoti veikiančioje svetainėje. Pavojus Blokuoti tik admin sritį (pavyzdys) Pavyzdys: Disallow /admin/.

Pridėti Sitemap nuorodas

Sitemap

Galima pridėti kelias eilutes. Kiekvienas URL taps Sitemap: eilute.

Peržiūra

Paruošta įklijavimui į robots.txt failą.

Parinktys

Išplėstinės

Atidaryti prireikus

Crawl-delay Sekundės. Kai kurie robotai tai ignoruoja. Pridėti komentaro eilutę Prideda komentarą failo viršuje.

Eksplicitinis tuščias Disallow Išveda Disallow: net jei nėra taisyklių (rekomenduojama). Atstatyti ankstesnius nustatymus Išsaugoti nustatymus šiame įrenginyje.

Kaip naudoti robots.txt

Pridėkite taisykles

Pasirinkite vartotojo agentą ir pridėkite Leisti/Drausti eilutes.

Pridėkite Sitemap (nebūtina)

Galite pridėti vieną ar kelis Sitemap URL adresus.

Išsaugokite

Nukopijuokite rezultatą ir išsaugokite jį kaip /robots.txt savo svetainėje.

Pavyzdžiai

Saugus numatytasis

Leisti viską ir nurodyti Sitemap.

User-agent: *
Disallow:

Sitemap: https://pavyzdys.lt/sitemap.xml

Blokuoti admin sritį

Drausti tik administratoriaus dalį.

User-agent: *
Disallow: /admin/

Blokuoti viską (staging)

Tik neviešoms, testinėms svetainėms.

User-agent: *
Disallow: /

Ką geba robots.txt

• robots.txt skirtas nuskaitymo kontrolei (crawleriams).
• Indeksavimo kontrolei (ar puslapis bus rodomas Google) geriau naudoti noindex žymas.

Vieta https://pavyzdys.lt/robots.txt

DUK

Ar tai pagerins SEO?

Robots.txt paskirtis yra valdyti resursų nuskaitymą, tai tiesiogiai negarantuoja aukštesnių pozicijų. Naudokite jį tam, kad robotai neeikvotų resursų nereikšmingiems puslapiams.

Ar Disallow: / pavojingas?

Taip. Tai nurodo robotams neindeksuoti jokio turinio svetainėje. Įrankis rodys įspėjimą, jei pasirinksite šį nustatymą.

Ar galiu pridėti kelis Sitemap?

Taip. Pridėkite nuorodas į tam skirtą lauką ir jos bus išvestos atskiromis eilutėmis.