Генератар robots.txt (выбар Allow/Disallow)
Хутка стварайце шаблон robots.txt, выбіраючы правілы Allow / Disallow.
Гэты інструмент прызначаны для кіравання сканаваннем. Ён не гарантуе паляпшэння пазіцый.
Рызыкоўныя блакіроўкі ўсяго сайта выяўляюцца з папярэджаннем і пацвярджэннем
Генератар шаблонаў robots.txt
Стварайце налады блакіроўкі краулераў праз практычную форму. Вынік генеруецца як звычайны тэкст, які можна адразу ўставіць у robots.txt.
Як карыстацца
- Задайце User-agent і дадайце правілы Allow/Disallow.
- Пры неабходнасці дадайце URL Sitemap (падтрымліваюцца некалькі радкоў).
- Скапіюйце або спампуйце згенераваны вынік robots.txt.
Што робіць robots.txt
- robots.txt кіруе паводзінамі сканавання.
- Для кіравання індэксацыяй могуць спатрэбіцца іншыя метады, напрыклад noindex.
- Размяшчайце robots.txt у корані сайта, напрыклад https://example.com/robots.txt.
FAQ
Ці палепшыць гэта SEO-пазіцыі?
Мэта robots.txt - кіраванне краулерамі. Ён не гарантуе рост пазіцый.
Ці небяспечна выкарыстоўваць Disallow: / ?
Так. Disallow: / можа заблакаваць сканаванне ўсяго сайта. Гэты інструмент паказвае моцнае папярэджанне і патрабуе пацвярджэння перад капіраваннем або спампоўваннем.
Ці можна таксама дадаць радкі Sitemap?
Так. Дадайце URL у поле Sitemap, і інструмент аўтаматычна створыць радкі Sitemap: ..., у тым ліку для некалькіх URL.