шаблон robots.txt

Генератар robots.txt (Стварэнне шаблона праз правілы)

Q: "Ці палепшыць гэта SEO?"

"Robots.txt не падымае сайт у пошуку, але дапамагае ботам не марнаваць час на непатрэбныя старонкі."

Q: "Ці небяспечна Disallow: / ?"

"Так, гэта поўнае блакаванне. Мы паказваем папярэджанне, калі вы выбіраеце гэтую настройку."

Q: "Ці можна дадаць мапу сайта?"

"Так, увядзіце URL у адпаведнае поле, і яно будзе дададзена ў канец файла."

Выбірайце правілы Allow/Disallow для хуткага стварэння файла robots.txt. Гэты інструмент спрашчае наладу блакавання для пошукавых ботаў.

Мэта - кіраванне сканаваннем. Гэта не гарантуе паляпшэнне пазіцый у пошуку.

Апрацоўка адбываецца мясцова ў вашым браўзеры.

Генератар шаблона robots.txt

Гатова для ўстаўкі ў файл robots.txt.

Гатовыя шаблоны

Пачніце з варыянта, які найбольш адпавядае вашай мэце.

Пачаць з нуля (пусты) Пачніце з пустога, бяспечнага шаблона. Staging (заблакаваць усё) Змяшчае Disallow: / і небяспечны для вытворчых сайтаў. Небяспечна Заблакаваць толькі адмінку Прыклад: Disallow /admin/.

Дадаць Sitemap

Sitemap URL

Можна дадаць некалькі. Кожны URL стане асобным радком 'Sitemap:'.

Папярэдні прагляд

Гатова для ўстаўкі ў файл robots.txt.

Налады

Дадаткова

Адкрыць пры патрэбе

Crawl-delay Затрымка ў секундах. Некаторыя боты ігнаруюць. Дадаць каментарый Дадае тэкст у пачатку файла.

Яўнае пустое Disallow Выводзіць 'Disallow:' нават без правілаў (рэкамендуецца). Запомніць налады Захаваць стан на гэтай прыладзе.

Як выкарыстоўваць robots.txt

Дадайце правілы

Выберыце User-agent і дадайце радкі забароны ці дазволу.

Дадайце Sitemap

Пазначце адзін ці некалькі шляхоў да мапы сайта.

Размясціце файл

Захавайце вынік як robots.txt у каранёвай тэчцы вашага сайта.

Прыклады

Бяспечны стандарт

Дазволіць усё і пазначыць sitemap.

User-agent: *
Disallow:

Sitemap: https://example.com/sitemap.xml

Блакаванне адмінкі

Забараніць доступ толькі да раздзела /admin/.

User-agent: *
Disallow: /admin/

Закрыць тэставы сайт

Для staging-сервераў, каб пазбегнуць дублікатаў у пошуку.

User-agent: *
Disallow: /

Магчымасці robots.txt

• robots.txt кіруе толькі працэсам сканавання (краўлінгу).
• Для забароны індэксацыі лепей выкарыстоўваць тэг 'noindex'.

Месцазнаходжанне https://example.com/robots.txt

FAQ

Ці палепшыць гэта SEO?

Robots.txt не падымае сайт у пошуку, але дапамагае ботам не марнаваць час на непатрэбныя старонкі.

Ці небяспечна Disallow: / ?

Так, гэта поўнае блакаванне. Мы паказваем папярэджанне, калі вы выбіраеце гэтую настройку.

Ці можна дадаць мапу сайта?

Так, увядзіце URL у адпаведнае поле, і яно будзе дададзена ў канец файла.