robots.txt шаблон

robots.txt Генератор (Създайте шаблон чрез правила)

Q: "Ще подобри ли това SEO?"

"Robots.txt помага на ботовете да не хабят ресурс за неважни страници, но сам по себе си не вдига класирането."

Q: "Опасно ли е Disallow: / ?"

"Да. Това блокира целия сайт. Показваме предупреждение, ако изберете тази опция."

Q: "Мога ли да добавя sitemap?"

"Да. Въведете URL адресите в полето Sitemap и те ще се появят в изходния файл."

Изберете правила Allow/Disallow за бързо създаване на robots.txt. Този генератор улеснява настройките за блокиране на ботове.

Целта е контрол на сканирането. Това не гарантира по-високо класиране в търсачките.

Обработва се локално във вашия браузър.

Генератор на robots.txt шаблон

Готово за поставяне в robots.txt файл.

Готови шаблони

Започнете с вариант, най-близък до вашата цел.

Започни от нулата (празен) Започнете с празен, безопасен шаблон. Staging (блокирай всичко) Включва Disallow: / и е опасно за реални сайтове. Опасност Блокирай само админа Пример: Disallow /admin/.

Добави Sitemap

Sitemap URL

Може да добавите няколко. Всеки URL ще стане нов 'Sitemap:' ред.

Преглед

Готово за поставяне в robots.txt файл.

Опции

Допълнително

Отвори при нужда

Crawl-delay Секунди. Някои ботове го игнорират. Добави коментар Добавя текст в началото на файла.

Явно празно Disallow Извежда 'Disallow:' дори без правила (препоръчително). Запомни настройките Запази състоянието на това устройство.

Как се ползва robots.txt

Добавете правила

Изберете User-agent и добавете редове със забрани или разрешения.

Добавете Sitemap

Можете да укажете пътя към мапата на сайта.

Запазете файла

Копирайте резултата и го запазете като /robots.txt в главната папка.

Примери

Безопасен стандарт

Разреши всичко и добави sitemap.

User-agent: *
Disallow:

Sitemap: https://example.com/sitemap.xml

Блокирай админа

Забрани достъпа само до /admin/.

User-agent: *
Disallow: /admin/

Блокирай всичко за тест

Опасно, само за тестови (staging) сървъри.

User-agent: *
Disallow: /

Какво прави robots.txt

• robots.txt е само за контрол на сканирането.
• Контролът на индексирането е отделен процес (тэг noindex).

Местоположение https://example.com/robots.txt

ЧЗВ

Ще подобри ли това SEO?

Robots.txt помага на ботовете да не хабят ресурс за неважни страници, но сам по себе си не вдига класирането.

Опасно ли е Disallow: / ?

Да. Това блокира целия сайт. Показваме предупреждение, ако изберете тази опция.

Мога ли да добавя sitemap?

Да. Въведете URL адресите в полето Sitemap и те ще се появят в изходния файл.