Генератор на robots.txt (избор на Allow/Disallow)
Създайте шаблон за robots.txt бързо, като изберете правила Allow / Disallow.
Този инструмент е за контрол на обхождането. Той не гарантира подобрение на класирането.
Рисковите блокирания за целия сайт се откриват с предупреждение и потвърждение
Генератор на шаблони robots.txt
Създавайте настройки за блокиране на crawler-и чрез практична форма. Генерираният резултат е обикновен текст, който можете директно да поставите като robots.txt.
Как се използва
- Задайте User-agent и добавете правила Allow/Disallow.
- При нужда добавете URL адреси на Sitemap (поддържат се няколко реда).
- Копирайте или изтеглете генерирания изход за robots.txt.
Какво прави robots.txt
- robots.txt контролира поведението при обхождане.
- За контрол на индексирането може да са нужни други методи като noindex.
- Поставете robots.txt в корена на сайта, например https://example.com/robots.txt.
FAQ
Ще подобри ли това SEO класирането?
Целта на robots.txt е контрол на crawler-ите. То не гарантира по-добро класиране.
Опасно ли е Disallow: / ?
Да. Disallow: / може да блокира обхождането за целия сайт. Този инструмент показва силно предупреждение и изисква потвърждение преди копиране/изтегляне.
Мога ли да включа и редове Sitemap?
Да. Добавете URL адреси в полето Sitemap и инструментът автоматично ще изведе редове Sitemap: ..., включително за няколко URL адреса.