Шаблон robots.txt

Генератор robots.txt (Создайте правила Allow/Disallow)

Q: "Поможет ли это в SEO?"

"Robots.txt нужен для оптимизации обхода сайта роботами. Он помогает не тратить бюджет сканирования на мусорные страницы, но не поднимает сайт в поиске напрямую."

Q: "Опасно ли использовать Disallow: / ?"

"Да, это полностью закрывает сайт от поисковиков. Наш инструмент выводит предупреждение, если вы попытаетесь использовать такое правило."

Q: "Можно ли добавить несколько Sitemap?"

"Да, просто добавьте ссылки в соответствующие поля — каждая будет выведена в отдельной строке."

Быстро настройте правила доступа поисковых роботов к разделам вашего сайта. Этот инструмент поможет создать корректный файл robots.txt.

Цель файла — управление сканированием. Он не гарантирует рост позиций сам по себе.

Обработка происходит локально.

Создание шаблона robots.txt

Готовый текст для файла robots.txt.

Готовые варианты

Начните с шаблона, который подходит под ваши задачи.

С чистого листа (рекомендуется) Начните с пустого, безопасного шаблона. Тестовый сайт (закрыть всё) Включает Disallow: / — ОПАСНО для рабочих сайтов. Опасно Закрыть админку (пример) Пример: Disallow /admin/.

Ссылка на Sitemap

URL карты сайта

Можно добавить несколько ссылок. Каждая станет отдельной строкой Sitemap:.

Результат

Готовый текст для файла robots.txt.

Опции

Дополнительно

Тонкая настройка

Crawl-delay Задержка в секундах. Многие современные боты это игнорируют. Добавить комментарий Добавляет пояснение в начало файла.

Явный пустой Disallow Выводит «Disallow:», если правил нет (рекомендуется). Запомнить настройки Сохранит данные на этом устройстве.

Как использовать

Добавьте правила

Выберите роботов и пропишите пути для Allow/Disallow.

Укажите Sitemap (опция)

Добавьте полные ссылки на файлы Sitemap.

Разместите файл

Скопируйте результат и сохраните его в корне сайта как /robots.txt.

Примеры

Стандартный вариант

Разрешить всё и указать карту сайта.

User-agent: *
Disallow:

Sitemap: https://example.com/sitemap.xml

Закрыть админку

Запретить доступ только к разделу /admin/.

User-agent: *
Disallow: /admin/

Блокировка для теста

Для технических доменов, не предназначенных для поиска.

User-agent: *
Disallow: /

Что нужно знать

• robots.txt управляет сканированием (доступом), а не индексацией.
• Для полного запрета индексации используйте мета-тег noindex.

Расположение https://example.com/robots.txt

FAQ

Поможет ли это в SEO?

Robots.txt нужен для оптимизации обхода сайта роботами. Он помогает не тратить бюджет сканирования на мусорные страницы, но не поднимает сайт в поиске напрямую.

Опасно ли использовать Disallow: / ?

Да, это полностью закрывает сайт от поисковиков. Наш инструмент выводит предупреждение, если вы попытаетесь использовать такое правило.

Можно ли добавить несколько Sitemap?

Да, просто добавьте ссылки в соответствующие поля — каждая будет выведена в отдельной строке.