robots.txt 模板
robots.txt 生成器（选择 Allow/Disallow 以构建模板）
选择 Allow/Disallow 规则以快速创建 robots.txt 模板。此 robots.txt 生成器简化了爬虫屏蔽设置。
目标是抓取控制。它不保证排名提升。
在您的浏览器中本地处理。
robots.txt 模板生成器
准备粘贴为 robots.txt。预设用途
从最接近您目标的模板开始。
添加站点地图行
允许多行。每个有效 URL 都会成为一行 Sitemap:。
预览
准备粘贴为 robots.txt。
选项
高级
按需打开
如何使用 robots.txt
添加 Allow/Disallow
选择用户代理并添加规则行。
添加站点地图（可选）
您可以添加多个站点地图 URL。
复制并放置
复制结果并将其保存为 /robots.txt。
示例
安全默认值
允许所有内容并添加站点地图。
User-agent: * Disallow: Sitemap: https://example.com/sitemap.xml
屏蔽管理员
仅 Disallow 管理员区域。
User-agent: * Disallow: /admin/
屏蔽所有（暂存环境）
危险，仅限非生产环境。
User-agent: * Disallow: /
robots.txt 能做什么
- • robots.txt 用于抓取控制。
- • 索引控制是分开的，可能需要 noindex。
位置
https://example.com/robots.txt
常见问题
这会改善 SEO 吗？
robots.txt 的目的是抓取控制，并不保证排名提升。使用它来减少不必要的抓取并明确禁区。
Disallow: / 危险吗？
是的。Disallow: / 会屏蔽整个网站。将其应用于生产环境可能会产生严重影响。此工具会显示强烈警告，并在复制前需要确认。
我可以添加站点地图行吗？
可以。在站点地图字段中添加 URL，工具会输出 Sitemap: ... 行（支持多个 URL）。