robots.txt 產生器(選擇 Allow / Disallow)

透過選擇 Allow / Disallow 規則,快速建立 robots.txt 範本。

此工具用於控制爬蟲抓取,不保證提升排名。

會偵測高風險的全站封鎖,並顯示警告與確認步驟

robots.txt 範本產生器

可用實用表單快速建立爬蟲封鎖設定。產生結果為純文字,可直接貼成 robots.txt。

使用方式

  1. 設定 User-agent,並加入 Allow / Disallow 規則。
  2. 需要時加入 Sitemap URL(支援多行)。
  3. 複製或下載產生出的 robots.txt。

robots.txt 的作用

  • robots.txt 用於控制抓取行為。
  • 若要控制索引,可能還需要 noindex 等其他方法。
  • 請將 robots.txt 放在網站根目錄,例如 https://example.com/robots.txt。

FAQ

這會提升 SEO 排名嗎?

robots.txt 的目的在於控制爬蟲抓取,不保證排名提升。

Disallow: / 很危險嗎?

是的。Disallow: / 可能阻止整個網站被抓取。此工具會在複製 / 下載前顯示強烈警告並要求確認。

也可以加入 Sitemap 行嗎?

可以。只要在 Sitemap 輸入區加入 URL,工具就會自動輸出 Sitemap: ... 行,並支援多個 URL。