robots.txt 產生器(選擇 Allow / Disallow)
透過選擇 Allow / Disallow 規則,快速建立 robots.txt 範本。
此工具用於控制爬蟲抓取,不保證提升排名。
會偵測高風險的全站封鎖,並顯示警告與確認步驟
robots.txt 範本產生器
可用實用表單快速建立爬蟲封鎖設定。產生結果為純文字,可直接貼成 robots.txt。
使用方式
- 設定 User-agent,並加入 Allow / Disallow 規則。
- 需要時加入 Sitemap URL(支援多行)。
- 複製或下載產生出的 robots.txt。
robots.txt 的作用
- robots.txt 用於控制抓取行為。
- 若要控制索引,可能還需要 noindex 等其他方法。
- 請將 robots.txt 放在網站根目錄,例如 https://example.com/robots.txt。
FAQ
這會提升 SEO 排名嗎?
robots.txt 的目的在於控制爬蟲抓取,不保證排名提升。
Disallow: / 很危險嗎?
是的。Disallow: / 可能阻止整個網站被抓取。此工具會在複製 / 下載前顯示強烈警告並要求確認。
也可以加入 Sitemap 行嗎?
可以。只要在 Sitemap 輸入區加入 URL,工具就會自動輸出 Sitemap: ... 行,並支援多個 URL。