robots.txt設定ガイド｜適用範囲・危険な指定・検証手順

robots.txtはクロール管理であり、秘密の保護やnoindexではない

Robots Exclusion Protocolは、協力するクローラーに取得してよいURLを伝える仕組みです。命令の強制、認証、検索結果からの確実な削除、サーバー負荷対策の保証を行うものではありません。

個人情報、顧客データ、バックアップ、設定ファイル、未公開資料をrobots.txtで保護しないでください。該当URLが匿名利用者から取得できるなら、まずアクセスを止め、漏えい範囲とログを確認します。

適用範囲はプロトコル・ホスト・ポートの組み合わせで決まる

robots.txtは小文字の /robots.txt として各サービスのルートに置きます。https://example.com/robots.txt は同じHTTPS、ホスト、標準ポートのパスへ適用され、HTTP、別サブドメイン、非標準ポートへは自動適用されません。

表は横にスクロールできます。

User-agentのグループと最も具体的なパス規則を判定する

標準の中心はUser-agent、Allow、Disallowです。Sitemapは主要検索エンジンが対応する追加レコードです。クローラー固有の拡張は、対象クローラーの公式仕様を確認します。

危険な指定は公開前の停止条件として扱う

構文が正しくても目的が誤っていれば障害になります。URL数、重要ページ、レンダリング資源、インデックス制御、セキュリティ、クローラー対応の観点で差分を確認します。

robots.txtのHTTP応答は規則と同じ重要度で監視する

同じファイル内容でも、状態コード、Content-Type、文字コード、リダイレクト、キャッシュ、障害で解釈が変わります。Google固有の扱いとRFC 9309の基準を分けて記録します。

変更前にURL判定表を作り、最小規則を配信する

大量の規則を書き始める前に、許可・不許可にしたい代表URL、クローラー、目的、代替制御を表にします。まずステージング相当のURL集合で判定し、公開環境の現行版と差分を取ります。

1. 1

   対象オリジンを列挙する

   HTTP・HTTPS、www、サブドメイン、CDN、画像ホスト、非標準ポートを列挙し、各/robots.txtの所有者と配信方法を確認します。

2. 2

   URLを許可・不許可・別制御へ分類する

   重要ページ、検索・絞り込み、管理画面、API、CSS・JS、画像、PDF、サイトマップ、存在しないURLを含めます。秘密は認証、noindexはクロール許可へ分けます。

3. 3

   最小のグループと規則を書く

   重複グループと推測したクローラー名を避け、最も狭いDisallowと必要なAllowだけにします。コメントには理由と変更票番号を書き、機密情報を書きません。

4. 4

   配信層とキャッシュを固定する

   アプリ、Webサーバー、CDNのどこが正規ファイルを持つか決めます。環境別ファイルが本番へ混入しないよう生成・デプロイ・キャッシュ無効化を自動化します。

5. 5

   限定公開から監視を開始する

   可能なら低リスクな規則から公開し、取得ログ、重要URL、クロール、エラーを観測します。全体ブロックや広いパターンは追加承認を必要にします。

User-agent: *
Disallow: /search/
Allow: /search/help/

Sitemap: https://example.com/sitemap.xml

ファイル取得とURL判定を別々に検証する

ファイルが200で開くだけでは、目的のURLに正しい規則が適用されるか分かりません。各オリジンの応答と、クローラー・URLごとの判定表を保存します。

1. 1

   ブラウザとcurlで配信を確認する

   正確な https://ホスト/robots.txt を開き、curl -i で状態、Content-Type、文字コード、Location、Cache-Control、本文を確認します。CDNとオリジンの差も確認します。

2. 2

   構文とグループを解析する

   UTF-8、改行、User-agent、空のDisallow、グループ境界、重複規則、未知のフィールド、ファイルサイズを確認します。規則より前に置かれたAllow・Disallowは使いません。

3. 3

   URL判定表を全件実行する

   各User-agentについて、トップ、重要下層、許可例、不許可例、大文字小文字、末尾スラッシュ、クエリ、エンコード、CSS・JS・画像、サイトマップを判定します。

4. 4

   Search Consoleで取得版を確認する

   robots.txtレポートで最新取得、エラー、警告、過去の版を確認します。特定URLのブロック判定はURL検査ツール、開発時の大量検査はGoogleの公開robots.txtライブラリなどを使います。

5. 5

   公開後のログと検索信号を監視する

   robots.txt取得、重要URLのGooglebotアクセス、4xx・5xx、クロール統計、インデックス、レンダリングを変更前と比較します。不正クローラー対策はWAFやレート制御で別に観測します。

公開と復旧はファイル・キャッシュ・検索制御を一緒に管理する

変更票に現行版、変更版、公開時刻、担当、停止条件、復旧版を添付します。robots.txtだけ戻しても、CDNキャッシュや同時変更したnoindex・サイトマップが残る場合があります。

1. 1

   公開前の正常版を保存する

   本文、応答ヘッダー、ハッシュ、取得時刻、URL判定表、Search Consoleの取得版を保存し、ワンクリックで戻せる配信版を用意します。

2. 2

   停止条件を監視する

   重要URLの不許可、全体ブロック、robots.txtの4xx・5xx、HTML応答、想定外ホストへの転送、レンダリング資源遮断を検知したら拡大を止めます。

3. 3

   正規配信層で前版へ戻す

   別の層へ応急規則を追加せず、正規ファイルを前版へ戻します。対象CDNキャッシュを限定して無効化し、各オリジンから再取得します。

4. 4

   競合する制御も復元する

   同時に変更したnoindex、X-Robots-Tag、canonical、サイトマップ、内部リンクがあれば、承認済みの同じ版へ戻します。

5. 5

   取得とURL判定を再確認する

   curl、判定表、Search Console、ログで復旧を確認します。検索エンジン側のキャッシュが更新されるまで影響を監視し、原因と再発防止を記録します。

robots.txt変更の完了チェック

ファイルの構文だけでなく、適用範囲、URL判定、配信、検索制御、復旧を同じチェックシートに残します。

根拠にした一次資料・標準資料

標準と検索エンジン固有実装を区別しています。利用するクローラー、CDN、CMSの現行公式資料も照合してください。

• RFC 9309：Robots Exclusion Protocol
• Google：robots.txt指定の解釈
• Google：robots.txtの作成・設定・送信
• Google Search Central：robots.txtの概要と限界
• Search Consoleヘルプ：robots.txtレポート
• Google Search Central：robots meta・X-Robots-Tag

robots.txtでよくある質問