CloudflareがChatGPTをブロックしていないか確認
CloudflareがChatGPTやClaudeのクローラーをブロックしていないかを確認する手順を解説します。初期設定の変更の経緯、403と429のエラーの見分け方、必要な範囲だけ許可する直し方も紹介します。
CloudflareがAIクローラーをブロックしているかは、対象のドメインの「AI Crawl Control」とセキュリティの設定で、Search（検索）、Agent（エージェント）、Training（学習）の3つの設定を確認すれば分かります。 Cloudflareの初期設定はこれまでに何度か変わっているため、「いつ発表されたか」だけでは、自社のドメインの設定は判断できません。
まず確認する場所
対象のドメインごとに、次の順で確認します。
- 「AI Crawl Control」で、AIクローラーのアクセスの状況を確認する
- セキュリティの設定で、AIのボットに関するポリシーを確認する
- Search、Agent、Trainingの設定を、それぞれ別に確認する
- ファイアウォールのイベントで、403のエラーやマネージドルールの一致を確認する
- 実際に公開されているrobots.txtを取得して確認する
robots.txtでOAI-SearchBotを許可していても、Cloudflareが403を返している場合は、ファイアウォールのルールが優先されています。robots.txtはクローラーへの「お願い」であり、Cloudflareのブロックを解除する設定ではありません。robots.txtの書き方はrobots.txtでAIクローラーを拒否・許可する書き方で解説しています。
Cloudflareの初期設定が変わった経緯
- 2024年9月: AIクローラーのアクセスを確認できる機能（AI Audit）が、すべてのサイトで使えるようになりました
- 2025年7月1日: 許可なくアクセスするAIクローラーを初期設定でブロックする方針を発表し、新しく追加するドメインでは、AIクローラーを許可するかを最初に選ぶようになりました
- 2026年7月: Search、Agent、Trainingの役割ごとに、別々のポリシーを設定できるようになりました
- 2026年9月15日: 新しく追加するサイトの初期設定を変更するとCloudflareが案内していました（2026年8月4日時点の情報）。自社のドメインの現在の設定を確認しましょう
どのドメインが対象になるかは、ドメインを追加した時期やプランによって異なります。発表の内容ではなく、自社のドメインの今の設定を確認しましょう。
検索・学習・ユーザーの依頼による取得は別のもの
AIの会社のクローラーは、役割ごとに分かれています。たとえばOpenAIは、ChatGPTの検索にOAI-SearchBot、学習に使う可能性のある収集にGPTBotを使っています。Anthropicも、Claude-SearchBot、ClaudeBot、Claude-Userを分けています。詳しくはAIクローラー一覧をご覧ください。
設定を変える前に、何を許可したいかを決めておきます。
- AIの検索で表示されたいなら、Searchは許可する
- 学習への利用は、Trainingとして別に決める
- ユーザーの依頼によるアクセスは、Agentとして別に決める
403と429のエラーの違い
AIクローラーがエラーを受け取っている場合は、まずステータスを確認します。
| ステータス | 意味 | 主な原因 |
|---|---|---|
| 403 | アクセスが拒否された | ファイアウォール、ボット対策、アクセス制限、ログインの確認 |
| 429 | リクエストが多すぎる | レート制限 |
調べるときは、日時、ホスト、パス、ユーザーエージェント、ステータス、一致したルールを記録しておきます。これがないと、原因を推測するしかなくなります。
原因を順番に切り分ける
- robots.txt: 対象のホストのrobots.txtを取得し、クローラーの名前とパスのルールを確認します。robots.txtの拒否だけで403が返ることは通常ありません
- CDNとボット対策: CloudflareのAI Crawl Controlなどで、AIのボットのルール、JavaScriptのチャレンジ、国ごとの制限、レート制限を確認します
- オリジンのサーバー: nginxやロードバランサーのログで、リクエストがサーバーまで届いたか、どのステータスを返したかを確認します
- アプリケーション: Cookieやログイン、JavaScriptが必要な仕組みになっていないかを確認します。ブラウザでは見られるページでも、クローラーは失敗することがあります
OpenAIも、クローラーが取得できない原因として、robots.txt、CDNやボット対策、人間かどうかの確認、403、429のレート制限を挙げています。
必要な範囲だけ許可する
ユーザーエージェントの名前だけで許可するのは危険です。悪意のあるアクセスも、GPTBotやClaudeBotと名乗ることができます。各社が公開しているIPアドレスの一覧や、Cloudflareの認証済みボットの情報とあわせて確認しましょう。
直すときは、原因になったルールだけを変えます。
- 確認できたクローラーを、公開しているページのパスだけで許可する
- アカウント、管理画面、APIのパスは保護したままにする
- ブラウザのチャレンジは、確認できたクローラーに対してだけ外す
- レート制限は全体で外さず、クローラーに合わせて調整する
- 許可したアクセスと拒否したアクセスのログは残す
変更のあとに結果を確認する
設定を変えたら、新しいアクセスで、対象のパスが意図したステータス（200など）を返しているかを確認します。
200が返れば、アクセスの問題は解決しています。ただし、それだけでAIの回答で引用されるわけではありません。インデックスや引用は、別に確認する必要があります。
まとめ
CloudflareがAIクローラーをブロックしているかは、ドメインごとのSearch、Agent、Trainingの設定とファイアウォールのイベントで確認します。403と429は原因が違うので、ステータスから切り分け、原因になったルールだけを直しましょう。
SearchSeal は、Cloudflareとは連携せず、クローラーのアクセスも記録しません。登録した質問について、AIの回答と引用元を毎日保存するので、設定を変えた前後で、回答の中での自社の見え方を比べられます。
よくある質問
CloudflareはすべてのAIクローラーを初期設定でブロックしますか？
すべてのドメインで同じではありません。ドメインを追加した時期やプラン、有効になっている設定によって異なるため、対象のドメインの今の設定を確認してください。
robots.txtで許可すればCloudflareのブロックは解除されますか？
解除されません。ファイアウォールやAI Crawl Controlのブロックは、robots.txtの許可より優先されます。
403のエラーを直せばChatGPTに引用されますか？
403を直すと、アクセスの問題は一つ解決します。インデックスや引用は、その後に起きる別のことなので、別に確認する必要があります。