WordPressでChatGPTクローラーを確認・制御する方法

WordPressのプラグインだけでは、AIクローラーのアクセスをすべて確認することはできません。 CDN、レンタルサーバー、ウェブサーバーなど、WordPressの手前にあるアクセスログで確認しましょう。記録するのは、ユーザーエージェント、ホスト名、パス、日時、HTTPのステータスで、キャッシュから返したアクセスも含めます。

どこがアクセスに応答したかを確かめる

WordPressのプラグインは、WordPressの中で動きます。しかし、クローラーへの応答は、WordPressが動く前に終わっていることがあります。

• Cloudflareなどが、キャッシュしたページを返した
• レンタルサーバーのキャッシュ機能が、ページを返した
• ウェブサーバーの設定で、アクセスを拒否した
• セキュリティのプラグインが、PHPが動いたあとで拒否した

そのため、プラグインのレポートだけでは、実際のアクセスを見落とすことがあります。まずは、公開しているホストへのすべてのアクセスを記録している、いちばん外側の場所から確認しましょう。

Cloudflareを使っている場合

AI Crawl Controlで、そのドメインへのクローラーのアクセスを確認します。Search、Agent、Trainingの設定を確認し、パスとHTTPの結果を見ましょう。Cloudflareでは、キャッシュから返したアクセスや、ファイアウォールで止めたアクセスなど、WordPressまで届かなかったアクセスも確認できます。詳しくはCloudflareがChatGPTをブロックしていないか確認する方法をご覧ください。

レンタルサーバーのアクセスログを使う場合

レンタルサーバーの管理画面から、エラーログではなく「アクセスログ」を取得します。たとえばエックスサーバーでは、サーバーパネルの「アクセスログ」で日付を選んで表示し、「ダウンロードする」から保存できます。初期設定では直近30日分が残り、ログにはユーザーエージェントも含まれます。

ほかのレンタルサーバーでも、管理画面のログのメニューから取得できることが多いですが、保存期間や、ユーザーエージェントが含まれるかはサービスによって違います。各社のマニュアルで確認しましょう。

ログの中で、次の名前を探します。

• OAI-SearchBot、GPTBot、ChatGPT-User
• Claude-SearchBot、ClaudeBot、Claude-User
• PerplexityBot、Perplexity-User

文字列が一致しただけでは、本物とは言えません。各社が公開しているIPアドレスの一覧や、CDNの認証済みボットの情報で確認しましょう。名前の一覧はAIクローラー一覧にまとめています。

nginxやApacheを自分で管理している場合

nginxやApacheの標準の「combined」形式のログには、リクエスト、ステータス、参照元、ユーザーエージェントが含まれます。ログの設定と集計の手順はnginxのログでChatGPTクローラーを確認する方法で解説しています。

URLのクエリ文字列は、必要がなければクローラーの集計に含めないようにします。トークンやメールアドレスなど、集計に入れるべきでない値が含まれることがあるためです。

robots.txtで制御する

WordPressは、サーバーにrobots.txtのファイルがない場合、自動でrobots.txtを出力します。SEOのプラグインが内容を書き換えることもあります。設定を変えたら、ブラウザやコマンドで、実際に公開されているrobots.txtを確認しましょう。

ChatGPTの検索で表示されたい場合は、OAI-SearchBotを拒否しないようにします。学習への利用だけを止めたい場合は、GPTBotなどの学習用の名前だけを拒否します。書き方はrobots.txtでAIクローラーを拒否・許可する書き方をご覧ください。

WordPressでAIクローラーのアクセスを5つの手順で確認する

WordPressでAIクローラーのアクセスを確認するには、公開されているrobots.txt、プラグインの設定、CDNやファイアウォールのルール、実際のアクセスログを順に確認し、同じページのパスをクローラー用のツールで試します。robots.txtでの許可は方針を示すだけで、クローラーがページを取得できる証拠にはなりません。

1. 公開されているrobots.txtを確かめる: 公開しているホスト名で/robots.txtを開き、サーバーのファイルマネージャーでドキュメントルートも確認します。WordPressは、ファイルがなければ仮想のrobots.txtを出力し、実際のファイルがあればそちらが優先されることがあります。編集する前に、どちらが表示されているかを確認しましょう。出力の仕組みはWordPressのdo_robots()の説明にあります
2. SEOとセキュリティのプラグインを確認する: robots.txtを編集する設定や、自動のアクセスを制限する設定を確認します。WordPressには、出力されるルールをコードで変えられるrobots_txtフィルターがあります。当てはまる設定と、公開されているルールを記録します。プラグインに保存された文章が、実際のファイルやキャッシュと違うこともあります
3. CDNとWAFの判定を確認する: Cloudflareなどで、そのホスト名とパスのボットの方針、独自のルール、レート制限、確認画面（チャレンジ）の記録を確認します。robots.txtで許可していても、チャレンジや拒否でアクセスが止まることがあります。サーバーのファイアウォールも確認しましょう
4. AIのユーザーエージェントでアクセスログを絞り込む: ユーザーエージェントの項目で、GPTBot、OAI-SearchBot、ChatGPT-Userを探します。日時、パス、アクセス元のIPアドレス、HTTPステータスを残し、成功した取得と、リダイレクト、403の拒否、429のレート制限を分けます。名前は写せるので、各社のネットワークの案内で本物かを確認します
5. 試して比べる: 対象のパスをrobots.txtのAIクローラーチェッカーで、ログの名前をAIクローラーのユーザーエージェント判定で確認します。それぞれ、方針と名乗っている名前を調べるもので、本物のクローラーがページを取得した証拠にはなりません。直したあとは、公開されているファイルとその後のログを確認し直しましょう

WordPressのアクセス解析と数字が合わない理由

• ブラウザのアクセス解析は、JavaScriptが動いたあとの人の訪問を記録します
• セキュリティのプラグインは、自分のコードまで届いたアクセスだけを見ます
• CDNやサーバーのログは、アクセスの経路の別の部分を見ています

それぞれが正しくても、見ている場所が違うので数字は合いません。数字を報告するときは、どこで記録した数字かを書きましょう。

まとめ

WordPressでAIクローラーを確認するときは、プラグインではなく、CDNやレンタルサーバーのアクセスログを使います。クローラーの名前で探し、本物かを確かめ、ステータスとあわせて記録しましょう。制御はrobots.txtで行い、公開されている内容を確認します。

SearchSeal は、Cloudflareとは連携せず、クローラーや人の訪問も記録しません。AIの回答、ブランドの言及、回答とともに返された引用元のリンクを保存するので、アクセスログとは別に、回答の中での見え方を確認できます。

よくある質問

WordPressのプラグインでAIクローラーのアクセスをすべて確認できますか？

できません。CDNやサーバーのキャッシュ、ウェブサーバーの設定で、WordPressが動く前に応答したアクセスは、プラグインには見えません。

Cloudflareを使っているWordPressでは、まずどこを確認すればよいですか？

WordPressのログより先に、CloudflareのAI Crawl Controlとファイアウォールのイベントを確認しましょう。

WordPressでAIクローラーのアクセスはどう確認しますか？

公開されているrobots.txtが実際のファイルかWordPressの仮想の出力かを確かめ、SEOとセキュリティのプラグインの設定、CDNとWAFのルールを確認し、サーバーやCDNのログをAIのユーザーエージェントで絞り込みます。そのうえで、対象のパスをrobots.txtのAIクローラーチェッカーとユーザーエージェント判定で比べます。IPアドレスは別に確認しましょう。許可のルールがあっても、アクセスできた証拠にはなりません。

ユーザーエージェントにGPTBotとあれば本物ですか？

そうとは限りません。ユーザーエージェントは名乗っている名前にすぎないため、各社が公開しているIPアドレスの一覧などで確認しましょう。

出典

• WordPress: do_robots()（英語）
• WordPress: robots_txtフィルター（英語）
• エックスサーバー: アクセスログ
• Cloudflare: AI Crawl Control（英語）
• nginx: ログのモジュール（英語）