ChatGPTにクロールされたか確認する方法
自社サイトにChatGPTのクローラーが来ているかを、CDNやサーバーのアクセスログで確かめる手順を解説します。GPTBotとOAI-SearchBotの違い、記録すべき項目、アクセスが見つからない場合の確認方法も紹介します。
ChatGPTのクローラーが来ているかは、CDNやサーバーのアクセスログで、OpenAIのクローラーの名前を探すことで確認できます。 記録するのは、アクセスされたパス、日時、ユーザーエージェント、本物かどうかの確認の状態、HTTPのステータスです。アクセスが成功していれば「サイトがページを返した」ことは分かりますが、インデックスや引用は別に確認する必要があります。
「ChatGPTのクローラー」は3種類ある
「ChatGPTにクロールされた」とひとまとめに言いがちですが、OpenAIは役割ごとに別のクローラーを公開しています。
| 名前 | 役割 |
|---|---|
| OAI-SearchBot | ChatGPTの検索のために、公開されているページを巡回する |
| GPTBot | AIモデルの学習に使う可能性のあるコンテンツを集める |
| ChatGPT-User | ユーザーがChatGPTでページを開くように頼んだときに取得する |
Claudeにも、Claude-SearchBot、ClaudeBot、Claude-Userの区別があります。PerplexityにはPerplexityBotとPerplexity-Userがあります。詳しくはAIクローラー一覧をご覧ください。
GPTBotが来ても、ChatGPTの検索にインデックスされたとは限りません。OAI-SearchBotが来ても、学習に使われたとは限りません。だからこそ、ログには「クローラーが来た」だけでなく、どのクローラーかを記録します。
証拠として残す項目
自社のサーバーやCDNが記録したアクセスを出発点にします。最低限、次の項目を残しましょう。
- ホストとパス
- アクセスの日時
- ユーザーエージェントの全文
- 返したHTTPのステータス
- 各社が公開している情報で、本物か確認できたか
ユーザーエージェントは「名乗っている名前」にすぎず、簡単に偽装できます。各社が公開しているIPアドレスの一覧などで接続元を確認し、確認した日時も記録しましょう。
HTTPのステータスによって、意味も変わります。
| ステータス | 意味 |
|---|---|
| 200 | ページを返した |
| 301・302 | 別のURLへ転送した |
| 403 | セキュリティの設定で拒否した |
| 429 | レート制限で拒否した |
どこを見ればよいか
- Cloudflare: AI Crawl Controlで、クローラーのアクセス、パス、結果を確認します
- 自社で管理しているサーバー: nginxやApacheのアクセスログを検索します。手順はnginxのログでChatGPTクローラーを確認する方法をご覧ください
- WordPress: レンタルサーバーの管理画面からアクセスログを確認します。手順はWordPressでChatGPTクローラーを確認・制御する方法をご覧ください
- Vercel、CloudFrontなど: サーバーのログでAIクローラーを確認する方法で解説しています
ブラウザでJavaScriptを動かすタイプのアクセス解析は、確認する場所として適していません。多くのクローラーは解析のタグを動かさず、GA4は既知のボットを自動で除外します。詳しくはChatGPTからの流入を計測する方法をご覧ください。
アクセスが見つからない場合
「アクセスが見つからなかった」と言えるのは、どのデータを、どの期間で確認したかが分かっている場合だけです。CDNやサーバーのログを確認できていなければ、結果は「不明」です。
- 確認したデータに、正しいホスト名と期間が含まれているかを確認する
- 公開されているrobots.txtを取得して、ルールを確認する
- CDN、WAF、レート制限の設定を確認する
- 転送や4xxのエラーが返っていないかを確認する
- 内部リンクやサイトマップから、そのページにたどり着けるかを確認する
robots.txtの確認はrobots.txtでAIクローラーを拒否・許可する書き方、Cloudflareの確認はCloudflareがChatGPTをブロックしていないか確認する方法で解説しています。
クロールされても、引用されたとは限らない
次の4つは、別々のことです。
- クローラーがページを取得した
- 検索の仕組みがページをインデックスした、または情報を保存した
- AIの回答でページが引用された、または名前が出た
- 人がクリックしてサイトに来て、成果につながった
1つ目を確認したなら、報告するのは1つ目だけです。それを2つ目、3つ目、4つ目の結果として扱わないようにしましょう。
まとめ
ChatGPTにクロールされたかは、CDNやサーバーのアクセスログで、OAI-SearchBot、GPTBot、ChatGPT-Userを分けて確認します。ユーザーエージェントだけでなく接続元も確かめ、HTTPのステータスとあわせて記録しましょう。
SearchSeal は、クローラーのアクセスやサイトのアクセスは記録しません。登録した質問をAIに定期的に送り、回答、名前が出たブランド、回答とともに返された引用元のリンクを保存します。アクセスログとあわせて使うと、「取得されたか」と「回答でどう紹介されたか」を分けて確認できます。
よくある質問
GA4でChatGPTのクローラーが来たか確認できますか？
確認できません。GA4はブラウザで動くタグのデータを記録し、既知のボットは自動で除外されます。CDNやサーバーのアクセスログで確認しましょう。
OAI-SearchBotが来たら、ChatGPTに引用されたということですか？
そうとは限りません。ログで分かるのは、OAI-SearchBotがサイトにアクセスし、記録されたステータスが返されたことだけです。その後の回答で引用されたかは、回答を記録して確認します。
ChatGPTの検索に関係するのはどのクローラーですか？
ChatGPTの検索のための自動の巡回はOAI-SearchBotです。GPTBotとChatGPT-Userは、それぞれ別の役割を持っています。