GPTBotとは｜3つのOpenAIクローラーの違いと設定

GPTBotとは、OpenAIがAIモデルの学習に使う可能性のあるコンテンツを集めるためのクローラーです。 OpenAIにはほかに、ChatGPTの検索機能のためのOAI-SearchBotと、ユーザーの操作をきっかけにページを取得するChatGPT-Userがあります。3つは役割が違うため、robots.txtでひとまとめに許可・拒否すると、意図しない結果になることがあります。

3つのクローラーの比較

名前	役割	自動で巡回するか	robots.txt
OAI-SearchBot	ChatGPTの検索でサイトを表示するため	する	名前を指定して設定できる
GPTBot	AIモデルの学習に使う可能性のあるコンテンツを集めるため	する	名前を指定して設定できる
ChatGPT-User	ChatGPTやGPTsで、ユーザーの依頼に応じてページを取得するため	しない	適用されない場合がある

OpenAIは、これらのクローラーを公式のドキュメントで説明しています。ユーザーエージェントの文字列に含まれるバージョン番号は変わることがあるため、ログで判別するときは「GPTBot」などの名前の部分で照合しましょう。

OAI-SearchBot：ChatGPTの検索用

OAI-SearchBotは、ChatGPTの検索機能でサイトを表示するために、自動でページを巡回するクローラーです。OpenAIは、OAI-SearchBotを拒否したサイトは、ChatGPTの検索の回答に表示されなくなると説明しています（ナビゲーション用のリンクとして表示される場合はあります）。

ChatGPTで自社が紹介されることを目指すなら、OAI-SearchBotを拒否していないかを最初に確認しましょう。ただし、許可しているからといって、必ずインデックスされたり、引用されたりするわけではありません。CDNやWAF、サーバーの設定でアクセスが止まっていることもあります。

GPTBot：学習用

GPTBotは、OpenAIの生成AIモデルの学習に使われる可能性のあるコンテンツを集めるクローラーです。GPTBotを拒否するのは「学習に使ってほしくない」という意思表示であり、ChatGPTの検索に表示されなくなる設定ではありません。

OpenAIは、OAI-SearchBotとGPTBotの設定をそれぞれ独立して扱うとしています。そのため、「ChatGPTの検索には表示してほしいが、学習には使ってほしくない」という設定も可能です。

ChatGPT-User：ユーザーの依頼による取得

ChatGPT-Userは、ユーザーがChatGPTやGPTsに「このページを見て」と頼んだときなどに、ページを取得するためのものです。自動の巡回には使われず、ChatGPTの検索に表示されるかどうかにも関係しません。

OpenAIは、ユーザーの依頼による取得のため、robots.txtのルールが適用されない場合があると説明しています。公開したくない情報は、robots.txtではなく、ログインなどのアクセス制御で守りましょう。

目的別のrobots.txtの書き方

検索は許可し、学習は拒否する

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

ChatGPTの検索での表示は目指しつつ、学習には使ってほしくない場合の、よくある設定です。

両方を許可する

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Allow: /

両方を拒否する

User-agent: OAI-SearchBot
Disallow: /

User-agent: GPTBot
Disallow: /

robots.txtは「お願い」であり、アクセスを防ぐ仕組みではありません。ほかのAIクローラーも含めた設定はrobots.txtでAIクローラーを設定する方法で解説しています。今の設定はrobots.txtのAIクローラーチェッカーで、URLを入れるだけで確認できます。

ログでは「名前」だけで判断しない

ユーザーエージェントは、アクセスする側が自由に名乗れる文字列です。「GPTBot」と名乗っていても、本物とは限りません。より確実に判別するには、次の情報を組み合わせます。

ユーザーエージェントの全文を保存する
「GPTBot」などの名前を、大文字小文字を区別せずに照合する
アクセス元のIPアドレスを、OpenAIが公開しているIPアドレスの一覧（openai.com/gptbot.json、searchbot.json、chatgpt-user.json）と照らし合わせる
アクセスされたパス、日時、HTTPステータスを記録する

IPアドレスの一覧は変わることがあるため、ブログ記事などからコピーして固定のルールにせず、公式の一覧を確認しましょう。

HTTPステータスの読み方

200: サーバーがページを返した
403: どこかの仕組み（WAFやボット対策など）がアクセスを拒否した
404: 古いリンクや、存在しないページにアクセスされた

どのステータスも、AIがその内容を使ったかどうかまでは示しません。

GPTBotとClaudeBotの違い

GPTBotは、OpenAIのモデルの学習に使われる可能性のある情報を集めるクローラーで、ClaudeBotは、Anthropicの同じ役割のクローラーです。各社の説明によると、どちらもユーザーエージェントで名前を名乗り、robots.txtに従います。

項目	GPTBot	ClaudeBot
運営者	OpenAI	Anthropic
目的	学習に使われる可能性のある情報の収集	学習に使われる可能性のある情報の収集
ユーザーエージェントの名前	GPTBot	ClaudeBot
対応する検索用のクローラー	OAI-SearchBot	Claude-SearchBot
ユーザーの依頼による取得	ChatGPT-User	Claude-User
robots.txtでの拒否	User-agent: GPTBot のあとに Disallow: /	User-agent: ClaudeBot のあとに Disallow: /

2つの学習用のクローラーを拒否するには、次の4行を使います。この例だけなら、OAI-SearchBotとClaude-SearchBotには拒否のルールがないので、許可されたままです。既存のファイルに加えるときは、もっと広いルールで検索用のクローラーまで拒否していないか確認しましょう。

User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /

検索用のクローラーを許可したままなら、学習用のクローラーを拒否しても、それだけで検索での引用から外れるわけではありません。検索用のアクセスがあれば取得はできますが、どちらのAIでも、選ばれて引用される保証にはなりません。また、学習の拒否で、すでにモデルに使われた情報が消えるわけではありません。

ユーザーの依頼による取得は、さらに別の動きです。人の依頼を受けてAIがページを取得するもので、その人がサイトを開いたわけではありません。OpenAIは、ChatGPT-Userにはrobots.txtが適用されない場合があると説明していますが、Anthropicは、Claude-Userを含む自社のボットがrobots.txtに従うと説明しています。レポートでは、取得と人の訪問を分けておきましょう。

名前や動きは変わることがあるので、アクセスを変える前に、OpenAIのクローラーの説明とAnthropicのクローラーの説明を確認します。公開中のファイルとファイアウォールは別に確認しましょう。全体の設定はAIクローラーのrobots.txtの書き方で解説しています。

まとめ

GPTBotは学習用、OAI-SearchBotはChatGPTの検索用、ChatGPT-Userはユーザーの依頼による取得用です。ChatGPTで紹介されたいなら、少なくともOAI-SearchBotを拒否しないことが前提になります。主要なAIクローラーの一覧はAIクローラー一覧をご覧ください。

SearchSeal は、クローラーのアクセスやHTTPステータスは記録しません。登録した質問について、ChatGPTなどのAIの回答と引用元を毎日保存するので、アクセスログとは別に、回答の中身を確認できます。

よくある質問

GPTBotを拒否すると、ChatGPTに表示されなくなりますか？

GPTBotは学習用のクローラーなので、拒否してもChatGPTの検索に表示されなくなるわけではありません。ChatGPTの検索に関係するのはOAI-SearchBotです。

ChatGPT-Userをrobots.txtで拒否できますか？

ChatGPT-Userはユーザーの依頼による取得のため、OpenAIはrobots.txtのルールが適用されない場合があると説明しています。公開したくない情報はアクセス制御で守りましょう。

本物のGPTBotかどうかはどう確認しますか？

ユーザーエージェントの名前に加えて、アクセス元のIPアドレスをOpenAIが公開している一覧と照らし合わせて確認します。

GPTBotとは｜3つのOpenAIクローラーの違いと設定

3つのクローラーの比較

OAI-SearchBot：ChatGPTの検索用

GPTBot：学習用

ChatGPT-User：ユーザーの依頼による取得

目的別のrobots.txtの書き方

ログでは「名前」だけで判断しない

HTTPステータスの読み方

GPTBotとClaudeBotの違い

まとめ

よくある質問

GPTBotを拒否すると、ChatGPTに表示されなくなりますか？

ChatGPT-Userをrobots.txtで拒否できますか？

本物のGPTBotかどうかはどう確認しますか？

出典

AI検索で次に取れる成果を見つけましょう

3つのクローラーの比較

OAI-SearchBot：ChatGPTの検索用

GPTBot：学習用

ChatGPT-User：ユーザーの依頼による取得

目的別のrobots.txtの書き方

ログでは「名前」だけで判断しない

HTTPステータスの読み方

GPTBotとClaudeBotの違い

まとめ

よくある質問

GPTBotを拒否すると、ChatGPTに表示されなくなりますか？

ChatGPT-Userをrobots.txtで拒否できますか？

本物のGPTBotかどうかはどう確認しますか？

出典

関連記事

AI検索で次に取れる成果を見つけましょう