AIクローラーのユーザーエージェントチェッカー

信頼できるサーバーやエッジのログから、User-Agentの値をコピーしてください。IPアドレスやCookieなどを含むログの行全体ではなく、その欄だけを貼り付けます。判定はすべてブラウザの中で行います。貼り付けた文字列を、SearchSealや他のサービスに送信することはありません。

一致すると、クローラーのトークン、運営者、用途、確認方法を表示します。チェッカーはトークンの区切りを認識します。URLの中だけに現れるトークン名は無視します。複数の名前が見つかった場合は、ひとつに決めずにそれぞれを表示します。元のリクエストを調べるときの材料にしてください。

検索インデックスへの登録、学習、ユーザーの依頼による取得は、それぞれ別の活動です。検索インデックスを作るクローラーと、誰かが質問したあとにページを取得するクライアントでは、目的が違います。許可するか制限するかを決める前に、結果に表示される用途を読んでください。

参照情報は14のトークンを対象にしています。OpenAI、Anthropic、PerplexityのAIクローラーに加えて、Google-Extended、Applebot-Extended、Common Crawl、ByteDance、Meta、Amazonの項目があります。運営者の最新の案内を確認できなかった項目では、正確なポリシーや確認方法を決めつけません。確認できなかったことを、そのまま表示します。

ユーザーエージェントの文字列は、クライアントが名乗っている名前にすぎません。他人がコピーして使うこともできます。リクエストを確認するには、信頼できるエッジやサーバーが記録した送信元のIPアドレスを使います。それを、運営者が公開している最新の方法と照合してください。多くの運営者がIPアドレスの範囲を公開しています。逆引きDNSによる確認方法を説明している運営者もあります。

逆引きDNSを使う方法では、送信元のアドレスをホスト名に変換し、許可されたドメインの末尾と完全に一致するかを確認します。さらに、そのホスト名を正引きして、元のアドレスに戻ることを確かめます。運営者の手順は、最後まで守ってください。このチェッカーが返すテキストだけを根拠に、ファイアウォールに広い例外を作らないでください。

Google-ExtendedとApplebot-Extendedは、robots.txtでコンテンツの特定の使われ方を制御するトークンです。独立したHTTPクローラーの名前ではありません。どちらかを貼り付けると、結果でその違いを説明します。実際に届くリクエストについては、運営者の案内を示します。

「不明」という結果は、文字列がこの参照情報のどれにも一致しなかったという意味です。調べている間は、不明のまま扱ってください。ログが途中で切れていないか、欄をすべてコピーしたかを確認します。文字列のほかの部分によく知られたブラウザの名前があっても、どのサービスがリクエストしたかの証明にはなりません。

はい。OAI-SearchBotのようなトークンだけでも、その参照情報を開けます。実際のリクエストを調べるときは、欄の値をすべて使ってください。バージョン情報が残り、複数の名前が一緒に含まれているかも分かるからです。チェッカーは、特定のバージョン番号に頼らずに名前を照合します。名前が似ていても関係のない文字列は、区別して扱います。

名前を確認できたら、パス、リクエストの時刻、HTTPステータスを見ます。これらから、クライアントが何を求め、サイトがどう応答したかが分かります。後から別の人が分類の理由を理解できるよう、確認方法もその記録と一緒に残してください。

同じパスに対して公開されているルールは、robots.txtのAIクローラーチェッカーで確認できます。ログをより広く調べる方法は、クローラーのリクエストを確認するガイド（英語）で説明しています。AIの回答が自社について何と言っているかを知りたい場合は、AIブランドモニタリング（英語）をご覧ください。こちらはリクエストのログではなく、保存した回答を根拠にしています。