このチェッカーでは、AIクローラーと制御トークンのそれぞれに対して、robots.txtで公開されているルールを確認できます。新規登録は不要です。
確認したいページのルールを読む
チェッカーは、入力したドメインのルートにあるrobots.txtを取得します。評価するのは指定したパスで、初期値はトップページです。製品ページ、料金ページ、ヘルプページを確認したいときは、パスを変えてください。トップページは許可していても、深いディレクトリは拒否しているサイトがあります。そのため、パスも結果の一部です。
表には、トークンごとに「許可」「拒否」「指定なし」のいずれかを表示します。該当する場合は、一致したグループと、判定を決めた行も表示します。確認したファイルを開くと、前後の記述も確認できます。サイトやクローラーのポリシーを管理している担当者と変更を相談するときは、この根拠を使ってください。
3つの結果の意味
「許可」は、指定したパスに一致するAllowの指示が優先されたという意味です。「拒否」は、一致するDisallowの指示が優先されたという意味です。「指定なし」は、該当するグループの中に、このパスに一致する指示がないという意味です。通常のrobots.txtの処理では、この場合はアクセスが許可されます。結果が示すのは、このリクエストに対して公開されている指示です。
パーサーは、クローラー名のグループがあればそれを使い、なければワイルドカード（*）のグループを使います。同じトークンのグループが複数ある場合は、まとめて扱います。一致したルールのうち最も長いものを選びます。長さが同じ場合はAllowを優先します。ワイルドカードは任意の文字列に一致し、末尾のドル記号（$）はパスの終わりを示します。これらのルールはRobots Exclusion Protocol（RFC 9309）に沿っています。
AIクローラーの用途を分けて考える
対象は、GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、PerplexityBot、Perplexity-User、Google-Extended、Applebot-Extended、CCBot、Bytespider、Meta-ExternalAgent、Amazonbotの14個です。ユーザーエージェントチェッカーと同じ参照情報を使っています。
学習のためにコンテンツを集めるもの、検索を支えるもの、ユーザーの依頼を受けてページを取得するものがあります。Google-ExtendedとApplebot-Extendedは制御トークンです。独立したHTTPクローラーではありません。どの用途を許可するかを決めるときは、運営者のドキュメントを確認してください。学習への利用と検索インデックスへの登録は、それぞれ分けて判断することをおすすめします。
ポリシーを編集する前に結果を見直す
まず、公開したいホスト名とパスを正確に決めます。一致した指示を読み、配信されているファイルの中でその行を探してください。ホスティングやCDNがrobots.txtを管理している場合は、その設定画面でルールを変えます。別の層が違うポリシーを配信していると、手元のファイルを直しても反映されません。
公開したら、robots.txtをもう一度開き、同じパスで再び確認してください。変更前と変更後のポリシーは、公開日と一緒に保存しておきましょう。実際のリクエストの結果は、信頼できるサーバーやエッジのログで確認します。アクセスの失敗を調べる方法は、クローラーのトラブルシューティングガイド（英語）で説明しています。
ファイルがない場合と読み取れない場合
404または410が返った場合は、robots.txtがないものとして扱い、ルールを「指定なし」と表示します。リクエストの失敗、ブロックされた接続先、HTMLのチャレンジページの場合は、判定ではなくエラーを表示します。アドレスを直すか、サイトが利用できるかを確認してから、もう一度お試しください。
取得できるのは、httpまたはhttpsの公開ドメインだけです。制限時間は10秒です。リダイレクトは5回までたどります。読み込むのは、ファイルの先頭500 KiBまでです。リダイレクト先もそれぞれ確認します。ローカルアドレス、プライベートネットワークの接続先、カスタムポート、ログイン情報を含むURLは受け付けません。
このツールは公開ファイルを読むだけです。サイトを編集することも、監視の履歴を保存することもありません。同じIPアドレスから確認できるのは、10分間に20回までです。
どのホスト名を入力すればよいですか
調べたいページを配信しているホスト名を入力してください。ルートドメインとwwwのサブドメインでは、別のファイルを配信していることがあります。ドキュメント用のサブドメインも同じです。サイトのURLをそのまま貼り付けた場合は、そのオリジンのrobots.txtを使います。評価したいページのパスは、パスの欄に別に入力してください。意図して設定したリダイレクトは、最終的なポリシーのファイルまでたどります。結果と一緒に表示される、確認したURLを見直してください。
結果をより広い調査に使う
このチェックで読むのは、公開されているポリシーです。実際のクローラーのアクセスや、引用の対象になるかどうかは調べません。その範囲を踏まえたうえで、一致したルールを、アクセスを調べるときの具体的な材料のひとつにしてください。問題を調べるときは、ページの応答と、確認済みのリクエストの記録もあわせて見ます。
アクセスに問題がなければ、次はページが顧客の質問に正確に答えているかを見直します。AI最適化のガイド（英語）では、アクセス、役に立つ内容、回答の見直しのつながりを説明しています。原因の確認から継続的な改善に進みたい場合は、SearchSealのAI可視性の追跡（英語）で、定期的な回答の確認とページの改善ができます。