AI可視性ツールの精度は？計測がぶれる理由

AI可視性ツールの精度は、ツールの表示と保存された回答を比べ、決めた質問を記録した条件で繰り返し確認することで確かめられます。 ブランド名の判定、引用元のリンク、引用の根拠、指標の分母をそれぞれ確認しましょう。また、「回答から正しく読み取れているか」と「集めた回答が、知りたい利用者やAIの画面を代表しているか」は、別々に判断します。

どんな「精度」が必要かを決める

まず、何を知りたいのかを書き出します。「集めた回答の中で、自社の名前はどのくらい出ているか」と「この地域の顧客が、自分のアカウントで何を見ているか」は、別の質問です。

ツールの仕事は3つに分けて考えます。

意図した回答を集める
回答から事実を読み取る
集めた回答をまとめる

名前を完璧に数えられても、集めた質問が自社の市場とあまり関係ないこともあります。逆に、役に立つ回答を集めていても、自社の名前の判定を間違えることもあります。それぞれを別に確認しましょう。

ツールの会社には、1つの指標について、質問から保存された回答、数えた結果までの流れを見せてもらいます。手で計算できるくらいの小さな例にしましょう。グラフは、分子、分母、集めた条件を自分で説明できてはじめて役に立ちます。

APIで集めた回答とブラウザで集めた回答

回答をどこから集めたかを確認します。AIの会社のAPIか、一般向けのブラウザの画面か、別の収集サービスかです。製品、表示される場合はモデル、検索の設定、集めた日時、プロンプトの前後に足した指示も確認しましょう。よく知られたAIの名前が書かれているだけでは、何を集めたのかは分かりません。

OpenAIのAPIの検索機能には、地域やドメインの絞り込みなどの設定があります。一方、一般向けのChatGPTの検索では、メモリーや位置情報によるパーソナライズがあると説明されています。APIの回答を、ブラウザでの利用をそのまま再現したものとみなす前に、集め方を確認する必要があります。

ブラウザで集める場合も、根拠が必要です。回答の最後まで、展開した引用元の一覧、選んだモードが記録されているか、スクリーンショットがあるかを確認しましょう。どちらの方法が正確と決めつけず、使い道に合っているかで判断します。

普通の変動と、集め方の誤りを分ける

AIの回答は、毎回同じになるとは限りません。Anthropicは、まったく同じ入力でも、APIの出力が変わることがあると説明しています。回答が変わったからといって、すぐに集め方の誤りとは言えません。

たとえば、10件の回答のうち、月曜日は3件、火曜日は5件で自社の名前が出たとします。これは「10件中3件から10件中5件に変わった」という観察です。回答の変動、モデルの変更、参照された情報の違い、サイトの変更のどれがどのくらい影響したかは、これだけでは分かりません。

グラフの1つの点が何回の確認から作られているか、毎回新しく回答を集めているか、以前の結果を使い回していないか、モデルの変更はどう示されるかを確認しましょう。グラフに幅（不確かさの範囲）が表示されている場合は、その計算の方法と前提を説明してもらいます。

地域とパーソナライズを確認する

評価のときは、「横浜でおすすめの税理士は？」のような、地域によって答えが変わる質問を使ってみましょう。質問の中の地域、回答を集めた場所、APIで指定した地域を分けて記録し、ツールが実際にどれを指定できるのかを確認します。国の選択の項目がある場合は、その意味を説明してもらいましょう。

表したい条件（言語、市場、必要であれば端末、ログインの状態、新しい会話か続きの会話か）を書き出し、ツールが対応していない条件は「不明」として示してもらいます。パーソナライズのない回答で試した場合は、その範囲を結果と一緒に報告し、すべての顧客が見ている回答として説明しないようにしましょう。

ブランド名の判定の誤りを確認する

正式な社名、正しい略称、製品名、表記ゆれ、似た名前の別の会社を含む、小さな確認用の回答の一式を用意します。自社が出てこない回答も含めましょう。ツールの判定を見る前に、人が回答を確認して印を付けます。

誤って数えた: ツールは自社と判定したが、回答は別のものを指していた
見落とした: 実際には自社が出ているのに、ツールが数えなかった

この2つは別々に数えます。架空の例として、ツールが自社と判定した20件のうち18件が正しければ、適合率は90%です。人が確認して実際に24件の言及があった場合、再現率は24件中18件で75%です。

順位も同じように確認します。最初に名前が出た順なのか、番号付きのおすすめの順なのか、何を意味するのかを確認しましょう。同じ名前が何度も出る回答、最初の要約、比較表も試し、会社の数を数えているのか、名前が出た回数を数えているのかを確かめます。

言及、返されたリンク、引用を分ける

言及: 回答の中で会社の名前が出ること
返されたリンク: 集めた結果にURLが含まれていること
明示的な引用: AIの会社の引用の情報によって、出典が回答の内容に結び付けられていること

ダッシュボードで近くに表示されていても、確認すべき項目はそれぞれ違います。OpenAIのAPIの説明でも、文章の中の引用と、参照した情報源の一覧は区別されています。一覧にあるURLを、そのまま文章の中の引用と説明するのは誤りです。ツールの会社に、どの項目をもとにその表示をしているのか、引用の状態が分からない場合は「不明」としているかを確認しましょう。

返されたリンクをいくつか自分で開き、自社のサイト、自社に触れている外部のページ、関係のないページのどれかを確認します。同じページへのリンクが複数ある場合、リンクの数、ページの数、リンクを1つ以上含む回答の数のどれを数えているのかも確認しましょう。

分母と、失敗した確認を計算し直す

ツールの会社に、計算を1つ見せてもらいます。100回の確認を予定し、80回で使える回答が得られ、そのうち20回で自社の名前が出たとします。

得られた回答の中で名前が出た割合：20/80＝25%
回答が得られた割合：80/100＝80%
予定した確認の中で名前が出た割合：20/100＝20%

最後の数字は、別の質問への答えです。タイムアウト、レート制限、回答の拒否、空の回答、読み取りの失敗が分母に入っているかを確認しましょう。確認に失敗したことは、「回答に自社が出なかった」証拠にはなりません。一方で、失敗を示さずに除いていると、集めた回答が足りないことが見えなくなります。結果の件数と、確認の状態の両方を見せてもらいましょう。

AIやテーマをまとめた数字にも注意します。あるAIが90件、別のAIが10件の回答を集めていれば、まとめた割合はほとんど前者を表します。回答、プロンプト、テーマ、AIのどれを同じ重みで扱っているのかを確認し、もう一度試した質問も含めて、1つの例を計算し直してみましょう。

質問の偏りを確認する

可視性のスコアを判断する前に、実際の質問を確認します。自社の名前を含む質問が多ければ、名前を伝えたあとの認知を測っていることになります。分野の広い質問が多ければ、別のことを測っています。探す、比べる、条件、名前を含む、の種類ごとに件数を分けて確認しましょう。

最初の質問は、顧客との会話と検索の需要から作り、試す期間の間は文章を変えないようにします。新しい質問は別のグループに追加します。報告では、市場ごと、検討の段階ごとの質問の数を示し、どこに重点があるかを分かるようにしましょう。

ツールの説明を受けるときの質問

この回答は、どの画面、モデル、検索のモードで集めましたか？
保存された回答の全文と、集めた日時を見られますか？
地域とパーソナライズのどの設定を指定していますか？
この指標は、何回の新しい確認から作られていますか？
あいまいな名前や製品の別名は、どう判定していますか？
返されたURLと明示的な引用は、何で区別していますか？
分母には何が入り、失敗はどこに表示されますか？
もう一度試した確認、モデルの変更、新しい質問は、比較にどう影響しますか？

それぞれ具体的な例を見せてもらいましょう。ツールの会社が用意した例だけでなく、自社のブランドの難しい例を1つ選んで確認するのがおすすめです。答えが得られなかった質問は、確認の残りとして記録します。

自分で小さな精度の確認をする

主な検討の場面から10個の質問を選び、記録した条件で、数日に分けて3回ずつ集めます。30件の回答は、手で確認できる量の目安で、統計的に十分な数という意味ではありません。すべての結果と失敗を保存し、ツールと比べる前に、言及、順位、競合、引用元を人が確認します。

まず、保存された回答の文章と、ツールの読み取りを比べます。次に、同じ文章と条件で、ブラウザでいくつか確認し、集め方の違いを調べます。この2つ目の確認は、別の回答の一式どうしの比較です。違いとその理由、ツールの会社が修正した場合に過去の結果も直るのか、今後の確認だけが変わるのかを記録しましょう。

正しく読み取れていても、それは決めた範囲での話で、すべての利用者に当てはまるわけではありません。少ない数や偏った回答では、変化をはっきり判断できないこともあります。また、変更の前後の違いだけでは、変更が原因だとは言えません。数字の横に不確かさが見える形で、必要な判断に使える根拠と失敗の報告があるツールを選びましょう。ツールの比較はLLMOツールおすすめ比較で紹介しています。

SearchSeal は、AIによる概要、ChatGPT、Gemini、Perplexityで、登録した質問の回答を集め、保存した回答とともに、ブランドの言及、順位、競合、返された引用元のリンクを記録します。明示的な引用かどうかは「不明」として扱っています。引用元の追跡で、この記事の確認に使える元の回答とURLを見られます。

よくある質問

2つのツールの可視性のスコアをそのまま比べてもよいですか？

質問の一式、集め方、日付、判定のルール、分母をそろえてから比べましょう。まず、それぞれのツールの保存された回答から、小さな例を計算し直してみることをおすすめします。

精度の高いLLMOツールはどう選べばよいですか？

集め方、元の回答、判定のルール、引用元の定義、失敗の件数を確認できるかを見ます。自社の決まった質問で試し、自社の仕事にとって大切な誤りや不足があるかで判断しましょう。

名前が出たと判定された回答も確認すべきですか？

確認すべきです。判定された回答が、別の会社や一般的な言葉を指していることがあります。数えた回答と見落とした回答の両方を確認し、2種類の誤りは別々に数えましょう。