中心的な発見:引用の存在と証拠の質は異なる
引用は、回答とページの関係を記録します。その関係は強い場合も、一部分だけの場合も、間違っている場合もあります。あるページは企業がサービスを提供すると示せても、最善の選択肢であること、地域で利用できること、特定の人に適することまでは示せないかもしれません。追加された結論は回答側のもので、必ずしも情報源のものではありません。
この違いは、引用数を信頼スコアの代わりにできない理由を説明します。5 つのリンクは、別々の 5 つの事実を支える場合も、1 つの元発表を繰り返す場合も、隣の文を裏付けないページを含む場合もあります。URL を数えるダッシュボードでは似て見えますが、企業に連絡するか決める読者にとっては異なります。以下の研究は、その隔たりのいくつかを測定可能にしています。
発見 1:流暢な回答には、過去の検証で裏付けのない文が含まれていた
Nelson F. Liu、Tianyi Zhang、Percy Liang による 2023 年のスタンフォード研究は、当時利用できた 4 つの生成型検索エンジンを評価しました。調査全体で、生成文の 51.5% が引用によって完全に裏付けられ、引用の 74.5% が関連する文を支持していました。研究者は、裏付けの網羅性と、各文に付いたリンクの正しさを分けました。
これらは Bing Chat、NeevaAI、Perplexity、YouChat の過去の結果であり、現行版のスコアではありません。今も役立つのは、2 つの失敗を区別した点です。回答が主張に裏付けを示さないことと、主張を正当化しない引用を付けることです。リンクを増やすと前者は改善しても、後者は残るかもしれません。この研究は、特定企業の製品について、現在どちらの失敗がどれほど起きるかを立証しません。
発見 1:流暢な回答には、過去の検証で裏付けのない文が含まれていた
引用によって完全に裏付けられた文
対応する文を裏付けている引用
当時の 4 エンジンを対象とした 2023 年研究。文の裏付けと引用精度は別の指標であり、現行製品の基準ではありません。
Liu, Zhang and Liang: Evaluating Verifiability in Generative Search Engines発見 2:正確な抜粋を渡しても、原典の取得に失敗することがある
Tow Center の 2025 年 3 月の研究は、検索機能を持つ 8 つの AI ツールを、200 本のニュース記事の抜粋で試しました。20 の発行元から各 10 本を使い、全ツールで合計 1,600 回の質問です。研究者は記事、発行元、URL を求めました。回答の 60% 超に誤りが含まれました。抜粋は、従来の Google 検索で原典が上位 3 件に入るよう選ばれていました。
これは難しいものの限定された検索課題であり、あらゆる事実質問のテストではありません。研究では、転載やコピーへの誤帰属、架空のリンクや切れたリンクも観測されました。事業上の意味は、原作を作っても引用や訪問を得られるとは限らないことです。報道で紹介された企業も、それを作成した発行元も、別ページを通じて表現される可能性があります。これは特定時点の失敗の証拠であり、現在のすべてのシステムが同じように振る舞う証明ではありません。
発見 3:見つけられる公開情報は、検証済みの知識とは限らない
Qi Liu らによる 2026 年 10 月のプレプリントは、10 の AI 検索プラットフォームと 6,356 の情報源ドメインにわたる 17,211 件の引用を分析しました。統制した公開実験では、8 つのプラットフォームが 7 日以内に架空の概念を引用しました。実験は単に回答の変化を見るだけでなく、固有の目印を研究者の公開物まで追跡しました。
これは、公開コンテンツから生成回答に至る経路の証拠であり、虚偽の主張を作る指示ではありません。著者らは、設計された質問集、帰属を追えるよう選んだテーマ、2026 年 3〜4 月の調査活動による測定という限界を挙げています。具体的な率は変わり得ます。重要なのは、検索対象のウェブに載れば引用され得ても、元の主張が真実になるわけではないことです。この実験で引用成功だけを評価すると、誤った成果を高く評価してしまいます。
発見 4:情報源一覧自体が観測ごとに変わることがある
Muck Rack と Generative Pulse の 2026 年 10 月の発表は、広範な監視データと、4 システムを対象とした 9 月の別の質問集を組み合わせています。後者にはブランド名のない消費者プロンプトが 1,020 件ありました。同日繰り返しテストでは、引用ドメインの重複率を ChatGPT 41%、Gemini 45%、Perplexity 94% と報告しています。これは公表者の発見であり、監視ベンダーの独立監査ではありません。
ドメインの重複は、情報源選択の再現性を測るもので、どちらの回答の正確さも測りません。変わる一覧が同じ正しい結論を支えることも、安定した一覧が誤りを繰り返し支えることもあります。データセットの各部分を、すべての検索を代表する単一サンプルとしてまとめることもできません。発表が支持するのは、保存した 1 回の回答では、同じシステムが次に何を引用するかを十分説明できない可能性がある、という限定的な発見です。
これらの研究が調べるのは別々の問題であり、共通の誤り率ではない
結果を平均して、AI 全体の信頼性の割合にはできません。文の裏付け、正しい記事の取得、架空概念の取り込み、ドメインの再現性では、分母が異なります。年、システム、質問集も違います。同じ指標として扱うと、企業が明確さを必要とする場面で、かえって研究の有用性が下がります。
総合すると、事業に関わる回答について 4 つの別々の問いが見えます。重要な文は裏付けられているか。正しい情報源に功績が帰属しているか。その情報源の権威には根拠があるか。観測は再現できるか。企業は 1 つの面に問題があっても、他の面にはないかもしれません。それぞれが評判、有用なアクセス、その後の営業対話の質に異なる影響を与えます。
| 証拠の問題 | 起こり得る誤り | 事業上の影響 |
|---|---|---|
| リンクが近くの主張を正当化しない | 買い手が根拠のない製品の約束を知る | |
| 原作の功績が他者に帰属する | 原作者が確認可能な認知やアクセスを失う | |
| 公開物が確立した事実と誤認される | 弱い情報に権威があるように見える | |
| 同じ質問で異なる情報源が出る | 1 枚のスクリーンショットが競争上の安定性を誇張する |
5 つの繰り返しリンクは、5 つの独立した確認にはならない
架空の製品発表を 4 つの媒体が繰り返し掲載し、それを AI 回答が引用したと考えます。回答には複数の URL がありますが、性能の主張の出発点は 1 社のままです。他のページが報道や独立テストを追加したかもしれませんし、発表を繰り返しただけかもしれません。リンク数だけでは区別できません。
これは、時間短縮、獲得費用低減、実施の高速化などの主張で重要です。同じ数字は、誰がどの条件で測ったかという説明よりも遠くへ広まります。私の分析では、繰り返しは証拠の強さを変えずに可視性を増やし得ます。そのため大量の言及と、商業的利害を持つ単一情報源は共存します。これは帰属を保つ理由であり、企業の事例をすべて否定する理由ではありません。
最も大きな影響を持つ誤りは、適用範囲の小さな変化かもしれない
架空のソフトウェア例で問題を説明できます。情報源はある連携機能が 1 つの法人向けプランで使えると述べていますが、回答は製品にその機能が含まれると述べます。製品名も連携名も正しいのに、条件の省略によって、不適切な検討、期待を裏切られた見込み客、営業時間の浪費が生じ得ます。単純な名称一致スコアではその差を捉えられません。
地域に根ざしたサービスでは、同等の誤りはグループの能力をすべての支店に当てはめることです。正しい企業ページは、個々の所在地についての証拠ではありません。これらは例示であり、測定された頻度ではありません。事業上有用な正確性評価では、正しいブランドが出たかだけでなく、プラン、場所、日付、資格、価格条件という主張の適用範囲を考える必要がある理由を説明しています。
発見 5:プラットフォームの引用報告は、事業の証明とは明確に区別されている
Bing の 2026 年 6 月の AI Performance 更新は、引用シェアを、情報取得クエリにおけるサイトの引用割合と定義しています。観測的な指標であり、競合ドメインを公開せず、アクセスシェアではなく、品質スコアを付けないと明記しています。期間比較は変化を示せますが、文書は複数の原因があり得るとしています。
その境界は有用です。プラットフォームは情報源の使用を報告しており、各ページの主張や回答の事業価値を認証していません。私の結論は、可視性報告と主張の確認が、補完的な問いに答えるということです。一方は証拠がどこで使われるかを示し、他方はその説明が想定する買い手に有用で正確かを示します。どちらも最終的な事業成果を自動的に与えません。
企業にとって、これらの発見は何を意味するか
機会は、引用を増やすことだけではありません。システムが企業を説明するときに正しい事実を利用できるようにし、表示、解釈、顧客の次の行動の間の隔たりを理解することです。複雑な製品やサービスでは特に重要です。条件が 1 つ欠けるだけで、一見肯定的な回答が事業上役立たなくなることがあります。
私は Searchable に勤務しています。戦略セッションでは、保存した回答と情報源を、実際の買い手の判断につなげます。何が正しく表現され、何が不確実で、どの発見が作業を変えるのかです。研究はその詳しい読み取りを支持しますが、引用グラフの上昇を正確さや収益の証明として扱うことは支持しません。
調査範囲
2026 年 11 月 3 日確認。本記事は、公表研究、ベンダーの研究発表、公式指標定義を統合し、実験の再実施はしていません。過去のモデル結果には時期を付し、10 月の論文はプレプリントとして扱っています。架空例は事業上の影響の説明であり、顧客の観測ではありません。比較できないテストから統合正確性スコアは計算していません。
出典と注記
出典確認日: 2026年11月3日. 計画と例は助言であり、測定された顧客成果ではありません。私は Searchable で働いており、製品リンクはその関係を反映しています。
1
Searchable