LLMO・GEO の研究論文と民間調査/引用・出典選択

研究論文

引用は効いているか:Google の AI Overviews の医療情報について、質・根拠・医師ルーブリックの正確さ

原題:Does the Citation Matter? Quality, Grounding, and Physician-Rubric Accuracy of Google's AI Overviews for Medical Information

著者は Sam Agnoli, Brigid Reilly, Lily Barna, Emőke-Ágnes Horvát。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。

論文の原文を arXiv で読む(arXiv:2610.39339)

論文が報告した結果

Google の AI Overviews を、3,611件の健康ベンチマーク質問で、従来検索の上位5件と比べた。

概要は質問の96.4%に出たが、上位5件のうち概要が引用したのは44.4%にとどまり、学術・公的機関より商業的な健康メディアを厚く取った、と報告している。引用文が当該ページに支えられるのは、分類器の誤りを補正した推定で56.7%、引用なしの事実主張は全発言のさらに20.8%。医師のルーブリックでは獲得点が38.2%(正確さ54.2%、完結さ21.6%)だった。

Google AI Overviews を調べた論文

調査の条件

論文が調べたこと
出典の有無が、医療系生成検索の質・グラウンディング・医師ルーブリック精度に効くか
調べた対象の AI
Google AI Overviews
調べたモデル
Google の AI Overviews(本文は Gemini によるRAGと説明)
回答データの取り方
Google の AI Overviews と、従来検索の上位結果を、健康質問で比較(要旨・本文)。画面上の概要を対象とする評価
調査の規模
健康質問3,611件。各質問の従来結果上位5件と比較(要旨)
数字が載っている場所
要旨(3,611問、96.4%、44.4%、56.7%、20.8%、38.2%、正確さ54.2%、完結さ21.6%)。限界は本文

結果を読むときの注意

探索的な最初の研究、と本文。質問は HealthBench で、通常の Google クエリより長い。そのため引用なしの概要が増えた可能性があり、著者もその点を認めている。対象は Google の AI Overviews(Gemini によるRAG、と本文)。

上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。

「引用・出典選択」を調べたほかの論文