LLMO・GEO の研究論文と民間調査/引用・出典選択
研究論文
引用は効いているか:Google の AI Overviews の医療情報について、質・根拠・医師ルーブリックの正確さ
原題:Does the Citation Matter? Quality, Grounding, and Physician-Rubric Accuracy of Google's AI Overviews for Medical Information
著者は Sam Agnoli, Brigid Reilly, Lily Barna, Emőke-Ágnes Horvát。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。
論文の原文を arXiv で読む(arXiv:2610.39339)論文が報告した結果
Google の AI Overviews を、3,611件の健康ベンチマーク質問で、従来検索の上位5件と比べた。
概要は質問の96.4%に出たが、上位5件のうち概要が引用したのは44.4%にとどまり、学術・公的機関より商業的な健康メディアを厚く取った、と報告している。引用文が当該ページに支えられるのは、分類器の誤りを補正した推定で56.7%、引用なしの事実主張は全発言のさらに20.8%。医師のルーブリックでは獲得点が38.2%(正確さ54.2%、完結さ21.6%)だった。
調査の条件
- 論文が調べたこと
- 出典の有無が、医療系生成検索の質・グラウンディング・医師ルーブリック精度に効くか
- 調べた対象の AI
- Google AI Overviews
- 調べたモデル
- Google の AI Overviews(本文は Gemini によるRAGと説明)
- 回答データの取り方
- Google の AI Overviews と、従来検索の上位結果を、健康質問で比較(要旨・本文)。画面上の概要を対象とする評価
- 調査の規模
- 健康質問3,611件。各質問の従来結果上位5件と比較(要旨)
- 数字が載っている場所
- 要旨(3,611問、96.4%、44.4%、56.7%、20.8%、38.2%、正確さ54.2%、完結さ21.6%)。限界は本文
結果を読むときの注意
探索的な最初の研究、と本文。質問は HealthBench で、通常の Google クエリより長い。そのため引用なしの概要が増えた可能性があり、著者もその点を認めている。対象は Google の AI Overviews(Gemini によるRAG、と本文)。
上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。
「引用・出典選択」を調べたほかの論文
- 2026年11月関連性から効用へ:Yuanbao検索におけるルーブリック整合
- 2026年11月引用されても使われていない:RAGにおけるパラメータ記憶からの由来
- 2026年11月行動から満足を読む:AI概要に対する利用者の満足を推論する
- 2026年11月WISE:ページ全体のマルチモーダル検索体験を、どこが悪いかまで帰属する