LLMO・GEO の研究論文と民間調査/引用・出典選択

研究論文

引用されても使われていない:RAGにおけるパラメータ記憶からの由来

原題:Cited but Unused: Parametric Provenance in Retrieval-Augmented Generation

著者は Tanzeel Abbas, Tehseen Zia, David Windridge。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。

論文の原文を arXiv で読む(arXiv:2611.17161)

論文が報告した結果

RAGの出典は、実際にその文書から来たのかを見誤ることがあり、通常の検証では見分けられない、と報告している。

渡した文書の事実を偽の値に置き換えて聞き直すと、出典付き主張の1.2〜15.7%が、渡した文脈ではなくモデルの記憶から来ていた。最も保守的な置き換え距離では、試した2モデルで4.6%と8.5%で、同じ系統の中ではサイズが大きいほど上がった、とされる。

公開モデル を調べた論文

調査の条件

論文が調べたこと
出典つきの主張のうち、渡した文書ではなくモデルの記憶から来ている割合(Cited but Unused)
調べた対象の AI
公開モデル
調べたモデル
Qwen2.5-Instruct(0.5B/1.5B/3B/7B/14B)/Llama-3.1-8B-Instruct
回答データの取り方
研究用モデルへのRAG実験(検索で得た文を渡し、事実を置き換えて再質問。本文)
調査の規模
1系統5サイズと、比較用の別系統1つ。出典付き主張のうち記憶由来の割合を報告(要旨)
数字が載っている場所
要旨(1.2〜15.7%、保守的条件で4.6%と8.5%)。モデルは本文

結果を読むときの注意

研究用のオープンウェイトモデルであり、実サービスの検索付き回答そのものではない。一方の系統は Qwen2.5-Instruct の0.5B、1.5B、3B、7B、14B。比較用に Llama-3.1-8B-Instruct も使う(本文)。

上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。

「引用・出典選択」を調べたほかの論文