LLMO・GEO の研究論文と民間調査/引用・出典選択
研究論文
引用されても使われていない:RAGにおけるパラメータ記憶からの由来
原題:Cited but Unused: Parametric Provenance in Retrieval-Augmented Generation
著者は Tanzeel Abbas, Tehseen Zia, David Windridge。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。
論文の原文を arXiv で読む(arXiv:2611.17161)論文が報告した結果
RAGの出典は、実際にその文書から来たのかを見誤ることがあり、通常の検証では見分けられない、と報告している。
渡した文書の事実を偽の値に置き換えて聞き直すと、出典付き主張の1.2〜15.7%が、渡した文脈ではなくモデルの記憶から来ていた。最も保守的な置き換え距離では、試した2モデルで4.6%と8.5%で、同じ系統の中ではサイズが大きいほど上がった、とされる。
調査の条件
- 論文が調べたこと
- 出典つきの主張のうち、渡した文書ではなくモデルの記憶から来ている割合(Cited but Unused)
- 調べた対象の AI
- 公開モデル
- 調べたモデル
- Qwen2.5-Instruct(0.5B/1.5B/3B/7B/14B)/Llama-3.1-8B-Instruct
- 回答データの取り方
- 研究用モデルへのRAG実験(検索で得た文を渡し、事実を置き換えて再質問。本文)
- 調査の規模
- 1系統5サイズと、比較用の別系統1つ。出典付き主張のうち記憶由来の割合を報告(要旨)
- 数字が載っている場所
- 要旨(1.2〜15.7%、保守的条件で4.6%と8.5%)。モデルは本文
結果を読むときの注意
研究用のオープンウェイトモデルであり、実サービスの検索付き回答そのものではない。一方の系統は Qwen2.5-Instruct の0.5B、1.5B、3B、7B、14B。比較用に Llama-3.1-8B-Instruct も使う(本文)。
上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。