LLMO・GEO の研究論文と民間調査/RAG・根拠提示
研究論文
関連だけでは、十分な根拠ではない:RAGで生成する前に、根拠の不足を見つける
原題:Relevance Is Not Sufficient Evidence: Detecting Evidence Gaps Before Generation in RAG
著者は Suting Chen, Peichun Hua, Yunming Xiao。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。
論文の原文を arXiv で読む(arXiv:2609.37469)論文が報告した結果
RAGで取ってきた段落は、名前は合っていても答えに必要な事実がないことがある、として、生成する前に、質問と根拠だけで足りるかを判断できるかを調べている。
控えよと指示しても、生成モデル12は根拠不足の質問の40.0〜99.3%に答えてしまった。RINSE は、質問の各部分が覆われているか、どれかの段落が答えを出すか、小さな言語モデルが段落をまとめて十分だと見るか、の3信号を組み合わせる。6データセットで、十分な根拠を不十分なものより上に置く得点は0.837(偶然は0.5)で、先行10手法の最良(0.746)と、API経由の最先端モデル(0.784)を上回った、と報告している。
調査の条件
- 論文が調べたこと
- 関連性だけでは根拠として足りないことを、生成前に検出する
- 調べた対象の AI
- ChatGPT、公開モデル
- 調べたモデル
- Qwen3(0.6B/1.7B/4B/8B/14B/32B)/SmolLM2-135M/Llama-3.2-1B/Mistral-7B-v0.2/Falcon3-7B/Zephyr-7B-beta/Phi-4/us.openai.gpt-6-luna
- 回答データの取り方
- 根拠の十分さを、答えを出す前に判定するオフライン評価(6データセット。要旨)
- 調査の規模
- データセット6、生成モデル12、先行手法10(要旨)
- 数字が載っている場所
- 要旨(40.0〜99.3%、0.837、先行0.746、API 0.784、36.5ms)。12モデルとAPIの識別子は本文
結果を読むときの注意
生成モデル12は Qwen3(0.6B〜32B)、SmolLM2-135M、Llama-3.2-1B、Mistral-7B-v0.2、Falcon3-7B、Zephyr-7B-beta、Phi-4 など(本文)。最先端モデルのAPI比較は Amazon Bedrock の us.openai.gpt-6-luna(本文)。根拠不足のテストの作り方自体に落とし穴がある、と著者は注意している。1GPUで1問あたり36.5ms、とされる。
上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。
「RAG・根拠提示」を調べたほかの論文
- 2026年11月TUSI:引用で裏づけた、グラフ型のベンチマーク
- 2026年11月CURATOR:決定モデルで、RAGの証拠を細かく選ぶ
- 2026年10月Tessera:ウェブRAGのために、構造を補完した証拠単位
- 2026年9月RAG引用における後づけの根拠付け:再現実験とRLVR比較