LLMO・GEO の研究論文と民間調査/RAG・根拠提示
研究論文
文脈内の知識対立を、大規模言語モデルはどう解決するか
原題:Large Language Models in Resolving Contextual Knowledge Conflicts
著者は Xinye Yang, Zhenyang Liu, Ruisi Li, Yuanyuan Lei。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。
論文の原文を arXiv で読む(arXiv:2609.03148)論文が報告した結果
与えた文脈の中で根拠が食い違うとき、いまのモデルは対立の解決がまだ不十分で、先に置かれた根拠へ寄る偏りが一貫してある、と報告している。
データセット ContextConflict は5,781件で、対立は6種。学習なしの活性化ステアリングで、推論の正確さと要約のバランスが改善した、とされる。
ChatGPT を調べた論文Gemini を調べた論文Claude を調べた論文公開モデル を調べた論文
調査の条件
- 論文が調べたこと
- 文脈内で根拠が食い違うとき、LLMがどう解決するか(6種の対立と、先に置かれた根拠への偏り)
- 調べた対象の AI
- ChatGPT、Gemini、Claude、公開モデル
- 調べたモデル
- gpt-5/claude-4.5-sonnet/gemini-2.5-pro/gpt-oss-120b/gpt-oss-20b/llama-3.1-70b-instruct/llama-3.1-8b-instruct
- 回答データの取り方
- APIかローカルかを一括で書いた箇所は、確認した範囲では原文に記載なし。open-weightの一部ではモデル自身の対数尤度を取得と記載
- 調査の規模
- データセット ContextConflict は 5,781件。推論と要約。対立は6種(誤情報、推論、時間、粒度、視点、曖昧さ)
- 数字が載っている場所
- 要旨(5,781件、対立6種)。モデル一覧は本文の結果表
結果を読むときの注意
対立は与えた文脈の内部であり、検索エンジンの引用そのものの実験ではない。本文の結果表は7モデル(gpt-5、claude-4.5-sonnet、gemini-2.5-pro、gpt-oss-120b、gpt-oss-20b、llama-3.1-70b-instruct、llama-3.1-8b-instruct)。APIの要旨は9モデル、本文HTMLの要旨は7モデルと書いてあり、一致しない。
上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。
「RAG・根拠提示」を調べたほかの論文
- 2026年11月TUSI:引用で裏づけた、グラフ型のベンチマーク
- 2026年11月CURATOR:決定モデルで、RAGの証拠を細かく選ぶ
- 2026年10月Tessera:ウェブRAGのために、構造を補完した証拠単位
- 2026年9月関連だけでは、十分な根拠ではない:RAGで生成する前に、根拠の不足を見つける