LLMO・GEO の研究論文と民間調査/RAG・根拠提示

研究論文

文脈内の知識対立を、大規模言語モデルはどう解決するか

原題:Large Language Models in Resolving Contextual Knowledge Conflicts

著者は Xinye Yang, Zhenyang Liu, Ruisi Li, Yuanyuan Lei。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。

論文の原文を arXiv で読む(arXiv:2609.03148)

論文が報告した結果

与えた文脈の中で根拠が食い違うとき、いまのモデルは対立の解決がまだ不十分で、先に置かれた根拠へ寄る偏りが一貫してある、と報告している。

データセット ContextConflict は5,781件で、対立は6種。学習なしの活性化ステアリングで、推論の正確さと要約のバランスが改善した、とされる。

ChatGPT を調べた論文Gemini を調べた論文Claude を調べた論文公開モデル を調べた論文

調査の条件

論文が調べたこと
文脈内で根拠が食い違うとき、LLMがどう解決するか(6種の対立と、先に置かれた根拠への偏り)
調べた対象の AI
ChatGPT、Gemini、Claude、公開モデル
調べたモデル
gpt-5/claude-4.5-sonnet/gemini-2.5-pro/gpt-oss-120b/gpt-oss-20b/llama-3.1-70b-instruct/llama-3.1-8b-instruct
回答データの取り方
APIかローカルかを一括で書いた箇所は、確認した範囲では原文に記載なし。open-weightの一部ではモデル自身の対数尤度を取得と記載
調査の規模
データセット ContextConflict は 5,781件。推論と要約。対立は6種(誤情報、推論、時間、粒度、視点、曖昧さ)
数字が載っている場所
要旨(5,781件、対立6種)。モデル一覧は本文の結果表

結果を読むときの注意

対立は与えた文脈の内部であり、検索エンジンの引用そのものの実験ではない。本文の結果表は7モデル(gpt-5、claude-4.5-sonnet、gemini-2.5-pro、gpt-oss-120b、gpt-oss-20b、llama-3.1-70b-instruct、llama-3.1-8b-instruct)。APIの要旨は9モデル、本文HTMLの要旨は7モデルと書いてあり、一致しない。

上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。

「RAG・根拠提示」を調べたほかの論文