LLMO・GEO の研究論文と民間調査/引用・出典選択

研究論文

ボトルネックは読むことではなく、取ってくること:長い文脈の質問応答で、根拠付き生成を診断する

原題:The Bottleneck Is Retrieval, Not Reading: Diagnosing Evidence-Based Generation with RAG for Long Context Question Answering

著者は Debopriyo Banerjee, Owais Aijaz, Ahmer Tabassum, Zhuohan Xie, Preslav Nakov, Veselin Stoyanov。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。

論文の原文を arXiv で読む(arXiv:2610.26951)

論文が報告した結果

類似度とチャンクに依るRAGには、質問が必要とする箇所を見越せず、文書をまたぐ参照を解くための文書全体の情報が落ちる、という構造上の死角がある、として、答えと行単位の出典を同時に出す根拠付き生成(EBG)と、正しさと根拠を同時に採点する Ans+Evid を提案している。

MultiHop-RAG と QASPER-MP、合成の2ホップ、10K〜1M文字の NoLiMa 拡張で、専用の最先端モデル10とオープンウェイト3を試した。類似検索は「どれか1つ」は拾いやすいが「必要なすべて」は拾いきれず、チャンク化は身元に関わる質問に必要な文書のメタ情報を壊す、と報告している。

ChatGPT を調べた論文Gemini を調べた論文Claude を調べた論文公開モデル を調べた論文

調査の条件

論文が調べたこと
根拠に基づく生成のボトルネックが、読む側ではなく検索(retrieval)側にあることの診断
調べた対象の AI
ChatGPT、Gemini、Claude、公開モデル
調べたモデル
GPT-4o/GPT-4.1/o3-mini/GPT-5/GPT-5.5/Sonnet-4/Sonnet-4.5/Opus-4.6/Gemini-2.5-Fl/Gemini-3-Fl/GPT-OSS-120B/GLM-5.2/Nemotron-3.5-Lightning-30B-A3B
測定の道具として使った AI
Qwen3-Reranker-8B(RAG比較の部品)
回答データの取り方
長い文脈への直接投入とRAGを比較するオフライン評価(本文。埋め込み検索のほか BM25 と Qwen3-Reranker-8B の記載あり)
調査の規模
ベンチマークは MultiHop-RAG、QASPER-MP、合成2ホップ、10K〜1M文字の NoLiMa 拡張。モデルは13(要旨・本文)
数字が載っている場所
要旨(専用10とオープン3、コーパスと10K〜1M文字)。モデル名は本文

結果を読むときの注意

専用10は GPT-4o、GPT-4.1、o3-mini、GPT-5、GPT-5.5、Sonnet-4、Sonnet-4.5、Opus-4.6、Gemini-2.5-Fl、Gemini-3-Fl。オープン3は Fireworks.ai 経由の GPT-OSS-120B、GLM-5.2、Nemotron-3.5-Lightning-30B-A3B(本文)。長い文脈に直接渡す条件とRAGを比較した研究用評価であり、市販の検索付きチャット画面そのものではない。

上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。

「引用・出典選択」を調べたほかの論文