LLMO・GEO の研究論文と民間調査/引用・出典選択
研究論文
ボトルネックは読むことではなく、取ってくること:長い文脈の質問応答で、根拠付き生成を診断する
原題:The Bottleneck Is Retrieval, Not Reading: Diagnosing Evidence-Based Generation with RAG for Long Context Question Answering
著者は Debopriyo Banerjee, Owais Aijaz, Ahmer Tabassum, Zhuohan Xie, Preslav Nakov, Veselin Stoyanov。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。
論文の原文を arXiv で読む(arXiv:2610.26951)論文が報告した結果
類似度とチャンクに依るRAGには、質問が必要とする箇所を見越せず、文書をまたぐ参照を解くための文書全体の情報が落ちる、という構造上の死角がある、として、答えと行単位の出典を同時に出す根拠付き生成(EBG)と、正しさと根拠を同時に採点する Ans+Evid を提案している。
MultiHop-RAG と QASPER-MP、合成の2ホップ、10K〜1M文字の NoLiMa 拡張で、専用の最先端モデル10とオープンウェイト3を試した。類似検索は「どれか1つ」は拾いやすいが「必要なすべて」は拾いきれず、チャンク化は身元に関わる質問に必要な文書のメタ情報を壊す、と報告している。
ChatGPT を調べた論文Gemini を調べた論文Claude を調べた論文公開モデル を調べた論文
調査の条件
- 論文が調べたこと
- 根拠に基づく生成のボトルネックが、読む側ではなく検索(retrieval)側にあることの診断
- 調べた対象の AI
- ChatGPT、Gemini、Claude、公開モデル
- 調べたモデル
- GPT-4o/GPT-4.1/o3-mini/GPT-5/GPT-5.5/Sonnet-4/Sonnet-4.5/Opus-4.6/Gemini-2.5-Fl/Gemini-3-Fl/GPT-OSS-120B/GLM-5.2/Nemotron-3.5-Lightning-30B-A3B
- 測定の道具として使った AI
- Qwen3-Reranker-8B(RAG比較の部品)
- 回答データの取り方
- 長い文脈への直接投入とRAGを比較するオフライン評価(本文。埋め込み検索のほか BM25 と Qwen3-Reranker-8B の記載あり)
- 調査の規模
- ベンチマークは MultiHop-RAG、QASPER-MP、合成2ホップ、10K〜1M文字の NoLiMa 拡張。モデルは13(要旨・本文)
- 数字が載っている場所
- 要旨(専用10とオープン3、コーパスと10K〜1M文字)。モデル名は本文
結果を読むときの注意
専用10は GPT-4o、GPT-4.1、o3-mini、GPT-5、GPT-5.5、Sonnet-4、Sonnet-4.5、Opus-4.6、Gemini-2.5-Fl、Gemini-3-Fl。オープン3は Fireworks.ai 経由の GPT-OSS-120B、GLM-5.2、Nemotron-3.5-Lightning-30B-A3B(本文)。長い文脈に直接渡す条件とRAGを比較した研究用評価であり、市販の検索付きチャット画面そのものではない。
上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。
「引用・出典選択」を調べたほかの論文
- 2026年11月関連性から効用へ:Yuanbao検索におけるルーブリック整合
- 2026年11月引用されても使われていない:RAGにおけるパラメータ記憶からの由来
- 2026年11月行動から満足を読む:AI概要に対する利用者の満足を推論する
- 2026年11月WISE:ページ全体のマルチモーダル検索体験を、どこが悪いかまで帰属する