LLMO・GEO の研究論文と民間調査/引用・出典選択

研究論文

検索では見つかっても読まれない:検索付きLLMが、使える根拠を使わない理由

原題:Retrieved but Not Read: Understanding Why Search-Augmented LLMs Fail to Use Available Evidence

著者は Owen Walters, Lihu Chen, Francesca Toni。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。

論文の原文を arXiv で読む(arXiv:2610.21731)

論文が報告した結果

GPT-5.6 Lunaのnative searchでは、抜粋だけで答えた割合が53.6%でした。

7つの構成をまとめると、抜粋だけの回答が古い値になる割合は6.4%でした。開いたページを引用したときに古い値になる割合は、1.3%でした。対象の事実は、本文の評価集合では223件と書かれています。

ChatGPT を調べた論文

調査の条件

論文が調べたこと
検索でページを見つけても、本文を開かず抜粋だけで答える割合と、そのときの誤り
調べた対象の AI
ChatGPT
調べたモデル
GPT-5.6 Luna
回答データの取り方
混在(native search と Brave API の凍結検索。一般向け画面での同率は未検証)
調査の規模
225事実。抜粋のみ回答53.6%。抜粋のみのとき古い値6.4%(開いたページ引用時は1.3%)
数字が載っている場所
53.6%は第4.1節およびTable 1(GPT-5.6 Lunaのnative searchで、抜粋のみの回答の割合)。6.4%と1.3%は第4.1節およびTable 2(7構成をまとめたとき、抜粋のみの回答が古い値になる割合6.4%、開いたページを引用したときの1.3%)。Table 2には、抜粋のみの不忠実な引用も6.4%と出る。付録Table 7の53.6%はGLM-5.3-Flashの検索なし正答率で、別の数字。評価した事実数223はTable 8

結果を読むときの注意

主対象はGPT-5.6 Lunaのnative searchです。Brave APIによる凍結検索との比較もあります。一般向けの画面での割合は、本文では検証していません。付録Table 7の53.6%は、GLM-5.3-Flashの検索なし正答率であり、別の数字です。

ガーオンによる X での解説を読む

上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。

「引用・出典選択」を調べたほかの論文