LLMO・GEO の研究論文と民間調査/APIと画面の差
研究論文
いまのAIベンチマークが測っていないもの:経路、検索、引用、そして安全評価への含意
原題:What Current AI Benchmarks Leave Unmeasured: Modality, Search, Citations, and Implications (for Safety Evaluations)
著者は Ro Encarnación, Tina Behzad, Emma Lurie, Danaé Metaxa。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。
論文の原文を arXiv で読む(arXiv:2608.06202)論文が報告した結果
安全や信頼性の主張に使われるベンチマークの多くは、APIという一つの経路、プロンプトあたり1回、正確さを主指標にし、ウェブ検索のような条件を十分見ていない、として、広く使われるモデル1系統でその前提を調べた。
ChatGPT の画面と OpenAI の API を、ウェブ検索のオン・オフで比べ、BBQ と SafetyBench から層化した401プロンプトを、各3回で計4,812回答を集めた。検索オフでは画面の方がAPIより正確さが低く、検索をオンにすると正確さが最大8ポイント下がり、一方のベンチでは経路の優劣が逆転した。同じプロンプトの反復では、最大21%のプロンプトで回答が一致しなかった、と報告している。
調査の条件
- 論文が調べたこと
- ChatGPT の API とログアウト画面で、引用されるURLがどれだけ一致するか
- 調べた対象の AI
- ChatGPT
- 調べたモデル
- 原文に記載なし
- 回答データの取り方
- 混在(ChatGPT の画面と OpenAI API。ウェブ検索の有無を交差。要旨)
- 調査の規模
- プロンプト401(BBQ と SafetyBench)、各3回、回答4,812(要旨)
- 数字が載っている場所
- 要旨(401プロンプト、4,812回答、3回、正確さ最大-8ポイント、不一致最大21%)
結果を読むときの注意
v2(最終改訂 2026-10-09)。1系統(ChatGPT / OpenAI)の比較であり、全モデルへの一般化ではない。正確さ以外に、一貫性、文面の類似、引用の根拠、回答の回避も見ている。版の詳細な識別子は要旨にはない。
上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。