LLMO・GEO の研究論文と民間調査/APIと画面の差

研究論文

APIのベンチマーク得点は、チャット画面へそのまま移らない

原題:API Benchmark Scores Do Not Reliably Transfer to Chatbot Interfaces

著者は Jennifer Wang, Joachim Baumann, Daniel E. Ho, Sanmi Koyejo。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。

論文の原文を arXiv で読む(arXiv:2609.08861)

論文が報告した結果

モデル公開で重視されるベンチマーク得点は、APIで測った性能が、実際の画面の振る舞いを正しく表す、という前提に依っている、として、その前提を ChatGPT、Claude、Gemini の7システム、9ベンチマーク(一般能力、社会的偏り、迎合)で調べた。

平均してAPI評価は、対応する画面評価より正確さが3.4ポイント、再テスト一致が2.1ポイント高かった。ChatGPT では、APIと画面の差が、APIだけで見た GPT 5.3 と GPT 5.4 の差に匹敵した。システムプロンプトや標本化、推論の設定を変えても、隙間は安定して埋まらなかった、と報告している。

ChatGPT を調べた論文Gemini を調べた論文Claude を調べた論文

調査の条件

論文が調べたこと
ツール(Web検索など)を切った状態での、APIベンチマーク正答率がチャット画面に転移するか
調べた対象の AI
ChatGPT、Gemini、Claude
調べたモデル
GPT 5.3 Instant/GPT 5.4 Thinking/Claude Haiku 4.5/Claude Sonnet 4.6/Claude Opus 4.6/Gemini 3 Flash Fast/Gemini 3 Flash Thinking
回答データの取り方
同一課題を、各システムのAPIとチャット画面の両方で評価する比較(要旨・本文)
調査の規模
システム7、ベンチマーク9(要旨)
数字が載っている場所
要旨(7システム、9ベンチマーク、正確さ+3.4ポイント、再テスト一致+2.1ポイント)。システム識別子は本文 Table 1

結果を読むときの注意

v3(最終改訂 2026-10-08)。7システムは GPT 5.3 Instant、GPT 5.4 Thinking、Claude Haiku 4.5、Claude Sonnet 4.6、Claude Opus 4.6、Gemini 3 Flash Fast、Gemini 3 Flash Thinking(本文 Table 1)。ツールを切ったベンチマーク比較であり、ブランド露出の比較ではない。

上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。

「APIと画面の差」を調べたほかの論文