LLMO・GEO の研究論文と民間調査/計測手法・再現性
研究論文
オフラインのLLM評価では足りない:モデルの振る舞いに、個人化を織り込む必要がある
原題:The Inadequacy of Offline LLM Evaluations: A Need to Account for Personalization in Model Behavior
著者は Angelina Wang, Daniel E. Ho, Sanmi Koyejo。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。
論文の原文を arXiv で読む(arXiv:2509.19364)論文が報告した結果
標準的なオフライン評価は、独立した、状態を持たない推論の列であり、実際の利用で個人化がモデルの振る舞いを根本から変える様子を捉えられない、と論じている。
同じベンチマークの質問でも、状態を持たないシステム、ある利用者のチャット、別の利用者のチャットでは、答えがはっきり違いうる。ChatGPT と Gemini の実利用者800人に、ベンチマークや指定の質問を、自分たちのチャット画面で出してもらう現地評価と、オフライン評価を比べた、とされる。
調査の条件
- 論文が調べたこと
- オフライン(ベンチマーク)評価が、パーソナライズされた実際の振る舞いを捉えるか
- 調べた対象の AI
- ChatGPT、Gemini
- 調べたモデル
- 原文に記載なし
- 回答データの取り方
- 混在の比較(オフライン評価と、800人の実利用者が自分のチャット画面に質問を出す現地評価。要旨)
- 調査の規模
- 実利用者800人(要旨)
- 数字が載っている場所
- 要旨(実利用者800人、ChatGPT と Gemini の画面)
結果を読むときの注意
Patterns 誌に掲載予定、とコメント。対象は ChatGPT と Gemini の実画面であり、APIのオフライン評価との差を問題にしている。詳細なモデル版や、正確さの差分の数字は要旨にはない。
上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。