LLMO・GEO の研究論文と民間調査/引用・出典選択
研究論文
行動から満足を読む:AI概要に対する利用者の満足を推論する
原題:From User Behaviors to Satisfaction Judgments: Reasoning about User Satisfaction with AI Overviews
著者は Xingzhu Wang, Yitong Xu, Yue Li, Daiting Shi, Jingzhou He, Jiaxin Mao。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。
論文の原文を arXiv で読む(arXiv:2611.10715)論文が報告した結果
検索のAI概要(AI Overviews)の評価は回答の質が中心になりがちで、利用者の行動が十分使われていない、として、行動信号から満足を予測する手法 STaRS を提案している。
31人・243セッション・554クエリのユーザー実験と、匿名企業の検索ログ SearchLog26(5.4千人、6,589クエリ)を使う。既存のIR向け行動予測をこの設定に移すには限界があり、STaRS はそれを補う、とされる。
調査の条件
- 論文が調べたこと
- ユーザー行動から、AI Overviews 等に対する満足を推論できるか
- 調べたモデル
- 原文に記載なし(概要を出す検索エンジンはログ側で匿名)
- 測定の道具として使った AI
- Qwen3-8B(STaRS)/DeepSeek-V3.2(満足予測のベースライン)
- 回答データの取り方
- 31人のユーザー実験(満足度の自己申告付き)と、匿名企業のAI概要付き検索ログ(本文)
- 調査の規模
- UserStudy は554クエリ(31人、243タスクセッション)。SearchLog26 は6,589クエリ(5.4千人)(本文)
- 数字が載っている場所
- 本文(UserStudy:31人・243セッション・554クエリ。SearchLog26:5.4千人・6,589クエリ)。モデルは本文
結果を読むときの注意
対象はAI概要付きの検索であり、Google という社名は確認した範囲では本文に出てこない(匿名企業の検索エンジン、とログ側は記載)。STaRS の基幹は Qwen3-8B、比較のLLMベースラインは DeepSeek-V3.2(本文)。
上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。