LLMO・GEO の研究論文と民間調査/引用・出典選択

研究論文

行動から満足を読む:AI概要に対する利用者の満足を推論する

原題:From User Behaviors to Satisfaction Judgments: Reasoning about User Satisfaction with AI Overviews

著者は Xingzhu Wang, Yitong Xu, Yue Li, Daiting Shi, Jingzhou He, Jiaxin Mao。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。

論文の原文を arXiv で読む(arXiv:2611.10715)

論文が報告した結果

検索のAI概要(AI Overviews)の評価は回答の質が中心になりがちで、利用者の行動が十分使われていない、として、行動信号から満足を予測する手法 STaRS を提案している。

31人・243セッション・554クエリのユーザー実験と、匿名企業の検索ログ SearchLog26(5.4千人、6,589クエリ)を使う。既存のIR向け行動予測をこの設定に移すには限界があり、STaRS はそれを補う、とされる。

調査の条件

論文が調べたこと
ユーザー行動から、AI Overviews 等に対する満足を推論できるか
調べたモデル
原文に記載なし(概要を出す検索エンジンはログ側で匿名)
測定の道具として使った AI
Qwen3-8B(STaRS)/DeepSeek-V3.2(満足予測のベースライン)
回答データの取り方
31人のユーザー実験(満足度の自己申告付き)と、匿名企業のAI概要付き検索ログ(本文)
調査の規模
UserStudy は554クエリ(31人、243タスクセッション)。SearchLog26 は6,589クエリ(5.4千人)(本文)
数字が載っている場所
本文(UserStudy:31人・243セッション・554クエリ。SearchLog26:5.4千人・6,589クエリ)。モデルは本文

結果を読むときの注意

対象はAI概要付きの検索であり、Google という社名は確認した範囲では本文に出てこない(匿名企業の検索エンジン、とログ側は記載)。STaRS の基幹は Qwen3-8B、比較のLLMベースラインは DeepSeek-V3.2(本文)。

上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。

「引用・出典選択」を調べたほかの論文