LLMO・GEO の研究論文と民間調査/買い物エージェント
研究論文
よく考えるだけでは、買い物エージェントの選択は良くならない
原題:Thinking Harder Doesn't Lead to Better Choices: Reasoning Effort Increases the Confidence but Not the Correctness of LLM Shopping Agents
著者は Adi Krishnamoorthy, X. Y. Han。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。
論文の原文を arXiv で読む(arXiv:2611.22033)論文が報告した結果
買い物を任された10のモデルは、間違えるとき、多くの場合そろって、ほぼ合っている別の商品を選びました。
複数モデルが外した問題では、間違いの81%から87%が、最も多い1つの誤答に集まりました。独立に間違える場合の目安は、32%から36%程度です。推論の量を増やしても、正答率は統計的に意味のある形では上がりませんでした。上がったのは、自信のほうでした。
ChatGPT を調べた論文Gemini を調べた論文Claude を調べた論文DeepSeek を調べた論文Kimi を調べた論文公開モデル を調べた論文
調査の条件
- 論文が調べたこと
- 条件付きで商品を1つ選ぶ課題で、モデル横断の誤答が同じ「ほぼ正解の別商品」に集中するか。推論を増やしても正答は上がるか
- 調べた対象の AI
- ChatGPT、Gemini、Claude、DeepSeek、Kimi、公開モデル
- 調べたモデル
- GPT-6 Astra/GPT-6.1 Sol/GPT-6 Luna/Claude Fable 5.1/Claude Opus 5.5/Gemini 4 Argon/Gemini 3.1 Pro/DeepSeek V4.1 Flash/Qwen 3.8 Max/Kimi K3
- 回答データの取り方
- API(OpenRouter。10モデルに同一プロンプト、推論の努力度は low / medium / high。候補10件を最初から提示。本文 3.2節)
- 調査の規模
- 10モデル。データは WebShop、Amazon SQID、Wayfair WANDS。複数モデルが外した問題では、間違いの81〜87%が最頻の1誤答に集中(偶然なら32〜36%)
- 数字が載っている場所
- 本文(複数モデルが外した問題での最頻誤答の集中、偶然の場合の目安)。モデルと取得方法は本文3.2節
結果を読むときの注意
候補10件は最初から提示されており、検索して見つけてもらう過程は測っていません。データはWebShop、Amazon SQID、Wayfair WANDSです。問い合わせはOpenRouterのAPIです。
上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。