LLMO・GEO の研究論文と民間調査/ブランド推奨・偏り
研究論文
ラベルなしで、LLM推薦の構造的偏りを見つける:冗長性(文章の長さ)の場合
原題:Label-Free Detection of Structural Bias in LLM-Based Recommender Systems via Randomized Paraphrasing: The Case of Verbosity
著者は Carlos Peláez-González, David Herrera-Poyatos, Francisco Herrera, Andrés Herrera-Poyatos。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。
論文の原文を arXiv で読む(arXiv:2611.18878)論文が報告した結果
LLMが商品を選ぶとき、関連だけでなく説明文の長さなどの表面的な特徴に左右されうる、として、正解ラベルなしでその偏りを見る枠組みを提案している。
Amazon ML Challenge 2023 のカタログから2万件の商品クエリと、5系統9モデルで冗長性バイアスを見た。関連を統制したあとでも、説明が長いほど選ばれやすく、長さの標準偏差あたり選択のオッズが最大38%上がった、と報告している。
調査の条件
- 論文が調べたこと
- LLM推薦における構造的な偏りを、ラベルなしで検出する
- 調べた対象の AI
- DeepSeek、公開モデル
- 調べたモデル
- DeepSeek-R1 7B(Qwen)/DeepSeek-R1 8B(Llama)/Falcon-3 10B/Falcon-3 7B/GPT-OSS 120B/GPT-OSS 20B/Gemma-3 12B/Gemma-3 27B/Llama-3.1 8B
- 回答データの取り方
- オフライン実験(Amazon ML Challenge 2023 カタログのサブセット。本文)
- 調査の規模
- 商品クエリ2万件、推薦モデル9つ(5系統)。言い換えの選択実験では k=5(本文)
- 数字が載っている場所
- 要旨(2万クエリ、9モデル、オッズ最大38%/SD)。モデル一覧と復号設定は本文
結果を読むときの注意
9モデルは DeepSeek-R1 7B(Qwen)と8B(Llama)、Falcon-3 10Bと7B、GPT-OSS 120Bと20B、Gemma-3 12Bと27B、Llama-3.1 8B で、temperature 0(本文)。関連が主因で、長さは副次的、とも述べる。効果の強さは系統で違い、GPT-OSS が最も鈍く、DeepSeek-R1 蒸留が最も敏感、とされる。
上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。