LLMO・GEO の研究論文と民間調査/ブランド推奨・偏り

研究論文

ラベルなしで、LLM推薦の構造的偏りを見つける:冗長性(文章の長さ)の場合

原題:Label-Free Detection of Structural Bias in LLM-Based Recommender Systems via Randomized Paraphrasing: The Case of Verbosity

著者は Carlos Peláez-González, David Herrera-Poyatos, Francisco Herrera, Andrés Herrera-Poyatos。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。

論文の原文を arXiv で読む(arXiv:2611.18878)

論文が報告した結果

LLMが商品を選ぶとき、関連だけでなく説明文の長さなどの表面的な特徴に左右されうる、として、正解ラベルなしでその偏りを見る枠組みを提案している。

Amazon ML Challenge 2023 のカタログから2万件の商品クエリと、5系統9モデルで冗長性バイアスを見た。関連を統制したあとでも、説明が長いほど選ばれやすく、長さの標準偏差あたり選択のオッズが最大38%上がった、と報告している。

DeepSeek を調べた論文公開モデル を調べた論文

調査の条件

論文が調べたこと
LLM推薦における構造的な偏りを、ラベルなしで検出する
調べた対象の AI
DeepSeek、公開モデル
調べたモデル
DeepSeek-R1 7B(Qwen)/DeepSeek-R1 8B(Llama)/Falcon-3 10B/Falcon-3 7B/GPT-OSS 120B/GPT-OSS 20B/Gemma-3 12B/Gemma-3 27B/Llama-3.1 8B
回答データの取り方
オフライン実験(Amazon ML Challenge 2023 カタログのサブセット。本文)
調査の規模
商品クエリ2万件、推薦モデル9つ(5系統)。言い換えの選択実験では k=5(本文)
数字が載っている場所
要旨(2万クエリ、9モデル、オッズ最大38%/SD)。モデル一覧と復号設定は本文

結果を読むときの注意

9モデルは DeepSeek-R1 7B(Qwen)と8B(Llama)、Falcon-3 10Bと7B、GPT-OSS 120Bと20B、Gemma-3 12Bと27B、Llama-3.1 8B で、temperature 0(本文)。関連が主因で、長さは副次的、とも述べる。効果の強さは系統で違い、GPT-OSS が最も鈍く、DeepSeek-R1 蒸留が最も敏感、とされる。

上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。

「ブランド推奨・偏り」を調べたほかの論文