LLMO・GEO の研究論文と民間調査/計測手法・再現性
研究論文
サイコロ法:大規模言語モデルのブランド推奨を、同じ質問の反復で調べる標準手順
原題:The Dice Roll Method: A Standardized Protocol for Repeated-Query Auditing of Large Language Model Brand Recommendations
著者は Dmitrij Żatuchin。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。
論文の原文を arXiv で読む(arXiv:2609.04047)論文が報告した結果
同じプロンプトを繰り返して、LLMのブランド推奨のばらつきを見る研究は増えているが、反復回数や安定性の指標、信頼性の閾値に標準手順がなかった、として Dice Roll Method を形式化している。
分散を標本化、言い回し、実行ごと、モデル版に分解し、負の二項混合、Cliffのデルタ、依存を保つブートストラップ、シミュレーションによる検出力、一般化理論、固定スナップショットの漂移診断を重ねる。ブランド推奨の既存研究5つ(観察約19万、ブランド270超、6言語、反復5〜40回)を再分析した。再計算したDスタディは固定の段階を支持せず、250の異なる質問(S5)では5回でGが0.96、1〜2回で0.80に達する一方、Gemini のバレンタイン部分集合(S1)では0.27で回数は決まらない、とされる。
調査の条件
- 論文が調べたこと
- 同じ質問を繰り返して監査する標準手順(Dice Roll Method)
- 調べた対象の AI
- Gemini
- 調べたモデル
- 原文に記載なし(再分析した5研究に含まれるモデル。S1のバレンタイン部分集合に Gemini の記載)
- 回答データの取り方
- 既存のブランド推奨研究5つの再分析と、手順の提案(要旨)
- 調査の規模
- 観察約19万、ブランド270超、6言語、反復は5〜40回。S5は異なる質問250(要旨)
- 数字が載っている場所
- 要旨(約19万観察、270超ブランド、6言語、反復5〜40、G=0.96/0.27、外部検証37/39)。v2の訂正範囲はコメント
結果を読むときの注意
v2(最終改訂 2026-10-14)は、第5節の信頼性、段階、収束、性別対比、漂移、検出力の結果と、それに依る記述を、研究データから計算し直して訂正している。第6節の結果は変わっていない、とコメント。固定の「5回・10回・15回」といった段階は移らない。事前登録した外部検証は39セル中37でDスタディの予測を再現し、失敗はなかった、とされる。新規の単一エンジン実測ではなく、手順の提案と再分析である。
上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。