LLMO・GEO の研究論文と民間調査/計測手法・再現性
研究論文
本番の検索付き商用推薦における、言い換えの脆さ:再実行の安定性を下回る再現性
原題:Paraphrase Brittleness in Production Retrieval-Augmented Commercial Recommendation: Reproducibility Below the Rerun-Stability Baseline
著者は Will Jack, Noah Lehman, Keller Maloney, Sarah Xu。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。
論文の原文を arXiv で読む(arXiv:2605.27440)論文が報告した結果
「最良のCRM」と「上位のCRM」のように、買い手の質問の言い方が少し違うだけで、AIアシスタントが出すブランドの推薦集合が大きく変わる、と報告している。
OpenAI と Anthropic のモデルで、言い換え約6,000回と同じプロンプトの再実行約6,000回を比べると、同じ購買意図の言い換え同士の推薦集合の Jaccard は、見た目の言い換えで0.288、制約を足す言い換えで0.135で、同じプロンプトを再実行した基線0.50〜0.61を大きく下回った。推論の努力を上げても差は±0.05に収まり、狭まらない、とされる。
調査の条件
- 論文が調べたこと
- 本番の検索付き推薦で、言い換え(パラフレーズ)に対して結果がどれだけ脆いか
- 調べた対象の AI
- ChatGPT、Claude
- 調べたモデル
- gpt-5.4-mini/claude-sonnet-4-6
- 回答データの取り方
- API(OpenAI Responses API の web_search、Anthropic Messages API の web_search_20260209。本文)
- 調査の規模
- 言い換え約6,000回と、同じプロンプトの再実行約6,000回(要旨)
- 数字が載っている場所
- 要旨(各約6,000回、Jaccard 0.288と0.135、基線0.50〜0.61)。APIとモデルセルは本文
結果を読むときの注意
使うのは各社のウェブ検索ツール(OpenAI Responses API の web_search、Anthropic Messages API の web_search_20260209)。再実行の基線に使ったセルは gpt-5.4-mini と claude-sonnet-4-6 の、努力低・高(本文 Table 1)。固定プロンプトの言及回数で「AIの見え方」を追う実務は、言い換えの分散が支配的になりうる、というのが著者の主張である。具体的なモデル版は、言い換え格子では一部を省略している、と本文。
上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。