LLMO・GEO の研究論文と民間調査/計測手法・再現性

研究論文

本番の検索付き商用推薦における、言い換えの脆さ:再実行の安定性を下回る再現性

原題:Paraphrase Brittleness in Production Retrieval-Augmented Commercial Recommendation: Reproducibility Below the Rerun-Stability Baseline

著者は Will Jack, Noah Lehman, Keller Maloney, Sarah Xu。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。

論文の原文を arXiv で読む(arXiv:2605.27440)

論文が報告した結果

「最良のCRM」と「上位のCRM」のように、買い手の質問の言い方が少し違うだけで、AIアシスタントが出すブランドの推薦集合が大きく変わる、と報告している。

OpenAI と Anthropic のモデルで、言い換え約6,000回と同じプロンプトの再実行約6,000回を比べると、同じ購買意図の言い換え同士の推薦集合の Jaccard は、見た目の言い換えで0.288、制約を足す言い換えで0.135で、同じプロンプトを再実行した基線0.50〜0.61を大きく下回った。推論の努力を上げても差は±0.05に収まり、狭まらない、とされる。

ChatGPT を調べた論文Claude を調べた論文

調査の条件

論文が調べたこと
本番の検索付き推薦で、言い換え(パラフレーズ)に対して結果がどれだけ脆いか
調べた対象の AI
ChatGPT、Claude
調べたモデル
gpt-5.4-mini/claude-sonnet-4-6
回答データの取り方
API(OpenAI Responses API の web_search、Anthropic Messages API の web_search_20260209。本文)
調査の規模
言い換え約6,000回と、同じプロンプトの再実行約6,000回(要旨)
数字が載っている場所
要旨(各約6,000回、Jaccard 0.288と0.135、基線0.50〜0.61)。APIとモデルセルは本文

結果を読むときの注意

使うのは各社のウェブ検索ツール(OpenAI Responses API の web_search、Anthropic Messages API の web_search_20260209)。再実行の基線に使ったセルは gpt-5.4-mini と claude-sonnet-4-6 の、努力低・高(本文 Table 1)。固定プロンプトの言及回数で「AIの見え方」を追う実務は、言い換えの分散が支配的になりうる、というのが著者の主張である。具体的なモデル版は、言い換え格子では一部を省略している、と本文。

上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。

「計測手法・再現性」を調べたほかの論文