LLMO・GEO の研究論文と民間調査/計測手法・再現性

研究論文

クエリの言語が、LLM回答の自動感情スコアをどれだけ動かすか

原題:Query Language Sensitivity in Automated Sentiment Scores of LLM Responses

著者は Dmitrij Żatuchin。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。

論文の原文を arXiv で読む(arXiv:2607.13304)

論文が報告した結果

ブランドについてのLLM回答12,933件を、多言語の感情分類器でスコアしたとき、あてはめた分散の26.49%が質問言語、1.46%がブランドだった。

英語を除くと、言語は5.07%、ブランドは2.23%になり、英語1,620件中591件が陰性スコアだったのに対し、他7言語11,313件では77件だった。これは英語を入れたときの分解が大きく変わることを示すのであって、英語の答えがブランドに対してより否定的だと因果的に示したわけではない、と訂正版は述べる。

ChatGPT を調べた論文Gemini を調べた論文Perplexity を調べた論文

調査の条件

論文が調べたこと
LLMのブランド回答を自動感情スコアで要約したとき、スコアのばらつきが回答の違いなのか、採点器(言語)の違いなのか
調べた対象の AI
ChatGPT、Gemini、Perplexity
調べたモデル
openai/gemini/perplexity(不変のモデル版ではない、と本文)
測定の道具として使った AI
cardiffnlp/twitter-xlm-roberta-base-sentiment-multilingual(採点)
回答データの取り方
保存済み回答コーパスの再分析。元の回答をAPIで取ったかブラウザで取ったかは、確認した範囲では原文に記載なし
調査の規模
回答12,933件。ブランド20、質問言語8、プロバイダ別名3、プロンプト識別子15
数字が載っている場所
要旨(12,933件、分散の内訳、英語を除いた場合の内訳、陰性スコアの件数)

結果を読むときの注意

v2(2026-11-01)で標題が変わり、旧題で述べていたブランド順位や質問予算の処方は削除されている。回答側はプロバイダ別名 openai、gemini、perplexity(実行時のモデル版は不変ではない)。採点器はツイート感情向けで、対象ブランドを別条件としては与えない。元の回答をAPIで取ったかブラウザで取ったかは、原文に書いていない。

上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。

「計測手法・再現性」を調べたほかの論文