LLMO・GEO の研究論文と民間調査/計測手法・再現性

研究論文

エンジンなしで採点する:操作に強い、決定的な生成エンジン向け内容得点を、端から端まで確かめる

原題:Scoring Without the Engine: Validating a Deterministic, Manipulation-Resistant Content Score for Generative Engines, End to End

著者は Elisha Bajemon, Andre-Louis Rochet。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。

論文の原文を arXiv で読む(arXiv:2609.07559)

論文が報告した結果

高価で変動する「答えエンジン」の代わりに、安くて決定的な代理得点をどう確かめるか、という手順を示し、生成エンジン最適化の内容得点で端から端まで試している。

2023年の因果アンカーを、いまのエンジン系統10(オープンウェイト6、商用4。うち専用の gpt-5.x が3)で測り直すと、その操作子はどれでも引用を動かさず、期限切れの外部確認だった、とされる。残るのは門で強制した反応面で、敵対的な編集の500ソースでは、調整済み操作子を増幅しても攻撃側の得は最大6点で、量が増えると減る。クエリ条件付きの上限では、引用信号のクエリ内 Spearman は0.11で、クエリを問わない得点は引用の予測ではなく質のフィルタとして置くべきだ、と論じている。

ChatGPT を調べた論文公開モデル を調べた論文

調査の条件

論文が調べたこと
エンジンを使わずに、操作耐性のある決定論的スコアを検証する提案
調べた対象の AI
ChatGPT、公開モデル
調べたモデル
原文に記載なし(オープンウェイト6、商用4、うち gpt-5.x が3。個別名称の完全な一覧は要旨にはない)
回答データの取り方
決定的な内容得点の検証手順(敵対的編集のベンチマークと、いまのエンジンでのアンカー再測定。要旨)
調査の規模
エンジン系統10、敵対的編集の500ソース(要旨)
数字が載っている場所
要旨(系統10、500ソース、最大6点、Spearman 0.11)

結果を読むときの注意

最初の順位評価にあったクエリ漏れの不具合と、失敗した信頼フラグを開示し直した、と著者は書いている。ウェブスパムの基線の方が検出では強く、分布外の攻撃は得点をすり抜ける。数字は公開物からオフラインで再現でき、追加のAPI費用はゼロ、とされる。ライブ引用の予測器としては弱い、というのが著者自身の位置づけである。

上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。

「計測手法・再現性」を調べたほかの論文