LLMO・GEO の研究論文と民間調査/攻撃・差し込み

研究論文

Counter-GEO-Bench:情報を歪めるGEOへの防御を評価する

原題:Counter-GEO-Bench: Evaluating Defenses Against Information-Distorting Generative Engine Optimization

著者は Bing Zheng, Zongyao Zhao, Wenming Yang。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。

論文の原文を arXiv で読む(arXiv:2609.02316)

論文が報告した結果

情報を歪めるGEO書き換えに対して、既製の防御3つ(Granite Guardian、Llama Guard 3、NeMo Self-Check Fact-Checking)を測ったところ、攻撃成功率の低下は相対で最大5.7%にとどまり、Granite Guardianの減少は統計的に有意でなかった。

提案手法 C-GEO Guard は、攻撃成功率を相対47.6%下げ、有用性の損失はほぼゼロだった、と報告している。

公開モデル を調べた論文

調査の条件

論文が調べたこと
情報を歪めるGEO書き換えに対する防御の攻撃成功率(ASR)、偽陽性、回答品質
調べた対象の AI
公開モデル
調べたモデル
Gemma-4-31B-IT/Qwen-3.5-35B-A3B/Llama-4-Scout-17B-16E
測定の道具として使った AI
Granite Guardian/Llama Guard 3/NeMo Self-Check Fact-Checking(既製防御の評価)
回答データの取り方
統制した生成検索ハーネス(BM25とBGEのハイブリッド検索、vLLMで temperature 0。市販APIや製品は含まない、と本文)
調査の規模
人手確認済みクエリ247件。情報を保つ書き換えと歪める書き換えの対
数字が載っている場所
要旨(ASRの相対低下 最大5.7%、C-GEO Guard の47.6%、クエリ247件)。モデルは本文

結果を読むときの注意

EMNLP 2026本会議採択。人手確認済みクエリ247件。被害側モデルは Gemma-4-31B-IT、Qwen-3.5-35B-A3B、Llama-4-Scout-17B-16E で、市販の回答エンジンAPIや製品は含まない。

上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。

「攻撃・差し込み」を調べたほかの論文