LLMO・GEO の研究論文と民間調査/攻撃・差し込み
研究論文
Counter-GEO-Bench:情報を歪めるGEOへの防御を評価する
原題:Counter-GEO-Bench: Evaluating Defenses Against Information-Distorting Generative Engine Optimization
著者は Bing Zheng, Zongyao Zhao, Wenming Yang。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。
論文の原文を arXiv で読む(arXiv:2609.02316)論文が報告した結果
情報を歪めるGEO書き換えに対して、既製の防御3つ(Granite Guardian、Llama Guard 3、NeMo Self-Check Fact-Checking)を測ったところ、攻撃成功率の低下は相対で最大5.7%にとどまり、Granite Guardianの減少は統計的に有意でなかった。
提案手法 C-GEO Guard は、攻撃成功率を相対47.6%下げ、有用性の損失はほぼゼロだった、と報告している。
調査の条件
- 論文が調べたこと
- 情報を歪めるGEO書き換えに対する防御の攻撃成功率(ASR)、偽陽性、回答品質
- 調べた対象の AI
- 公開モデル
- 調べたモデル
- Gemma-4-31B-IT/Qwen-3.5-35B-A3B/Llama-4-Scout-17B-16E
- 測定の道具として使った AI
- Granite Guardian/Llama Guard 3/NeMo Self-Check Fact-Checking(既製防御の評価)
- 回答データの取り方
- 統制した生成検索ハーネス(BM25とBGEのハイブリッド検索、vLLMで temperature 0。市販APIや製品は含まない、と本文)
- 調査の規模
- 人手確認済みクエリ247件。情報を保つ書き換えと歪める書き換えの対
- 数字が載っている場所
- 要旨(ASRの相対低下 最大5.7%、C-GEO Guard の47.6%、クエリ247件)。モデルは本文
結果を読むときの注意
EMNLP 2026本会議採択。人手確認済みクエリ247件。被害側モデルは Gemma-4-31B-IT、Qwen-3.5-35B-A3B、Llama-4-Scout-17B-16E で、市販の回答エンジンAPIや製品は含まない。
上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。