LLMO・GEO の研究論文と民間調査/攻撃・差し込み
研究論文
質問に合わせたコーパス汚染の下で、RAGの検索がどれだけ持つかをストレス試験する
原題:Reliability Stress Testing of RAG Retrieval under Query-Relevant Corpus Poisoning
著者は Janet Sung, Kainan Zhou, Gangzhen Qian, Hang Xiao, Lu Yi。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。
論文の原文を arXiv で読む(arXiv:2611.04264)論文が報告した結果
外部の文章がRAGの答えに効くのは、検索器がそれをモデルの文脈に入れたあとだ、として、検索の「入場」段階をストレス試験している。
BEIR の SciFact と NFCorpus から623クエリを使い、クエリごとに狙った文書を5件入れると、古典的検索器の nDCG@10 が隔離条件で40.2〜61.5%下がった。BM25 の悪化の大半は、クエリ全文を文書に固定する操作で説明でき、後段に付けた文は潜在意味解析側も動かす、と報告している。
調査の条件
- 論文が調べたこと
- 質問に関連するコーパス汚染の下で、RAG検索がどれだけ持つか(信頼性のストレステスト)
- 調べたモデル
- 原文に記載なし
- 回答データの取り方
- BEIR(SciFact と NFCorpus)を用いたオフラインの検索実験(要旨)
- 調査の規模
- 623クエリ。クエリあたり狙った文書5件(要旨)
- 数字が載っている場所
- 要旨(623クエリ、5件/クエリ、nDCG@10 が40.2〜61.5%低下)
結果を読むときの注意
対象は BM25 などの古典的検索器の入場段階であり、生成モデルの名前は要旨にない。確認した本文範囲でも生成LLM名は見つからなかった。生成の品質そのものではなく、検索器が汚染文書を通すかを見ている。
上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。