LLMO・GEO の研究論文と民間調査/調査エージェント
研究論文
同じ質問を繰り返したとき、ディープリサーチの固有名と引用はどれだけ一致するか
原題:Self-Consistency of Entity Sets and Citations in a Deep Research System under Repeated Prompting
著者は Lauri Pykälä, Kimmo K. Kaski。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。
論文の原文を arXiv で読む(arXiv:2610.26421)論文が報告した結果
市販のディープリサーチシステム1つについて、同じサイバーセキュリティ関連の開いた質問を繰り返し、報告書に出る固有名の集合と引用の集合がどれだけ重なるかを見た。
10回の実行で、固有名のペアごとの Jaccard の中央値は0.12、引用の Jaccard は0.02未満で、発見曲線は見た目には飽和しなかった。集合のずれの大きさは固有名の種類で違い、自己一貫性はシステムの不変の性質というより、対象となる固有名の空間の関数として見る方がよい、と述べている。
調査の条件
- 論文が調べたこと
- Deep Research 系が、同じ条件でエンティティ集合や引用を自己一貫して出せるか
- 調べた対象の AI
- Gemini
- 調べたモデル
- Google の Deep Research(図では Gemini Deep Research とも表記)
- 測定の道具として使った AI
- Gemini 2.5-flash(抽出)/gpt-5.4-mini(正規化)
- 回答データの取り方
- 同一プロンプトの反復実行(10回)と、報告書からの固有名・引用の抽出(本文)
- 調査の規模
- 開いた質問1つを10回。ペアは45通り(本文)
- 数字が載っている場所
- 要旨(10回、固有名 Jaccard 中央値0.12、引用 Jaccard 0.02未満)。対象システムと抽出モデルは本文
結果を読むときの注意
対象は Google の Deep Research(本文の図は Gemini Deep Research とも表記)。短報(6ページ、3図)。質問は1つ。抽出に Gemini 2.5-flash、表記の正規化に gpt-5.4-mini を使う(本文)。製品の品質一般を測ったものではない。
上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。
「調査エージェント」を調べたほかの論文
- 2026年11月ウェブ調査エージェントは、利用者の優先事項をどう解釈するか
- 2026年10月エージェント型検索が、静かに失敗するとき:枠組みと、創作AIアシスタントの本番証拠
- 2026年10月現実のウェブ環境でのディープサーチ