LLMO・GEO の研究論文と民間調査/調査エージェント
研究論文
現実のウェブ環境でのディープサーチ
原題:Deep Search in Real-World Web Environments
著者は Xiaomin Yu, Hongliang Chen, Zhe Huang, Shilin Yan, Shao-Rong Su, Xuqiao Ma, Feiyang Wang, Jiayu Chen, Jiwei Fang, Yu Yan, Yini Huang, Chen Chen, Ruoxi Cheng, Yuzhi He, Yuhui Zhang, Xiaoxing Hu, Chen Liu, Jianbo Lin, Yijiang Li, Xiaobin Hu, Menglong Li, Zhuoran Lu, Weishi Wang, Zhongqi Yue, Chengwei 。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。
論文の原文を arXiv で読む(arXiv:2610.30181)論文が報告した結果
調査エージェントが、生きたウェブで多段の探索を最後までできるかを見る課題 OpenDS と、ベンチマーク OpenDS-World を提案している。
タスクは200件で、種類の違う情報やファイル、操作の必要なページを含み、人が証拠と答えの一意性を確かめた、とされる。同じツール環境で最先端モデル12を評価し、最高は GPT-6 Astra の正答率39.0%。人の独立した1,000回の試行では21.1%で、全担当者が解けなかった課題は42.5%あった、と本文は述べる。
ChatGPT を調べた論文Gemini を調べた論文Claude を調べた論文DeepSeek を調べた論文Kimi を調べた論文公開モデル を調べた論文
調査の条件
- 論文が調べたこと
- 実世界のWeb環境でのディープサーチ
- 調べた対象の AI
- ChatGPT、Gemini、Claude、DeepSeek、Kimi、公開モデル
- 調べたモデル
- GPT-6 Astra/GPT-5.6 Sol/Claude Opus 5.5/Claude Fable 5.1/Gemini 3.8 Flash/Qwen3.8-Max/Qwen3.8-Flash/DeepSeek-V4.1-Flash/DeepSeek-V4-Pro/Kimi K3/GLM-5.3-Flash/GLM-5.3
- 回答データの取り方
- 生きたウェブでのディープサーチ評価(ウェブ検索、ブラウザ操作、証拠の処理を同じツール環境で実行。要旨・本文)
- 調査の規模
- 課題200件。モデル12。人の独立試行は1,000回(要旨)
- 数字が載っている場所
- 要旨(200課題、12モデル、最高39.0%、人の1,000試行で21.1%)。モデル名と、全担当者が未解決の42.5%は本文
結果を読むときの注意
12モデルは GPT-6 Astra、GPT-5.6 Sol、Claude Opus 5.5、Claude Fable 5.1、Gemini 3.8 Flash、Qwen3.8-Max、Qwen3.8-Flash、DeepSeek-V4.1-Flash、DeepSeek-V4-Pro、Kimi K3、GLM-5.3-Flash、GLM-5.3(本文)。統一したツールと実行手順の下での評価であり、各社の製品画面そのものではない。人がモデルより低いのは、独立試行の集計である。
上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。