LLMO・GEO の研究論文と民間調査/ニュース・メディア集中

研究論文

AIチャットは、従来の検索に取って代われるか:ライブイベントのRAG実験からの証拠

原題:Can AI Chat Replace Traditional Search? Evidence from a RAG-based Live Events Experiment

著者は Rakesh Allu, Evgeny Kagan。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。

論文の原文を arXiv で読む(arXiv:2610.28639)

論文が報告した結果

会話型AIを検索画面に入れる効果を、主要なライブイベントのサイトから集めた数千件のカタログで、事前登録した報酬付きオンライン実験として比べている。

古典的な絞り込み(Filter)、生成AIのチャット(Chat)、両方ある複合(Hybrid)の3画面で、AI側の出力はRAGに制限する。主な結果は、他の2条件に対して Chat が最も悪い、というものである。効果は gpt-4.1-mini、gpt-5.2、gpt-5.4 で頑健で、特定のアーティストや会場を探す人より、開いた探索をする人で大きい。Filter と Hybrid の間には、どの指標でも有意差がなかった、とされる。

ChatGPT を調べた論文

調査の条件

論文が調べたこと
ライブイベント領域で、RAGベースのAIチャットが従来検索を代替し得るか
調べた対象の AI
ChatGPT
調べたモデル
gpt-4.1-mini/gpt-5.2/gpt-5.4
回答データの取り方
その他(事前登録した利用者実験。ライブイベントのカタログをRAGで検索する3画面の比較。本文)
調査の規模
カタログは数千件のイベント。最終分析は362人(Filter 104、Chat 156、Hybrid 102。本文)
数字が載っている場所
要旨(3画面、gpt-4.1-mini / gpt-5.2 / gpt-5.4)。人数は本文(募集389、最終362)

結果を読むときの注意

CloudResearch Connect からニューヨークまたはニュージャージー在住の成人を募集し、389人のうち最終分析は362人(Filter 104、Chat 156、Hybrid 102)。仕組みとして、メニューが見えないと利用者がカタログにありそうなものを自分で問い、無い種類を探し、狭く探しすぎること、および、プロンプトに労力を取られて出力の吟味が減り、最初の候補を選びやすいこと、を挙げている。RAGで閉じたカタログ実験であり、一般のウェブ検索そのものではない。

上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。

「ニュース・メディア集中」を調べたほかの論文