LLMO・GEO の研究論文と民間調査/引用・出典選択
研究論文
関連性から効用へ:Yuanbao検索におけるルーブリック整合
原題:From Relevance to Utility: Rubric Alignment in Yuanbao Search
著者は Yu Lu, Lixin Zou, Yangqi Chen, Hui Xu, Qiaolin Xia, Hao Wang, Qianwen Ma, Reed Li, Shuang Zeng, Haijin Liang, Haibo Shi。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。
論文の原文を arXiv で読む(arXiv:2611.22503)論文が報告した結果
関連度だけでなく、その回の評価基準(ルーブリック)に合う文書集合を集める「ルーブリック整合検索」を、中国の Yuanbao Search に入れた報告である。
オフライン評価に加え、本番トラフィックの5%(14日間で約280万クエリ)でA/Bテストを行い、端から端までの回答品質がオンラインの本番ベースライン比で8.52%上がった、としている。
調査の条件
- 論文が調べたこと
- 関連性ではなく、ルーブリック(評価基準)との適合(utility)でYuanbao検索の出典を揃える
- 調べた対象の AI
- Yuanbao
- 調べたモデル
- Yuanbao Search/Qwen3-Embedding-0.6B/Qwen3-4B
- 測定の道具として使った AI
- ChatGPT/Claude/GLM(ルーブリック候補の生成)
- 回答データの取り方
- 本番ログと人手評価のオフライン評価、および Yuanbao Search 本番トラフィックのオンラインA/B(本文 3.1節)
- 調査の規模
- 学習は本番クエリ6,200万件など。オンラインA/Bは14日間・約280万クエリ(本番の5%)。うち1,000件をブラインドの並列評価(本文 3.1.1節)
- 数字が載っている場所
- 要旨(8.52%)。オンラインA/Bの規模は本文 3.1.1節(約280万クエリ、14日、1,000件のブラインド比較)。モデルは本文
結果を読むときの注意
対象は Yuanbao Search であり、ChatGPT や Google 検索そのものではない。検索の学習は Qwen3-Embedding-0.6B、順位付けは Qwen3-4B。ルーブリック候補の生成には ChatGPT、Claude、GLM を使う(本文)。KDD 2027採択。8.52%は社内の本番評価を含む端から端までの数字である。
上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。