LLMO・GEO の研究論文と民間調査/RAG・根拠提示
研究論文
TUSI:引用で裏づけた、グラフ型のベンチマーク
原題:TUSI: A Citation-Grounded Graph-Based Benchmark
著者は Marzieh Karimi, Mehran Safayani, Alireza Basiri。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。
論文の原文を arXiv で読む(arXiv:2611.21823)論文が報告した結果
ペルシャ語の法律QA向けに、根拠となる法令への引用付きでRAGを評価するベンチマーク TUSI-Bench を提案している。
引用付きの回答が必要な質問は1,999件、イラン弁護士試験に基づく四択は約500件、とされる。グラフで条文の関係をたどる検索の基準手法も示している。
調査の条件
- 論文が調べたこと
- 引用に根拠づけられたグラフベースのベンチマーク(TUSI)
- 調べた対象の AI
- 公開モデル
- 調べたモデル
- Qwen3-Embedding-0.6B(生成モデルの包括的な一覧は要旨にはない)
- 測定の道具として使った AI
- XLM-RoBERTa(検索側。ペルシャ語法律コーパスで調整)
- 回答データの取り方
- 公開の法律相談サイト等から構築したベンチマークによるオフライン評価(本文)
- 調査の規模
- 引用付きQAが1,999問、四択が約500問(要旨)。初期収集は約7,900問(本文)
- 数字が載っている場所
- 要旨および本文(TUSI-Bench 1,999問、TUSI-Bar 約500問)。データ収集の約7,900問は本文
結果を読むときの注意
対象はペルシャ語の法律領域であり、一般のAI検索や日本語の広報計測そのものではない。質問は公開の法律相談サイトなどから集めた(初期に約7,900問、と本文)。埋め込みに Qwen3-Embedding-0.6B などを使う記載がある。
上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。