LLMO・GEO の研究論文と民間調査/その他・周辺

研究論文

著者が書いたものと、エージェントが読むもの:企業文書の取り込みで、見た目の手がかりが静かに落ちる

原題:What the Author Wrote, What the Agent Reads: Silent Cue Loss in Enterprise Document Ingestion

著者は Yikai Zhao, Saurabh Pandey, Pradeep Kumar Misra。に arXiv へ投稿されました。日本語の題名は、ガーオンによる仮の訳です。

論文の原文を arXiv で読む(arXiv:2610.30026)

論文が報告した結果

企業のエージェントが文書に従う前に、Word や PDF をトークンへ変える取り込み層があり、そこで「文字の見た目」に込めた意味が落ち、エージェントは欠けていると気づかず自信を持って誤る、と報告している。

実在の方針文書76件で、著者が目立たせた要件をファイル自身の OOXML から機械的に採点すると、見た目を無視する取り込みでは micro F1 が0.690から、docling で0.150、プレーンテキストで0.075まで落ちた。この差は、Claude の Opus・Sonnet・Haiku 層の5モデルと OpenAI の GPT-5.6 の計6モデルで再現した、とされる。

ChatGPT を調べた論文Claude を調べた論文

調査の条件

論文が調べたこと
企業文書の取り込み(ingestion)で、著者が見た目に込めた手がかりが silently 失われること
調べた対象の AI
ChatGPT、Claude
調べたモデル
Claude の Opus・Sonnet・Haiku 層の5モデル/GPT-5.6(個別の版名の完全な一覧は要旨にはない)
回答データの取り方
実在の方針文書を取り込み、OOXML の属性と照合するオフライン実験(LLM判定は使わない、と要旨)
調査の規模
方針文書76件。色やハイライトの観察は6,460件(要旨)
数字が載っている場所
要旨(76件、F1 0.690→0.150/0.075、6モデル、ハイライト+0.302、色+0.262、6,460件中32.8%と10.3%)

結果を読むときの注意

企業文書の取り込み実験であり、一般向けAI検索の引用計測ではない。効果のほとんどはハイライト(+0.302)と色(+0.262)にあり、太字・斜体などはほぼ0、とされる。6,460件の文書のうち32.8%に意図的な色やハイライトがあり、義務の箇所では10.3%、という観察もある。

上の要約は、株式会社ガーオンが生成AIを使って作成しました。最終更新は2026年11月19日です。正確な内容は、論文の原文で確認してください。

「その他・周辺」を調べたほかの論文