Universal Pathologies, Conditional Consequences: A Triple-Robustness Analysis of RAG for Multi-Hop Traceability

通用病理与条件性后果：针对多跳可追溯性 RAG 的三重鲁棒性分析

Abstract: GraphRAG underperforms vector RAG on citation precision in many reports, but where and why have remained corpus-bound. We present a triple-robustness analysis that holds the retrieval architecture fixed and varies three orthogonal axes: embedder (local e5-small -> Azure text-embedding-3-small), corpus (DO-178C typed-edge requirements -> Wikipedia paragraph chains via MuSiQue), and judge (paired GPT-5.4 x GPT-4.1) across 4,440 main-matrix runs, 600 cross-corpus runs, and 1,200 paired faithfulness judgments.

摘要： 许多报告指出 GraphRAG 在引用精度方面表现不如向量 RAG，但其具体表现不佳的场景及原因一直受限于特定的语料库。我们提出了一项三重鲁棒性分析，在保持检索架构不变的前提下，改变了三个正交轴：嵌入器（从本地 e5-small 到 Azure text-embedding-3-small）、语料库（从 DO-178C 类型边需求到通过 MuSiQue 构建的维基百科段落链）以及评估模型（配对的 GPT-5.4 与 GPT-4.1）。该分析涵盖了 4,440 次主矩阵运行、600 次跨语料库运行以及 1,200 次配对的忠实度评估。

(C2a) Over-citation is architecturally universal: GraphRAG emits 11-15 IDs per answer at citation precision 0.12-0.23 and retrieval recall 0.68-0.87 across all three settings.

(C2a) 过度引用是架构上的普遍现象：在所有三种设置下，GraphRAG 每个答案会生成 11-15 个 ID，引用精度为 0.12-0.23，检索召回率为 0.68-0.87。

(C2b) Its faithfulness consequence is corpus-conditional: in typed-edge DO-178C, GraphRAG faithfulness collapses 74%->40% across hops; on Wikipedia chains the same pipeline rises 42%->58% because over-cited paragraphs remain topically supporting.

(C2b) 其忠实度后果具有语料库条件性：在类型边 DO-178C 数据集中，GraphRAG 的忠实度随跳数增加从 74% 下降至 40%；而在维基百科链上，同一流程的忠实度反而从 42% 上升至 58%，这是因为被过度引用的段落仍然在主题上具有支撑作用。

(C1) Stratum-conditional winners are corpus-conditional but embedder-robust: vanilla wins 2-hop on DO-178C, GraphRAG wins 2-hop on MuSiQue, identical under either embedder.

(C1) 分层条件下的优胜者取决于语料库，但对嵌入器具有鲁棒性：在 DO-178C 上，普通 RAG 在 2 跳任务中胜出；在 MuSiQue 上，GraphRAG 在 2 跳任务中胜出，且无论使用哪种嵌入器，结果均保持一致。

(C3) Single-judge LLM faithfulness is fragile to retrieval state: same-judge self-kappa across embedders is 0.137 for GPT-5.4 (verdict change on 41% of items).

(C3) 单一评估模型（LLM）的忠实度对检索状态非常敏感：对于 GPT-5.4 而言，在不同嵌入器下同一评估模型的自一致性（self-kappa）仅为 0.137（41% 的条目判定结果发生了改变）。

(C4) A learned router on dense embeddings alone reaches macro-F1 0.86 on hop classification. We argue triple-robustness is the minimum bar for trustworthy RAG architecture claims.

(C4) 仅基于密集嵌入的学习型路由在跳数分类任务上达到了 0.86 的宏观 F1 分数。我们认为，三重鲁棒性是评估 RAG 架构是否可信的最低标准。