OriginBlame: Record- and Token-Level Data Provenance for AI Training Datasets
OriginBlame: Record- and Token-Level Data Provenance for AI Training Datasets
OriginBlame：面向 AI 训练数据集的记录级与 Token 级数据溯源
Abstract: When a data contributor requests removal, model trainers face a practical gap: unlearning algorithms require a forget set, yet no tool can locate which training records belong to a given author. Existing provenance systems operate at file or dataset level, forcing catastrophic over-deletion. 摘要： 当数据贡献者要求删除其数据时，模型训练者面临一个实际的缺口：机器遗忘（unlearning）算法需要一个“遗忘集”（forget set），但目前没有任何工具能够定位哪些训练记录属于特定的作者。现有的溯源系统仅在文件或数据集层面运行，这往往会导致灾难性的过度删除。
We present ob, a record- and token-level data provenance system that propagates author identity through data processing pipelines and resolves revocation requests into precise forget sets via deterministic queries. 我们提出了 ob，这是一个记录级和 Token 级的数据溯源系统。它通过数据处理流水线传播作者身份信息，并通过确定性查询将撤销请求解析为精确的遗忘集。
Evaluation on 219,555 Wikipedia pages demonstrates that record-level provenance eliminates dataset-level over-deletion (from 101x to 1.3x), while integration adds 1.3-4.0% throughput overhead (HuggingFace) and 2.1-19.0% (Datatrove) on wiki data. On a 1.7B model, provenance-based forget sets improve unlearning by 42% over random baselines. 在 219,555 个维基百科页面上的评估表明，记录级溯源消除了数据集层面的过度删除（从 101 倍降低至 1.3 倍），同时在维基数据上集成该系统仅增加了 1.3-4.0%（HuggingFace）和 2.1-19.0%（Datatrove）的吞吐量开销。在一个 17 亿参数的模型上，基于溯源的遗忘集比随机基准线提升了 42% 的遗忘效果。
Paper Details:
- Authors: Haolin Xue
- arXiv ID: 2607.13037
- Subject: Artificial Intelligence (cs.AI)
- Submitted: 19 May 2026
论文详情：
- 作者： Haolin Xue
- arXiv ID： 2607.13037
- 学科： 人工智能 (cs.AI)
- 提交日期： 2026 年 5 月 19 日