Robust, Scalable Detection of Text Containment in Large Web-Crawled Corpora
Robust, Scalable Detection of Text Containment in Large Web-Crawled Corpora
大规模网络爬取语料库中稳健且可扩展的文本包含检测
Abstract: We present FindMyText, an open-source Python package designed to efficiently assess whether a given text appears, in part or in full, within a text corpus. 摘要： 我们推出了 FindMyText，这是一个开源 Python 软件包，旨在高效评估给定文本是否部分或全部出现在某个文本语料库中。
The tool builds on prior techniques for document fingerprinting, but extends them with a novel mechanism to explicitly capture sequences of matching fingerprints. 该工具建立在现有的文档指纹识别技术基础之上，并通过一种新颖的机制进行了扩展，能够显式地捕获匹配指纹的序列。
By identifying such chains, the tool can more reliably detect near-verbatim copies of a given text rather than mere textual similarities. 通过识别这些链条，该工具能够更可靠地检测给定文本的近乎逐字的副本，而不仅仅是文本相似性。
This makes FindMyText particularly suited for verifying the presence of copyrighted material in a corpus. 这使得 FindMyText 特别适用于验证语料库中是否存在受版权保护的材料。
Leveraging a distributed, disk-based indexing framework, the system scales to large web-crawled datasets. 该系统利用基于磁盘的分布式索引框架，能够扩展至大规模的网络爬取数据集。
Using a new benchmark for evaluating text containment methods, we show that FindMyText outperforms alternative approaches across three datasets (ArXiv papers, Wikipedia, and generic web content). 通过使用一种评估文本包含方法的新基准，我们证明了 FindMyText 在三个数据集（ArXiv 论文、维基百科和通用网络内容）上的表现均优于其他替代方法。
Paper Details:
- Authors: Lars Henry Berge Olsen, Pierre Lison, Martin Jullum, Mark Anderson
- arXiv ID: 2607.10020
- Subjects: Computation and Language (cs.CL); Artificial Intelligence (cs.AI)
- Submission Date: 10 Jul 2026
论文详情：
- 作者： Lars Henry Berge Olsen, Pierre Lison, Martin Jullum, Mark Anderson
- arXiv ID： 2607.10020
- 学科： 计算与语言 (cs.CL)；人工智能 (cs.AI)
- 提交日期： 2026年7月10日