Harm is not Universal: Community-Specific Toxicity Detection is Urgently Needed

伤害并非普适：社区特定毒性检测迫在眉睫

Abstract: State-of-the-art toxicity detectors for text-to-image generation adopt a one-size-fits-all approach: a single universal model applying fixed safety guidelines to all users. Our empirical evidence shows that these detectors fail to shield marginalized communities: approximately 35% of generated images labeled safe are considered harmful by disability communities.

摘要： 目前最先进的文生图（text-to-image）毒性检测器采用的是“一刀切”的方法：即使用单一的通用模型，并对所有用户应用固定的安全准则。我们的实证研究表明，这些检测器未能有效保护边缘化群体：约 35% 被标记为“安全”的生成图像，在残障人士社区看来却是有害的。

In this position paper, we argue for community-specific toxicity detection (CTD). To demonstrate its feasibility, we collaborate with disability experts to develop safety guidelines for two communities: dwarfism and blind/low vision. Using a dataset of 2,400 annotated T2I-generated images we demonstrate that both large vision-language models and existing general-purpose toxicity detectors catastrophically fail to recognize harmful content under these guidelines in zero-shot settings with F1 score lower than random guessing (F1 0.32 and 0.37).

在这篇立场论文中，我们主张采用“社区特定毒性检测”（Community-Specific Toxicity Detection, CTD）。为了证明其可行性，我们与残障领域专家合作，为两个群体制定了安全准则：侏儒症群体以及盲人/低视力群体。通过使用包含 2,400 张已标注文生图的数据集，我们证明了大型视觉语言模型和现有的通用毒性检测器在零样本（zero-shot）设置下，完全无法识别符合这些准则的有害内容，其 F1 分数甚至低于随机猜测（F1 分数分别为 0.32 和 0.37）。

Promisingly, prompt-based adaptation methods (ICL, VQA) substantially improve harm detection performance (GPT-4o: F1 0.50 and 0.78), while parameter-efficient fine-tuning improves smaller models (0.5b-7b with best F1 0.48 and 0.59) with less than 100 demonstrations, but remains sensitive to evolving guidelines. Despite these gains, CTD performance remains far below F1 $\approx 0.9$ achieved for general-purpose toxicity detection, highlighting the challenge and the need for sustained research effort.

令人欣慰的是，基于提示词的适配方法（如 ICL、VQA）显著提升了有害内容的检测性能（GPT-4o 的 F1 分数达到 0.50 和 0.78）；同时，参数高效微调（PEFT）在少于 100 个示例的情况下，也提升了较小模型（0.5b-7b，最佳 F1 分数为 0.48 和 0.59）的表现，但这些方法对不断演变的准则仍然较为敏感。尽管取得了这些进展，CTD 的性能仍远低于通用毒性检测所达到的 F1 $\approx 0.9$ 的水平，这凸显了该领域的挑战性，以及持续投入研究的必要性。