Summarize, Judge, Refine: Decoupled Content Understanding and Policy Learning for Multimodal Content Moderation

总结、判断、精炼：用于多模态内容审核的解耦内容理解与策略学习

Abstract: Content moderation systems traditionally entangle multimodal understanding with policy-specific classification, requiring full pipeline retraining for every policy change and suffering from label scarcity since multimedia cannot be meaningfully augmented.

摘要： 传统的内容审核系统将多模态理解与特定策略的分类任务耦合在一起，这意味着每次策略变更都需要对整个流程进行重新训练。此外，由于多媒体数据无法进行有效的增强，这些系统还面临着标签稀缺的问题。

We propose Summarize-Judge-Refine (SJR), a two-model architecture that decouples these concerns via a natural language interface: a multimodal Content Model produces structured text summaries, and a text-only Policy Model classifies them against policy definitions.

我们提出了“总结-判断-精炼”（Summarize-Judge-Refine, SJR）架构。这是一种双模型架构，通过自然语言接口将上述两个问题解耦：多模态“内容模型”负责生成结构化的文本摘要，而纯文本的“策略模型”则根据策略定义对这些摘要进行分类。

An iterative co-training loop refines the Content Model via GRPO to produce policy-relevant summaries, while text-space augmentation generates adversarial summary variants---an augmentation pathway impossible on raw multimedia---enabling few-shot policy bootstrap.

通过迭代协同训练循环，利用 GRPO（组相对策略优化）不断精炼内容模型，使其能够生成与策略高度相关的摘要。同时，在文本空间进行的增强操作可以生成对抗性的摘要变体——这是一种在原始多媒体数据上无法实现的增强路径——从而实现了少样本的策略引导（few-shot policy bootstrap）。

Every decision is grounded in a human-readable summary, providing interpretability as a structural byproduct.

每一个决策都基于人类可读的摘要，从而将可解释性作为该架构的一种结构性副产品提供出来。

On misleading advertisement detection, SJR achieves +23.6% relative non-misleading F1 over a zero-shot chain-of-thought baseline, outperforming end-to-end SFT, STaR/RFT, and RLFT.

在误导性广告检测任务中，SJR 相比零样本思维链（zero-shot chain-of-thought）基准，在非误导性 F1 指标上实现了 23.6% 的相对提升，表现优于端到端 SFT、STaR/RFT 和 RLFT 等方法。

Notably, a variant trained on zero real violating examples---with all positive-class data synthetically generated---matches the full-data model within 0.2% relative on violating F1, demonstrating that new policies can launch without any real violation data.

值得注意的是，该模型的一个变体在完全没有真实违规样本的情况下进行训练（所有正类数据均为合成生成），其违规 F1 指标与使用全量数据训练的模型相比，相对差距仅在 0.2% 以内。这证明了新策略可以在没有任何真实违规数据的情况下成功上线。