CodecMotion-OAD: Efficient Online Action Detection with Compressed-Domain Motion

查看原文 / View Original 编辑 / Edit

Computer Science > Computer Vision and Pattern Recognition arXiv:2610.26915 (cs) [Submitted on 17 Oct 2026] Title: CodecMotion-OAD: Efficient Online Action Detection with Compressed-Domain Motion Authors: Zepeng Sun, Naichuan Zheng, Hailun Xia, Junjie Wu.

计算机科学 > 计算机视觉与模式识别 arXiv:2610.26915 (cs) [提交于 2026 年 10 月 17 日] 标题：CodecMotion-OAD：基于压缩域运动的高效在线动作检测作者：Zepeng Sun, Naichuan Zheng, Hailun Xia, Junjie Wu。

Abstract: Online action detection (OAD) identifies ongoing actions in streaming videos. Many existing OAD systems combine RGB appearance with optical flow, but dense-flow extraction remains a major computational bottleneck.

摘要：在线动作检测 (OAD) 用于识别流媒体视频中正在进行的动作。许多现有的 OAD 系统将 RGB 外观与光流相结合，但稠密光流提取仍然是一个主要的计算瓶颈。

Codec motion vectors (MVs) are available during decoding, avoiding a separate optical-flow computation. On THUMOS’14, optical flow exceeds MVs by 11.2 mAP points with motion-only inputs, whereas the gap narrows to 3.7 points after RGB fusion, with the largest reduction in action-category discrimination.

编解码器运动矢量 (MV) 在解码过程中即可获取，从而避免了额外的光流计算。在 THUMOS’14 数据集上，仅使用运动输入时，光流比 MV 高出 11.2 个 mAP 点；而在 RGB 融合后，这一差距缩小至 3.7 个点，其中动作类别判别的差距缩减最为显著。

We propose CodecMotion-OAD, which replaces optical flow with decoder-provided MVs while retaining existing temporal detector architectures. Its two-stage training first aligns MV features with a pretrained flow-feature interface without action labels and then trains RGB+MV detectors using ground-truth labels and soft predictions from a frozen RGB+Flow teacher.

我们提出了 CodecMotion-OAD，它用解码器提供的 MV 替换了光流，同时保留了现有的时间检测器架构。其两阶段训练首先在没有动作标签的情况下，将 MV 特征与预训练的光流特征接口对齐，然后使用真实标签以及来自冻结的 RGB+Flow 教师模型的软预测来训练 RGB+MV 检测器。

To the best of our knowledge, this is the first application of codec MVs to frame-level OAD. On THUMOS’14 with MiniROAD, CodecMotion-OAD achieves 68.3 mAP versus 70.9 mAP for matched-distillation RGB+Flow, while reducing decoder-to-prediction processing time by 11.48-fold on CPU and 2.04-fold on GPU.

据我们所知，这是编解码器 MV 在帧级 OAD 中的首次应用。在采用 MiniROAD 的 THUMOS’14 上，CodecMotion-OAD 达到了 68.3 mAP，而匹配蒸馏的 RGB+Flow 为 70.9 mAP，同时将从解码到预测的处理时间在 CPU 上缩短了 11.48 倍，在 GPU 上缩短了 2.04 倍。