论文 04 · 人群计数

经二值化迁移的注意力混合网络。

两种注意力回答两个问题——人在哪里,密度如何。AMNet 拒绝二选一。

已发表 · ACM MM 2024 (McGE) 人群计数 双重注意力 二值化迁移

许俊杰*、张子豪*、李鑫、李蔚杰、于锟 · 华东师范大学(* 共同一作,† 通讯)

二值注意力图告诉计数器人群在哪里;非二值图刻画人群内部的密度梯度。以往工作二者取一。AMNet 把共享特征同时供给注意力图生成器与密度图生成器,再用二值化迁移模块(BTM)把二值化过程变成训练中联合优化的可微环节——滤除杂乱背景的同时保住密度结构。

4个数据集:ShanghaiTech A/B、UCF_CC_50、WorldExpo'10、UCF-QNRF
2类被同时利用的注意力图
1个耦合两者的二值化迁移模块
多尺度对抗背景噪声的特征融合
01

问题

人群计数的成败在注意力。二值注意力区分人群区域与复杂背景;非二值注意力刻画区域内部的拥挤梯度。以往方法只取其一——要么输给背景噪声,要么丢掉密度结构。

要问的是:能否两种图同时利用,并且让二值化本身可学习、而非手工设定阈值。

02

方法

AMNet 的共享特征 extractor 同时供给注意力图生成器(二值,候选人群区域)与密度图生成器(非二值,拥挤梯度)。二值化迁移模块把二值化变成可微的联合优化环节——把二值图里干净的区域选择迁移进密度估计,同时保留多尺度细节。

传统注意力人群计数流水线与 AMN 的二值+密度注意力协同流水线
图 1传统注意力流水线(蓝、黄流)vs AMN 流水线(红流)——二值与密度注意力图由竞争转为协作。
03

结果

在 ShanghaiTech PartA/B、UCF_CC_50、WorldExpo'10、UCF-QNRF 上,AMNet 取得显著的计数精度提升并超过当时的最优方法——增益最大的正是单用二值注意力失效的场景:密集、杂乱。

定性密度图显示机制按设计工作:二值化注意力压制背景,人群内部的密度梯度保持完整。

AMNet 架构:共享特征供给注意力图生成器与密度图生成器,多尺度融合
图 2AMNet 架构——特征流向注意力图生成器(AMG)与密度图生成器(DMG),多尺度融合得到最终密度估计。
04

主张边界

✓ 已确立

  • 二值与非二值注意力图的同时利用
  • 可微的二值化迁移模块实现联合训练
  • 四个标准人群计数基准上的一致提升
  • 背景抑制且密度保留的定性证据

✗ 明确不主张

  • 基准范围限于所测的五个人群计数数据集
  • 无部署或实时性主张
  • 承认人群图像的隐私语境,但未展开研究
  • 无跨领域(非人群)迁移主张
05

引用

@inproceedings{xu2024amnet,
  title     = {Attention Mixture Network for Crowd Counting
               via Binarization Transfer},
  author    = {Xu, Junjie and Zhang, Zihao and Li, Xin and Li, Weijie
               and Yu, Kun},
  booktitle = {Proceedings of the 2nd International Workshop on Multimedia
               Content Generation and Evaluation (McGE)}, 
  series    = {ACM Multimedia 2024},
  year      = {2024},
  doi       = {10.1145/3688867.3690172}
}