论文 04 · 人群计数
经二值化迁移的注意力混合网络。
两种注意力回答两个问题——人在哪里,密度如何。AMNet 拒绝二选一。
二值注意力图告诉计数器人群在哪里;非二值图刻画人群内部的密度梯度。以往工作二者取一。AMNet 把共享特征同时供给注意力图生成器与密度图生成器,再用二值化迁移模块(BTM)把二值化过程变成训练中联合优化的可微环节——滤除杂乱背景的同时保住密度结构。
4个数据集:ShanghaiTech A/B、UCF_CC_50、WorldExpo'10、UCF-QNRF
2类被同时利用的注意力图
1个耦合两者的二值化迁移模块
多尺度对抗背景噪声的特征融合
01
问题
人群计数的成败在注意力。二值注意力区分人群区域与复杂背景;非二值注意力刻画区域内部的拥挤梯度。以往方法只取其一——要么输给背景噪声,要么丢掉密度结构。
要问的是:能否两种图同时利用,并且让二值化本身可学习、而非手工设定阈值。
02
方法
AMNet 的共享特征 extractor 同时供给注意力图生成器(二值,候选人群区域)与密度图生成器(非二值,拥挤梯度)。二值化迁移模块把二值化变成可微的联合优化环节——把二值图里干净的区域选择迁移进密度估计,同时保留多尺度细节。

03
结果
在 ShanghaiTech PartA/B、UCF_CC_50、WorldExpo'10、UCF-QNRF 上,AMNet 取得显著的计数精度提升并超过当时的最优方法——增益最大的正是单用二值注意力失效的场景:密集、杂乱。
定性密度图显示机制按设计工作:二值化注意力压制背景,人群内部的密度梯度保持完整。

04
主张边界
✓ 已确立
- 二值与非二值注意力图的同时利用
- 可微的二值化迁移模块实现联合训练
- 四个标准人群计数基准上的一致提升
- 背景抑制且密度保留的定性证据
✗ 明确不主张
- 基准范围限于所测的五个人群计数数据集
- 无部署或实时性主张
- 承认人群图像的隐私语境,但未展开研究
- 无跨领域(非人群)迁移主张
05
引用
@inproceedings{xu2024amnet,
title = {Attention Mixture Network for Crowd Counting
via Binarization Transfer},
author = {Xu, Junjie and Zhang, Zihao and Li, Xin and Li, Weijie
and Yu, Kun},
booktitle = {Proceedings of the 2nd International Workshop on Multimedia
Content Generation and Evaluation (McGE)},
series = {ACM Multimedia 2024},
year = {2024},
doi = {10.1145/3688867.3690172}
}