CCTrans: Simplifying and Improving Crowd Counting with Transformer

提出问题：

CNN感受野有限无法对全局上下文进行建模,而Transformer可以。

解决方法：

1）基于 Vision Transformer 构建结构简单且高性能的人群计数网络。

2）针对性地设计了有效的特征聚合模块以及高效的多尺度感受野回归头。

3）优化了现有的强、弱监督损失函数，提升了模型鲁棒性。

4）在五个主流数据集上均有不错的表现，在线测试数据集 NWPU-Crowd 上目前排名第一。

提出了一种在弱监督和完全监督设置下进行人群计数的简单传输路径。该传输路径包含四个组件：

一个金字塔Vision Transformer，用于更好地捕捉全局上下文；

一个金字塔特征聚合(PFA)模块，结合低层和高层特征，充分利用从粗到细的信息；

多尺度扩展卷积（MDC）的高效回归头来用于提供多尺度感受野,预测密度图；

尾损失函数，用于稳定训练过程。

损失函数：

弱监督使用smooth加权损失，由计数损失、最优运输（OT）损失和总变化（TV）损失的加权总和表示。

完全监督损失函数使用smooth L1损失。

实验结果：

CCTrans: Simplifying and Improving Crowd Counting with Transformer相关推荐

TransCrowd: Weakly-Supervised Crowd Counting with Transformer解读
论文:https://arxiv.org/abs/2104.09116 代码:GitHub - dk-liang/TransCrowd: TransCrowd: Weakly-Supervised C ...
TransCrowd: Weakly-Supervised Crowd Counting with Transformer
提出问题: 当前弱监督计数方法采用CNN,而CNN感受野有限. 解决方法: 1)第一个纯基于Transformer的人群计数框架.从序列到计数的角度重新表述了计数问题,并提出了一种弱监督计数方法,该方 ...
Crowd Counting论文小结（持续更新）
Crowd Counting论文小结(持续更新) CSRNet: Dilated Convolutional Neural Networks for Understanding the Highly ...
论文介绍《CrowdFormer： An Overlap Patching Vision Transformer for Top-Down Crowd Counting 》
paper [ijcai2022] CrowdFormer: An Overlap Patching Vision Transformer for Top-Down Crowd Counting co ...
人群计数Crowd counting 和 Swin Transformer
文章题目:CCST: crowd counting with swin transformer 文章链接:https://link.springer.com/article/10.1007/s0037 ...
【MAFNet】 A Multi-Attention Fusion Networkfor RGB-T Crowd Counting解读
论文:https://arxiv.org/abs/2208.06761 二作是Junyu Gao,github上awesome-crowd-counting千星的作者.推荐一下他的github:Git ...
【论文汇总】RGB-T/D Crowd Counting论文汇总
[RGBT-CC] Cross-Modal Collaborative Representation Learning and a Large-Scale RGBT Benchmark for Cro ...
人群密度估计--Structured Inhomogeneous Density Map Learning for Crowd Counting
Structured Inhomogeneous Density Map Learning for Crowd Counting https://arxiv.org/abs/1801.06642 针对 ...
人群密度估计--Leveraging Unlabeled Data for Crowd Counting by Learning to Rank
Leveraging Unlabeled Data for Crowd Counting by Learning to Rank CVPR2018 https://github.com/xialeil ...