Consistent-Teacher

《Consistent-Teacher: Towards Reducing Inconsistent Pseudo-targets in Semi-supervised Object Detection》是一篇关于半监督目标检测的论文。该论文提出了一种新的方法，称为“Consistent-Teacher”，用于减少伪目标（pseudo-targets），这些伪目标是由于标签的不一致性而引入到训练中的错误对象。

在本研究中，研究者深入研究了半监督目标检测（SSOD）中伪目标的不一致性。核心观察结果是，振荡的伪目标破坏了精确的半监督检测器的训练。它不仅给学生的训练注入了噪声，而且导致了分类任务的严重过拟合。因此，研究者提出了一个系统的解决方案，称为一致教师，以减少不一致。首先，自适应锚分配（ASA）取代了基于静态IoU的策略，使学生网络能够抵抗噪声伪边界盒；然后，通过设计三维特征对齐模块（FAM-3D）来校准子任务预测。它允许每个分类特征在任意尺度和位置自适应地查询回归任务的最优特征向量。最后，高斯混合模型（GMM）动态地修正了伪框的得分阈值，从而稳定了基本事实的数量

论文地址：https://arxiv.org/abs/2209.01589

在这项研究中，研究者指出，半监督检测器的性能仍然在很大程度上受到伪目标不一致性的阻碍。不一致意味着伪框可能非常不准确，并且在训练的不同阶段变化很大。因此，不一致的振荡边界盒（bbox）会使SSOD预测产生累积误差。与半监督分类不同，SSOD有一个额外的步骤，即为每个RoI/锚点分配一组伪框作为密集监督。常见的两级和单级SSOD网络采用静态的锚分配标准，例如IoU分数或中心度。据观察，静态作业对教师预测的边界框中的噪声很敏感，因为假边界框中一个小的扰动可能会极大地影响作业结果。因此，它导致未标记图像上的严重过拟合。

为了验证这一现象，在MS-COCO 10%数据的基础上，用基于IoU的标准分配来训练单级探测器。如下图所示，教师输出的微小变化导致伪框边界中的强噪声，导致在基于IoU的静态分配下，错误目标与附近对象相关联。这是因为一些未激活的主播在学生网络中被错误地分配为阳性。因此，网络会过拟合，因为它会为相邻对象生成不一致的标签。在未标记图像的分类损失曲线中也观察到过拟合。

不一致是指伪框可能高度不准确，并且在不同的训练阶段差异很大。

（左）比较“Mean-Teacher ”和“Consistent-Teacher”的训练损失。在Mean-Teacher中，不一致的伪目标导致分类分支上的过拟合，而回归损失变得难以收敛。相反，新提出的方法为学生设定了一致的优化目标，有效地平衡了这两项任务并防止了过度拟合。

（右）伪标签和分配动态的快照。绿色和红色的框指的是北极熊的真值和伪值。红点是为伪标签指定的定位框。热图表示教师预测的密集置信度分数（越亮越大）。附近的木板最终在基线中被错误地归类为北极熊，而提出的自适应分配防止了过度拟合。

实验及结果

研究者的工作解决了SSOD的不一致问题。以下是训练过程中不同时间步长的一些样本检测结果：

whaosoft aiot http://143ai.com

Consistent-Teacher相关推荐

【Knowledge distillation: A good teacher is patient and consistent】
在计算机视觉方面,实现最先进性能的大型模型与实际应用中简单的模型之间的差距越来越大.在本文中,将解决这个问题,并显著地弥补这2种模型之间的差距. 在实证研究中,作者的目标不是一定要提出一种新的方法,而 ...
设有一数据库，包括四个表：学生表（Student）、课程表（Course）、成绩表（Score）以及教师信息表（Teacher）。...
一. 设有一数据库,包括四个表:学生表(Student).课程表(Course).成绩表(Score)以及教师信息表(Teacher).四个表的结构分别如表1-1的表(一)~表( ...
一致性 hash 算法（ consistent hashing ）
原文地址:http://blog.csdn.net/sparkliang/article/details/5279393 consistent hashing 算法早在 1997 年就在论文 Cons ...
一致性哈希(Consistent Hashing)
在大型web应用中,缓存可算是当今的一个标准开发配置了.在大规模的缓存应用中,应运而生了分布式缓存系统.分布式缓存系统的基本原理,大家也有所耳闻.key-value如何均匀的分散到集群中?说到此,最常 ...
论文：Insights on Transfer Optimization: Because Experience is the Best Teacher（１）文章结构以及以及自己的感觉
链接: IEEE Xplore Search Results https://ieeexplore.ieee.org/search/searchresult.jsp?newsearch=true&a ...
关于数据表中插入数据报错(pymysql.err.IntegrityError) (1062, “Duplicate entry ‘0112‘ for key ‘‘teacher.PRIMARY‘“)
文章目录 1.错误截图: 2.错误解决方案: 1.错误截图: 2.错误解决方案: 数据库的teacher表中已经存在了该数据.执行下面的操作会将报上面的错误. 在设置id和username属性的时候, ...
关于consistent hash的思考及改进方案
这里默认读者已经知道了一致性hash算法的原理. 1. 为什么在某台机器宕机之后consistent hash算法能够避免所有或者大部分key重新hash? 首先需要弄清的是,如果某一台机器宕机之后, ...
聊聊jump consistent hash
序本文主要简介一下jump Consistent hash. jump consistent hash jump consistent hash是一致性哈希的一种实现,论文见A Fast, Mini ...
An eventually consistent data model for Erlang (and Riak)
CAP理论指出:一个分布式系统不可能同时满足一致性(Consistency).可用性(Availibility)和分区容忍性(Partition Tolerance)这三个需求,最多只能同时满足其中的 ...
定义一个Teacher（教师)类,和一个Student(学生)类
定义一个Teacher(教师)类,和一个Student(学生)类,二者有一部分数据成员是相同的,例如num(号码),name(姓名),sex(性别).编写程序,将一个Student对象转换为Teac ...

Consistent-Teacher

Consistent-Teacher相关推荐

最新文章

热门文章