差文解析 IIRC: Incremental Implicitly-Refined Classification
论文地址：[2012.12477] IIRC: Incremental Implicitly-Refined Classification (arxiv.org)
不介意浪费时间的可以把原论文扒出来读一读，见识一下这篇论文的差。（手动狗头）。
不介意浪费时间的可以读一读博主的文章，因为博主已经浪费时间读了一下这个论文，还写了一下。（手动狗头）
本篇论文比较差劲，方法层面相当于提出一个IIRC(Incremental implicitly refined classification)，但是这个IIRC其实就相当于一个多分类任务的类别增量。同时，本文模型层面就是把一些base-line模型改为多分类类别增量模型，也没有提出自己的模型和方法。仅仅相当于做了几个多分类类别增量数据集。
论文署名了Facebook AI，有可能先提出方法占着坑，把base-line运行了，暂未提出自己的方法。也有可能仅仅是水了一篇论文。后面会关注一下论文的后续。目前这个论文读起来非常差劲。我们可以来赏析一下一篇差论文是如何构成的。
另外，有博客还将此文链接链接为CVPR的论文，但是本文根本不是CVPR的论文。
这个只代表论文所属的分类是CV类。跟CVPR这个会议没有关系。
有这个才叫CVPR论文。
目录
1.贡献点
2.方法
2.1相关术语
2.2 模型适应
实验
3.1 数据集
3.2 评价标准
3.3 baseline
四、总结
1.贡献点
IIRC(Incremental implicitly refined classification)的图像输入具有两种细粒度：例如两个级别标签，高级(coarse粗粒度)别是bear, 低级别(fine细粒度)为solar-bear。每次只给模型一个标签，随着训练的深入，模型会学会高细粒度的标签。
例如图2所示，模型刚开始学到的标签是粗粒度的标签，到后面逐渐学会了细粒度的标签。画个图来举例子定义一个问题，还是用手写手绘方式画的图。
贡献点：
- 提出IIRC，IIRC从字面意思理解，就是随着训练的深入，粗粒度的标签会被网络学习为细粒度的标签。（前后细粒度不一样的多分类任务，为啥另立门户叫做IIRC？？）
- 在IIRC环境下，运行了bench mark （这也算贡献点？？）
- 对比了同类的所有的方法（这个贡献点跟上一条有啥区别？？为了凑三个？？）
2.方法
2.1相关术语
- subclass：例如北极熊是熊的subclass
- superclass: 例如狗和牧羊犬，狗就是牧羊犬的super-class
- incomplete information: 不完备的信息，例如有数据有两个标签，只有一个标签被提供; 对于本文的任务，主要的标签大部分都是incomplete information
- complete information: 数据所有标签都被提供
- in-task validation set: 训练初期，标签不完备，因此valid-set只有incomplete information
- post-task validation set: 训练后期，标签已经完备，此时valid-set标签具有所有标签，是complete information
共有N个task,分别是T1，T2，...Tn, 每个task具有3个数据集合，分别是训练集，验证集，测试集。每个数据具有2个标签，分别是superclass label和subclass label.
开始的任务给出的label是superclass label，后面的任务给出的是subclass label（这个限制可能利于网络训练，但是现实世界中的任务可能不会这么容易）
本文总结，增量学习主要有三种方式（这个总结倒是公认）：
- replay based
- regularization based
- parameter isolation methods
2.2 模型适应
本文IIRC的假设，相当于相当于把多分类类别增量运用到了这里。运用binary cross-entropy loss (BCE)来作为分类loss，This loss is averaged by the number of observed classe，即用已有的分类数进行一个平均。
增量学习中广泛采用且效果更好的，nearest-mean-classifier，作者并未使用。将iCaRL的nearest-mean-classifier替换为CNN-classifier （这里被惊到了？iCaRL的一大贡献点就是nearest-mean-classifier，这里作者把iCaRL贡献点删掉，改到原来的CNN分类器，太扯了）
所以，模型适应就是加一个多分类的交叉熵？？？？还把前述经典论文的贡献点阉割了，作为base-line来比？？？
实验
3.1 数据集
作者方法没讲完，直接开始进行了实验。选用了ImageNet和CIFAR-100数据集。
作者费老大劲，用CIFAR和ImageNet做了几个数据集，appendix做了很多。9页论文，20页appendix ？？？这个数据集做到真辛苦。
讲几个sub-class共同构造了super-calss。详细的构造后的统计可以参见论文附录，博主这里懒得读了。
例如图3展示了，IIRC-imageNet数据集之中，每个superclass包含的subclass的数量
3.2 评价标准
对于单类别，一般用MR(Exact Match Ratio)进行衡量，即正确预测的占所有样本的比例：
Y hat表示标签，Y表示预测的输出，共有n个样本。
PS: 作者自己定义了Implicitly-Refine, 但是实际上这个问题就是Multi-class类别增量的一个子集，并且Implicitly-Refine问题还比Multi-class问题更加简单。因此这篇文章可以看作各种已有的类别增量方法在multi-class的问题上的一个base-line。作者下面的做法就是把multi-class的metric进行修改，改为本文适用的metric.
对于多分类问题（multi-class）,大多采用Jaccard similarity(JS)衡量标准，
JS衡量标准中，求和项表示每个样本中，针对多个标签：TruePositive/(TruePositive+FalsePositive)。这样就保证了，如果有一个样本有多个标签，模型如果预测正确其中的一到两个标签，不至于使模型在这个样本上的对准确率的贡献为0.
本文定义了本文的衡量标准，奥不，本文抄了一个衡量标准，即Jaccard similarity作为本文的衡量标准。
（PS，论文中公式不清不楚也没有具体解释）
3.3 baseline
baseline应该是本文的意义所在，因为本文没有提出自己的方法，通篇运用别人的方法。
左边是IIRC-Imagenet-lite数据集，右边是IIRC-Imagenet-full数据集。
性能上限：
- incremental-joint，表示每次增量任务都会连带之前的所有样本一同训练
- joint: 一次性用所有样本训练网络
- ER：vanilla expernence replay: 存储一定数量的旧样本
- ER-infinite, 具有可以存储的数据量无限制。与incremental-joint的区别在于，ER已有的标签包括incomplete标签，incremental-joint标签是所有标签。
本文相当于只公平对比了三种方法。（单单base-line就有四种？？？）
文中最好的方法是iCaRL的方法，以及iCaRL-norm的方法。
iCaRL
LUCIR： CVPR2019
A-GEM, replay-based methods ICML 2019
四、总结
有点惊诧这个论文写成这样，3作还署了Facebook AI，可能论文为了避免方法泄露，先把base-line运行了占着坑。
缺点：
- 本文很多语言比较随意，因为本身任务较为简单，描述清楚并不难。多数用了举例子的方式来进行描述。没有严格按照规范的格式进行书写。
- 作者定义了一个新问题，其实就是每类有两个标签的类别增量，甚至可以被归结为多标签分类问题，并无新意。
- 作者在这定义的问题上运行了base-line，相当于挖了一个坑，然后拿其他增量学习方法进行了对比，但是真实的贡献点并不多。
亮点：
作者做了2个数据集，可以理解为每个样本有两个label的类别增量数据集。
作者把所有的base-line跑了一遍（没有提出自己的方法）
差文解析 IIRC: Incremental Implicitly-Refined Classification相关推荐
- IIRC: Incremental Implicitly-Refined Classification 论文阅读笔记
文章目录 IIRC: Incremental Implicitly-Refined Classification Abstract 1.Introduction 两种lifelong learning ...
- 开课吧：一文解析Nexus是什么
Nexus是Sonatype公司发布的一款仓库(Repository)管理软件,常用来搭建Maven私服,所以也有人将Nexus称为"Maven仓库管理器". 一文解析Nexus是 ...
- 阿里云、腾讯云、百度云究竟谁比较厉害?一文解析云计算的未来趋势
阿里云.腾讯云.百度云究竟谁比较厉害?一文解析云计算的未来趋势 近年来,"云"非常热,此云既非萧红笔下的"火烧云",也不是徐志摩康桥别过的那片云,而是网络虚拟世 ...
- 第五人格服务器维护中8月6日,第五人格5月8日更新维护 最新关键改动一文解析...
第五人格5月8日更新维护 最新关键改动一文解析以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧! 第五人格5月8日进行了更新 ...
- 带你一文解析RCU锁机制原理
原理 Read Copy Update 读(Read):读者不需要获得任何锁就可访问RCU保护的临界区: 拷贝(Copy):写者在访问临界区时,写者"自己"将先拷贝一个临界区副本, ...
- android贝塞尔曲线,一文解析 Android 贝塞尔曲线
原标题:一文解析 Android 贝塞尔曲线 相信很多同学都知道"贝塞尔曲线"这个词,我们在很多地方都能经常看到.利用"贝塞尔曲线"可以做出很多好看的UI效果, ...
- [GCN] 代码解析 of GitHub：Semi-supervised classification with graph convolutional networks
本文解析的代码是论文Semi-Supervised Classification with Graph Convolutional Networks作者提供的实现代码. 原GitHub:Graph C ...
- 一文解析推特上最常见的加密骗局
推特是加密用户最常用的社交媒体之一,在方便我们及时同步行业最新消息的同时,也成为了不少加密骗局的媒介.这篇文章将为大家解析推特上最常见的加密货币和NFT骗局,帮助大家识别和避开这些骗局. 虚假链接骗局 ...
- 一文解析App推广神器deeplink(深度链接)
各个App就像大海中的一座座岛屿,虽然都生活在海洋中(Android系统或iOS),但是它们之间原本是老死不相往来.但随着技术的发展,App间可以打破单体的限制互相打开,或者通过社交媒体分享打开App ...
- 一文解析数据库基础设施的现状与挑战
数据库基础设施现状 信息化系统目前已经是支撑现代化企业运营的重要组成部分,在企业内部存在几十甚至上百个不同的 IT 应用系统,支撑企业的服务渠道.客户营销.产品业务处理.经营管理和决策等各方面,大多数 ...
最新文章
- Lombok经常用，却不知道它的原理是什么
- Django站点管理、视图和URL（管理界面本地化、创建管理员、注册模型类、发布内容到数据库、定义视图、配置URLconf）
- LeetCode 542. 01 Matrix--C++解法--动态规划
- 百度编辑器上传图片自定义路径，访问路径动态加载
- gcc编译自定义头文件
- JQuery.Ajax()的data参数传递方式
- 从零构建vue+webpack （一）
- QFontDatabase: Cannot find font directory
- 浅谈ASP中Web页面间的数据传递
- dubbo-admin管理平台搭建
- java 多个 panel_java – 在JFrame中组织多个JPanel的好方法是...
- HDOJ2024C语言合法标识符
- 《设计原本—计算机科学巨匠Frederick P. Brooks的反思》一一第 3 章 理性模型有哪些缺陷...
- Windows 自动连接wifi的bat批处理脚本
- 无线控制需要服务器,无线局域网无线控制器管理用户通过RADIUS服务器认证的配置-Cisco.PDF...
- 马克飞象的markdown语法和其它markdown语法的区别
- bat文件改成sh文件在linux上运行java程序
- html5拖放详解,HTML5拖拽/拖放(drag drop)详解
- VisionPro初始化 - C#
- ggridges包—峰峦图详细介绍