NeurIPS2021-DualNet: Continual Learning, Fast and Slow

2024-07-02 05:51:50

Abstract

神经科学的理论complementary learning systems; fast学当前具体任务信息（supervised），slow学通用的(self-supervised)

Introduction

the main focus of this study is exploring how the CLS theory can motivate a general continual learning framework with a better trade-off between alleviating catastrophic forgetting and facilitating knowledge transfer.
A single backbone to model both the hippocampus and neocortex; Figure1, slow learner use samples from the memory;

框架上来看，universal里面slow net利用自监督学习，通过memory的样本训练；
Focus在online continual learning, 传统的batch continual learning,

Method

Online continual learning setting.
区别task-aware setting, where only the corresponding classifier is selected to make a prediction; where the task-indentifier is not provided, task-free setting;
什么是episodic memory?
什么是supervised knowledge consolidation?
DualNet使用的是和别人episodic memory的默认配置。
Slow learner-> Self-supervised配置，只使用slow learner
现有各类自监督方法的分类和对应优缺点？
什么是动量更新在自监督里面？
Meta-learning for the slow learner->better generalization
Slow learner的学习方式都是采用集成了现有的方法。
Fast learner如何利用slow learner的信息？也是扩展了[42,43]的相关方法；
如何改进这个变换系数模块（transformation coefficients）？
在fast learner训练的时候，fast和slow learner如何交互？

Experiments

构建的benchmarks,split mini-ImageNet, CORE50；
什么是三个指标定义（ACC，FM，LA）
做了task-aware和task-free两个setting的实验；
分解实验给到了什么信息？4.2就刷sota; 4.3学习slow learner的不同SSL方式（loss和optimier） 4.4.给slower learner学习的时间 4.5 fast learner对性能的贡献；
4.6半监督的continual learning setting

NeurIPS2021-DualNet: Continual Learning, Fast and Slow相关推荐

AI：2020年6月23日北京智源大会演讲分享之智能信息检索与挖掘专题论坛——09:55-10:40刘兵教授《Open-World AI and Continual Learning》
AI:2020年6月23日北京智源大会演讲分享之智能信息检索与挖掘专题论坛--09:55-10:40刘兵教授<Open-World AI and Continual Learning> 导 ...
通过 Continual Learning 提高 ML.NET 模型准确性并增强性能
从事机器学习的学者大多认为持续学习(Continual Learning)是迈向人工智能的根本一步.持续学习是模型模仿人类在整个生命周期中不断从数据流中学习.微调.转移知识和技能的能力.实际上,这意味 ...
CVPR 2020 Workshop on Continual learning in Computer Vision 征稿
点击我爱计算机视觉标星,更快获取CVML新技术为了进一步推广Lifelong Robotic Vision项目,吸引更多的学术工业界的研究开发人员,英特尔中国研究院作为主办方之一在IEEE Con ...
PRN（20210421）：Task-Free Continual Learning
写这篇博客前,我又重新阅读了之前的博客( 利用突触智能实现连续学习|从原理到代码解析(人生好难呀!))的内容,以及文后的那段笔(tu)记(cao).一直没有放弃关注增量式学习的近况,比如:最近ICLR ...
论文笔记：Meta-attention for ViT-backed Continual Learning CVPR 2022
论文笔记:Meta-attention for ViT-backed Continual Learning CVPR 2022 论文介绍论文地址以及参考资料 Transformer 回顾 Self- ...
论文阅读笔记--Federated Continual Learning with Weighted Inter-client Transfer
本文提出了一种新的场景,联邦学习(FL)的每个client各自执行一系列的持续学习(Continual Learning)任务,为了说明这个场景的实际意义,文章给出了这样一个场景: 若干个医院要通过一 ...
【增量学习】综述解析：A continual learning survey: Defying forgetting in classification tasks
论文:Delange, M., Aljundi, R., Masana, M., Parisot, S., Jia, X., Leonardis, A., Slabaugh, G., Tuytelaa ...
《Rethinking Video Anomaly Detection - A Continual Learning Approach》异常检测 WACV-2022
Rethinking Video Anomaly Detection - A Continual Learning Approach WACV-2022 论文源地址:Rethinking Video ...
论文阅读：Compacting, Picking and Growing for Unforgetting Continual Learning
Compacting, Picking and Growing for Unforgetting Continual Learning 这是2019年的NIPS的文章,来自台湾中央研究院资讯科学研究所 ...

最新文章

热门文章