多任务学习：MultiTask Learningin Deep Neural Nets

作者：禅与计算机程序设计艺术

1.简介

2017年ImageNet图像识别挑战赛(ILSVRC)成功召开，给计算机视觉领域带来了极大的发展。在今年的比赛中，深度学习技术已经成为主流。本文将从深度神经网络(DNNs)的视角出发，探讨多任务学习(MTL)在DNNs上的应用。MTL可看作是一种机器学习方法，它允许一个模型同时解决多个相关的问题。举例来说，在图像分类任务中，模型可以同时训练两个相关的任务：分类、检测。在目标检测任务中，模型可以同时训练两个相关的任务：回归和分类。
MTl最早由Hinton、Bengio和Courville于2006年提出。其主要特点是利用多个不同的数据源进行训练。这些数据源既包括原始输入特征，也包括标签信息。与传统的单任务学习相比，MTL有以下优点：

提升模型效果
更多样化的表现形式
模型更鲁棒
在多任务学习过程中，有些任务之间存在依赖关系。因此，模型需要先学习到某个任务，才能开始学习其他相关任务。这种依赖关系可以用图来表示，如下所示：

图左边的模型只有检测任务；图右边的模型只有分类任务。但是，在图中间的模型可以同时学习分类和检测任务。
MTL通过引入一系列共享层或参数，实现模型对多个任务之间潜在的依赖关系进行建模。通过共享层或参数，模型能够共同优化所有任务的损失函数，而不需要分别针对不同的任务来设计不同的优化过程。
随着MTL在计算机视觉方面的应用越来越广泛，本文将以图像分类为例，阐述多任务学习在深度神经网络(DNNs)上的应用。基于经典的LeNet、AlexNet和VGG等深度神经网络结构，将介绍如何在DNNs上实现多任务学习。最后，

多任务学习：MultiTask Learningin Deep Neural Nets相关推荐

多任务学习 (Multitask Learning) 汇总
1 前言多任务学习(Multi-task learning)是和单任务学习(single-task learning)相对的一种机器学习方法.在机器学习领域,标准的算法理论是一次学习一个任务,也就是 ...
深度学习核心技术精讲100篇（八）-keras 实战系列之深度学习中的多任务学习(Multi-task learning)
多任务学习(Multi-task learning)简介多任务学习(Multi-task learning)是迁移学习(Transfer Learning)的一种,而迁移学习指的是将从源领域的知识( ...
如何融合多任务学习 (Multi-Task Learning ) 损失函数loss
目录 1 Uncertainty Weighting 1.1 基础概念 1.2 方法 2 GradNorm 2.1 原理 2.2 方法 3 Multi-Objective Optimisation 3 ...
经验 | 训练多任务学习(Multi-task Learning)方法总结
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达转载于:知乎Anticoder https://zhuanlan. ...
多任务学习(Multi-task Learning)方法总结
多任务学习(multi task learning)简称为MTL.简单来说有多个目标函数loss同时学习的就算多任务学习.多任务既可以每个任务都搞一个模型来学,也可以一个模型多任务学习来一次全搞定的. ...
5.深度学习练习：Deep Neural Network for Image Classification: Application
本文节选自吴恩达老师<深度学习专项课程>编程作业,在此表示感谢. 课程链接:https://www.deeplearning.ai/deep-learning-specialization ...
机器学习实战（十一）：Training Deep Neural Nets
深层DNN可能出现的问题: 梯度消失.梯度爆炸问题,影响深度神经网络,导致底层训练困难网络庞大,训练缓慢容易overfitting 本章将会探讨梯度消失的流行解决方案,训练大模型明显提速的优化器( ...
密集预测任务的多任务学习（Multi-Task Learning）研究综述 - 网络结构篇（上）
[ TPAMI 2021 ] Multi-Task Learning for Dense Prediction Tasks: A Survey [ The authors ] • Simon Vand ...
多任务学习综述：推荐系统多任务学习（multitask）的实战总结和常见问题（一）
多任务学习算法系列的主要内容是回顾和总结自己2019-2021间在深度学习多任务学习算法(multitask)的工业实践和遇到的常见问题,欢迎更多同学讨论和指正,同时也宣传一波我们组在推荐方向的工作成 ...
A 'Brief' History of Neural Nets and Deep Learning, Part 4
原文作者为andreykurenkov.本文系转载,仅供各位深度学习爱好者学习使用. "Ask anyone in machine learning what kept neural net ...

多任务学习：MultiTask Learningin Deep Neural Nets

1.简介

多任务学习：MultiTask Learningin Deep Neural Nets相关推荐

最新文章

热门文章