Side-Tuning:domain adaption

1、介绍
Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks侧调（通常是网络自适应）的目标是利用预先训练的模型来更好地学习一个或多个新颖的任务。侧调方法很简单：它假设访问给定的（基本）模型B:X→Y，将输入X映射到某个表示Y上。然后，侧调学习一个侧模型S:X→Y，因此目标任务的计划表示如下
R（x）=B（x）⊕S（x）
对于某些组合操作⊕。例如，选择
B（x）⊕S（x）=αB（x）+（1−α）S（x）（通常称为α-混合）可减少侧调方法，以根据α（图2，右图）进行微调、特征提取和阶段性训练。因此，这些可以看作是侧调方法的特殊情况（图1）。基本模型。基本模型B（x）提供了一些核心的认知或感知，我们对B（x）的计算方式没有任何限制。我们从不更新B（x），而且在我们的方法中，它的可学习参数为零。
第一步：利用侧调模型对源域任务进行训练，训练过程中改变α参数的值：

第二步：固定左侧模型，对右侧模型进行side-tune：

Side-Tuning:domain adaption相关推荐

学习笔记|领域自适应（Domain adaption)——实现模型的自适应迁移
1. 领域自适应网络概述有时候我们在某个领域训练出的一个模型,想迁移到另一个领域,这样我们就不需要每个领域都去标注大量的数据了.但是这两个领域的数据分布是有些差异,要如何办呢?比如我们在黑白图片上训 ...
Domain Adaption 领域自适应
定义(from Wiki): Domain Adaption是transfer leanring(迁移学习)中很重要的一项内容.主要目的是将具有不同分布的(data distribution)的具有标 ...
CYCADA: cycle-consistent adversaial domain adaption阅读笔记
CYCADA: cycle-consistent adversaial domain adaption阅读笔记目录 CYCADA: cycle-consistent adversaial domai ...
style transfer/domain adaption简介
style transfer和domain adaption还是有很多相似之处的,本文挑选几篇文章进行简略介绍 Texture Synthesis Using Convolutional Neural ...
论文阅读问题总结(六)：Meta-Learning with Domain Adaption for Few-shot Learning Under Domain Shift
1.这篇paper作者提出要解决的问题? 作者提出,大部分现存的小样本元学习领域的一些工作都基于两个假设: training task和testing task都是从满足同一task distribu ...
MPDA：基于Domain Adaption的V2X协同感知（3D目标检测）
标签:Domain gap:CP without sharing the model information:Intermediate Fusion:3D Object Detection: 论文标题 ...
Adversarial Discriminative Domain Adaption 阅读笔记
文章发表于 CVPR 2017 文章利用GAN网络的思想用于cross-domain识别文章首先提到 1 先前的生成网络不适用于大的domain shift 2 先前的辨别网络施加固定的权重,没有利 ...
Domain Adaption
source domain target domain 源域和目标域往往属于同一类任务,但是分布不同. 根据目标域和源域的不同类型,领域自适应问题有四类不同的场景:无监督的,有监督的,异构分布和多个源 ...
转载：domain adaption
有一篇论文([cvpr2017]Joint Geometrical and Statistical Alignment for Visual Domain Adaptation )对Domain Ad ...
Unsupervised Domain Adaption of Object Detectors : A Survey
目录摘要 1.简介 2.2.域适配 2.2.1.无监督域适配 3.方法 3.1.对抗特征学习 3.1.1.通过梯度倒转来进行特征学习 3.1.2.通过对抗训练来进行域适应检测 3.1.3.权重对抗特 ...

Side-Tuning:domain adaption

Side-Tuning:domain adaption相关推荐

最新文章

热门文章