Domain generalization

一、综述
　　最近由于交流的需要，读了几篇关于Domain adaptation的文章，其中一种名叫Domain generalization的技术引起了我的注意，这种技术可以在target domain未知的情况下训练出分类器而且性能还相当不错，下面就对这种技术进行一下简单的介绍。

二、迁移学习
　　提到Domain adaptation，就不得不提到迁移学习（transfer learning），按照我的理解，Domain adaptation算是迁移学习中的一种特殊算法，在介绍Domain adaptation之前，先对迁移学习进行简单的介绍。
　　迁移学习出现的背景如下：在一些新兴领域很难得到我们需要的大量的训练数据，另外，传统的机器学习需要对每个领域都标定大量训练数据，这将会耗费大量的人力与物力。而迁移学习的目标是将从一个环境中学到的知识用来帮助新环境中的学习任务。因此，相对于传统的机器学习假设训练数据与测试数据服从相同的数据分布，迁移学习不会像传统机器学习那样作同分布假设。
　　迁移学习是指一个学习算法可以利用不同学习任务之间的共性来共享统计的优点和在任务间迁移知识。传统的机器学习假设训练数据与测试数据服从相同的数据分布。如果我们有了大量的、在不同分布下的训练数据，完全丢弃这些数据也是非常浪费的。如何合理的利用这些数据就是迁移学习主要解决的问题。迁移学习可以从现有的数据中迁移知识，用来帮助将来的学习。

三、Domain adaptation
　　Domain adaptation中文名称是域自适应学习，可以有效处理训练数据与测试数据具有不同分布的问题。拿经典的垃圾邮件分类问题来说，分类器是在某个用户的邮箱数据上训练完成的，再将分类器用到另一个与训练用户邮箱中的邮件内容很大程度上不相关的另一个用户的邮件上面，就可以用域自适应学习来解决。再介绍Domain adaptation中的两个概念：source domain 和 target domain；中文名称是源域和目标域，分别对应于普通机器学习任务的训练集和测试集。下面引用自动化学报《域自适应学习研究进展》这篇文章对域自适应学习的描述：

　　域自适应学习能够有效地解决训练样本和测试样本概率分布不一致的学习问题, 作为机器学习新出现的研究领域在近几年受到了广泛的关注。传统的机器学习算法中, 通常假设训练样本和测试样本来自同一概率分布, 然后设计相应的模型和判别准则对待测试的样例的输出进行预测.。但是实际上当前很多学习场景下训练样本的概率分布和测试样本的概率分布是不同的, 例如如何根据老用户的邮件信息设计一种面向新用户的垃圾邮件过滤系统、自然语言处理方面的情感分析、依存句法分析、跨语言处理等都属于域自适应学习问题.。如何在这种源域和目标域概率分布不一致的情况下进行学习即为域自适应学习问题。因此, 域自适应学习的重点在于如何克服源域分布和目标域分布不同, 实现目标域上的学习任务。

四、Domain generalization
　　终于进入到我们的正题 domain generalization了，domain generalization是domain adaptation中的一种特殊的技术，其目的是基于domain adaptation技术学习对于任何不可见的target domain的具有很强鲁棒性的分类器。所谓不可见的target domain是指在分类器的训练过程中，我们并不知道target domain的任何情况。与传统的机器学习方法不同，由于目标域和源域是具有不同的概率分布的，如果在训练过程中我们无法获得目标域的任何信息就代表着训练出的分类器可能无法在目标域上取得良好的表现，而在现实应用中，目标域往往是不可知的，在这种背景下domain generalization应运而生。
　　从其目的上看，这项技术有两个主要的难点：1.目标域不可见 2.要对任何目标域都起作用。按照我个人的理解，第二项难点中的“任何”二字应该还是有局限的，比如说源域为图像分类任务，目标域应该也和图像分类有关而不能是自然语言理解之类的任务，所以在这里的“任何”并不是广义上的任何。在这个层面上来讲，我们剩下的难点就可以融合成一个，即目标域不可知。
　　目前成熟的domain generalization方法基本可以分为三类，分别是：
　　1.feature-based method [1,2,3,4,5]
　　2.classifier-based method [6,7,8,9,10]
　　3.instance-reweighting method
　　在第一类方法中，主要通过设计跨域不变特征来实现domain generalization；第二类方法往往是针对每个数据集也就是源域中的每一个子域对子分类器进行设计，然后将子分类器结合成一个融合分类器来实现domain generalization；最后一类方法我不是很了解，有想深入了解的读者可以读一下《Correcting sample selection bias by unlabeled data》这篇文章。

原文：https://blog.csdn.net/qrlhl/article/details/51119973

Domain generalization相关推荐

一篇综述带你全面了解迁移学习的领域泛化(Domain Generalization)
领域泛化 (Domain Generalization, DG) 是近几年非常热门的一个研究方向.它研究的问题是从若干个具有不同数据分布的数据集(领域)中学习一个泛化能力强的模型,以便在未知 (Un ...
如何通过Meta Learning实现域泛化（Domain Generalization）？
©作者 | 丘明姗单位 | 华南理工大学研究方向 | 领域泛化域泛化(Domain Generalization)中有很多工作是用 meta learning 做的.Meta learning ...
Domain Generalization数据集整理
目录一.引言二.Datasets 1.PACS 2. Office-Home 3. VLCS 4.TerraIncognita (subset) 5.DomainNet 一.引言自从Domain ...
领域泛化（Domain Generalization）
文章目录前言问题定义理论方法应用与数据集未来挑战参考前言领域泛化 (Domain Generalization, DG) 是近几年非常热门的一个研究方向.它研究的问题是从若干个具有不 ...
从ICML 2022看域泛化（Domain Generalization）最新进展
©PaperWeekly 原创 · 作者 | 张一帆单位 | 中科院自动化所博士生研究方向 | 计算机视觉 Domain Generalization(DG:域泛化)一直以来都是各大顶会的热门研究 ...
Domain generalization 简介
一.综述最近由于交流的需要,读了几篇关于Domain adaptation的文章,其中一种名叫Domain generalization的技术引起了我的注意,这种技术可以在target domain ...
Generalizing to Unseen Domains: A Survey on Domain Generalization 论文分享
这篇论文应该是领域泛化领域第一篇综述,楼主花了些时间较为仔细的读了一下,写了这篇笔记 1.理论分析(论文所有的分析都基于二分类问题,分析工具会用到VC维) Domain Adaptation中的err ...
【领域泛化论文阅读】Generalizing to Unseen Domains: A Survey on Domain Generalization
传统的机器学习是假设训练数据和测试数据独立同分布进行训练的,当训练数据和测试数据的分布不同,也就是域分布不同时,模型的性能将大大下降.而迁移学习是在训练数据和测试数据服从不同的数据的概率分布时,提高模 ...
Domain Generalization by Solving Jigsaw Puzzles----论文翻译
目录 Abstract Introduction The JiGen Approach Extension to Unsupervised Domain Adaptation Implementati ...
Domain adaptation 与 Domain generalization
一.Domain adaptation (DA) 1. 基本介绍 1. 什么是domain?: 一堆数据服从相同的分布. 2. Domain adaptation 研究的问题给了一个training ...

Domain generalization

Domain generalization相关推荐

最新文章

热门文章