Multi-view Learning 多视角学习入门

标签：机器学习

在上海呆了一年了，从啥都不会到啥都不会，还是要回归博客，做做小结整理整理……
多视角学习是老板的拿手好戏，最近布置的任务也和多视角相关。经过老板的一番吐槽，在找论文时候要注意其上过哪些会议，比较好的会议上论文的质量较高。经过多方求助，入门可以从最精（xuan）华（xue）的综述开始看起。

Xu C, Tao D, Xu C. A Survey on Multi-view Learning[J]. Computer Science, 2013.

Sun S. A survey of multi-view machine learning[J]. Neural Computing & Applications, 2013, 23(7-8):2031-2038.

多视角简介

Multi-view learning: introduces one function to model a particular view and jointly optimizes all the functions to exploit the redundant views of the same input data and improve the learning performance.

引入了一个函数去模型化一个特定的视角，并且利用相同输入的冗余视角去联合优化所有函数，最终提高学习效果。

多视角来源

(1) multiple sources (2) different feature subsets;

(1) 多个源：比如人物识别可以用脸、指纹等作为不同源的输入。
(2) 多个特征子集：比如图像表示可以用颜色、文字等作为不同特征表述。

多视角学习算法

co-training 协同训练
trains alternately to maximize the mutual agreement on two distinct views of the unlabeled data.
multi-kernel learning 多核学习
exploits kernels that naturally correspond to different views and combine kernels either linearly or non-linearly to improve learning performance.
subspace learning 子空间学习
obtains a latent subspace shared by multiple views by assuming that the input views are generated from this latent subspace.

学习准则

为了确保 redundant views 可以被有效充分地利用，建立以下 Principles：

consensus principle (共识准则)
尽量保证两个 Hypothesis 一致，其不一致的概率作为右边式子的上界。右式为单独每个假设下的错误率，下式保证了该值最小化。

P(f1≠f2)≥max{Perr(f1),Perr(f2)}P(f1≠f2)≥max{Perr(f1),Perr(f2)}

P(f^1\neq f^2)\geq max\{P_{err}(f^1),P_{err}(f^2)\} 利用该原则的有 co-training，co-regularization，SVM-2K.
complementary principle (互补准则)
每个视角都拥有一些其他视角没有的信息。

其他相关的机器学习

Active Learning
主动学习：减少 labeled data 的数量: Muslea et al.
Ensemble Learning
协同学习：employ multiple learners and combine their predictions.
包含的经典算法有：
- bagging algorithm：用不同 judgements 生成不同模型
- AdaBoots：train a new model to compensate for the errors made by earlier models. 训练出新模型来弥补先前的不足
Domain Adaption
域适应：source domain (different data) 训练出 prediction1, prediction2

多视角的建立和组合

建立

先建立单视角，再构建多视角。总结为三类

元数据随机生成多视角。
The random subspace method (RSM) (Ho, 1998)
随机选取一个特征空间的若干维作为备用数据，为选取的维度数据置 0。不同的选取形成不同的视角，总共可以有 2n2n2^n 种选法。
reshape, decompose 原单视角。
如向量数据可以重写为矩阵或不同的核函数。
x=[a,b,c,d,e,f]Tx=[a,b,c,d,e,f]T x =[a,b,c,d,e,f]^T 到 (abcdef)(acebdf) \begin{pmatrix} a&c&e \\ b&d&f \\ \end{pmatrix} 或 (adbecf)T(abcdef)T \begin{pmatrix} a&b&c \\ d&e&f \\ \end{pmatrix}^T
perform feature set partitioning automatically 自动执行功能集分区。
如 PMC（伪多视角 co-training）

评价

评价各个视角，确保其效用。在三个类型的学习算法中，分别提出了多种评价标准。

In co-training
低维的特征难以描述高维特征，如直方图信息对应了多个图像。
Yan and Naphade (2005)：在 co-training 的学习中，如果 unlabelled data 噪音太大，就将 classifiers 的组合权重置零。
Christoudias et al. (2008) ：提出了条件视角熵 H(xi|xj)H(xi|xj)H(x^i|x^j)
Yu et al. (2011)：将概率统计的方法用到了 co-training 上结合起来，即 Bayesian co-training
In MKL
当 kernel 之间不相关或有噪音时，优化 kernel weights，Christoudias 利用了 GP 来学习每个视角的 weights。Liu and Yuen (2011) 提出了 inter-view conﬁdence of X ，Cinter(X)=∑∑1I(Xi,Xj)Cinter(X)=∑∑1I(Xi,Xj)C_{inter}(X)=\sum\sum{1\over I(X^i,X^j)}，以及视角的 sufficiency。
In subspace learning
CCA 可以用来形容两个视角的线性关系，KCCA（ kernel canonical correlation analysis ）形容两个视角的非线性相关映射。两者都用到了相关系数 ρρ\rho 并使之最大。

组合

容易想到，直接将多个视角拼接成单个视角，再进行单视角学习方法。但在训练样本中容易过拟合，且拼接以后的数据没有物理意义。因此可以求助于其他组合多视角的办法。

In co-training
在无监督学习中，将一个视角的在 验证集 上的结果放入另一个视角的 训练集 中，不同视角在迭代过程中达到最优。
在监督学习中，Yu et al. (2011) 提出 latent function 作为 隐式的验证集 来连接多视角。
其组合的时机在训练后，因此是 a late combination of multiple views.
In MKL
use a set and allow an algorithm to choose suitable kernels and the kernel combination.
kernel 组合可以选择 线性组合方法 或者 非线性组合方法。
由于是在训练之前或中途进行组合，因此是 an intermediate combination of multiple views.
In subspace learning
认为多视角来源于同一个潜空间， Canonical correlation analysis (CCA) can be viewed as the multi-view version of principal component analysis (PCA) ，CCA被认为是多视角的PCA方法，避免了“维维度灾难”但因为产生子空间是线性的，因此不能直接应用于非线性模型。
由于多视角利用共享空间直接结合在一起，因此是 the prior combination of multiple views.

后续

后面几天再详细描述一下三种类型的多视图学习算法。

Multi-view Learning 多视角学习入门相关推荐

多视角学习 (Multi-View Learning)
多视角学习 (Multi-View Learning) 简介 Views from (1) multiple sources (2) different feature subsets; 视角来自于 ...
Multi task learning多任务学习背景简介
2020-06-16 23:22:33 本篇文章将介绍在机器学习中效果比较好的一种模式,多任务学习(Multi task Learning,MTL).已经有一篇机器之心翻译的很好的博文介绍多任务学习了 ...
AI之FL：联邦学习(Federated Learning)的简介、入门、应用之详细攻略
AI之FL:联邦学习(Federated Learning)的简介.入门.应用之详细攻略导读 2019 年2 月,微众银行 AI 团队自主研发的全球首个工业级联邦学习框架 FATE(Fe ...
Python学习入门基础教程(learning Python)--5.6 Python读文件操作高级
前文5.2节和5.4节分别就Python下读文件操作做了基础性讲述和提升性介绍,但是仍有些问题,比如在5.4节里涉及到一个多次读文件的问题,实际上我们还没有完全阐述完毕,下面这个图片的问题在哪呢? 问 ...
[机器学习入门] 李弘毅机器学习笔记-7 （Brief Introduction of Deep Learning；深度学习简介）
[机器学习入门] 李弘毅机器学习笔记-7 (Brief Introduction of Deep Learning:深度学习简介) PDF VIDEO Ups and downs of Deep Le ...
连续学习入门（一）：Continual Learning / Incremental Learning / Life Long Learning 问题背景及研究挑战
说明:本系列文章若无特别说明,则在技术上将 Continual Learning(连续学习)等同于 Incremental Learning(增量学习).Lifelong Learning(终身学习) ...
联邦学习入门（一）-Advances and Open Problems in Federated Learning详解
本文主要是联邦学习的入门级笔记,主要参考了论文Advances and Open Problems in Federated Learning和微众银行的联邦学习白皮书,笔者作为初次接触该领域的小白, ...
LeCun亲授的深度学习入门课：从飞行器的发明到卷积神经网络
Root 编译整理量子位出品 | 公众号 QbitAI 深度学习和人脑有什么关系?计算机是如何识别各种物体的?我们怎样构建人工大脑? 这是深度学习入门者绕不过的几个问题.很幸运,这里有位大牛很乐意 ...

Multi-view Learning 多视角学习入门

Multi-view Learning 多视角学习入门

多视角简介

多视角来源

多视角学习算法

学习准则

其他相关的机器学习

多视角的建立和组合

建立

评价

组合

后续

Multi-view Learning 多视角学习入门相关推荐

最新文章

热门文章