Low-Rank Tensor Constrained Multiview Subspace Clustering

Abstract

论文研究多视图子空间聚类的问题，引入低阶张量约束去探索多视图中复杂的信息。
论文方法：
低阶张量约束的多视图子空间聚类（LT-MSC）。
论文思想：
（1）将不同视图的子空间表示矩阵看作一个张量，它捕获灵活地处理多视图数据的高阶相关性。
（2）然后在张量上设置一个低阶约束，对不同视图间的交叉信息进行优雅建模，有效地减少了学习子空间表示的冗余度，提高了聚类的精度。
（3）将聚类邻近矩阵的推理过程表示为一个张量核范数极小化问题，并用一个附加的L_2,1范数正则项和一些线性等式约束。
（4）最小化问题是凸的，因此可以用增广拉格朗日交替方向最小化（AL-ADM）方法有效地求解。
实验测试：
four benchmark image datasets

Introduction

LT-MSC将各个视图的所有子空间表示视为一个高阶结构,即张量，如图Fig1所示：

创新点：

使用一个低阶张量将各个视图的所有子空间表示整合在一起，LT-MSC很好地捕获了高阶信息，从而在我们的大量实验中明显优于以前的方法。
利用张量来捕捉所有视图的整体结构，探索多个视图内部和之间的相关性，而不是保留图像的空间信息。
为最近建立的低秩表示（LRR）提供了一个有效的扩展，低秩表示是单视图数据的子空间聚类方法。
本论文将基于自表示的子空间聚类扩展到多视图环境中，使用高阶张量约束来探索不同视图之间的相关性。

学习多视图的方法：

基于图的模型的多视图特性
（1）文献[14]中的工作构造了一个二部图来连接两个视图特征，并使用标准谱聚类来获得二视图聚类结果。
（2）文献[35]中利用链接矩阵分解法从多个图中融合信息，其中每一个图用一个图特定因子和一个共同的因子由矩阵分解逼近。
2.在聚类之前先学习一个公共空间
（1）文献[23]、[37]中的方法共同调整了聚类假设，以利用谱聚类框架内的互补信息。
（2）文献[22]提出了一个基于联合训练的框架，在这个框架中，搜索在不同视图中一致的聚类。
基于多核学习（MKL）
（1）文献[11]所提出的，与更复杂的分类方法相比，即使只是通过添加不同的核来组合不同的核，也常常会导致接近最优的结果。
（2）视图不是同样地添加核，而是用给定的核矩阵表示，这些核的加权组合与[17]中的分区并行学习。

注意
这些方法中的关联矩阵是独立构造的，而LT-MSC则共同构造关联矩阵，目的是捕获不同视图之间的高阶相关性。

The Proposed Approach

1、LT-MSC目标函数建立

张量的核范数：实质上沿着每一模态展开的所有矩阵的核范数的凸组合。

采用低阶张量约束，构造LT-MSC的目标函数为：
注意：对不同矩阵的数据矩阵进行规范化，使得不同视图的误差达到相同的尺度，从而减小误差大小的变化。
初始化的时候，目标函数（4）通过联合协作多个视图寻求自我表达的最低秩。然后将公式（3）中的核范数带入目标函数（4）中得到优化函数（5）：

2、LT-MSC目标函数优化

目标函数的优化采用增广拉格朗日乘子法（AL-ADM），其优化函数为：
拉格朗日乘子函数：

对每一个变量进行分别更新得：
（1）Z^(v)-子空间：

（2）z-子空间：

（3）E-子空间：

（4）Y_v-子空间：

（5）G^*_m-子空间：

（6）g_m-子空间：

（7） α\alphaα_m-子空间：
算法流程图：

Experiments

该论文提出的算法用于人脸和图像数据的聚类文中选取四个数据集，分别是Yale,Extended YaleB,ORL,和COIL-20。对于所有的数据集，提取三个类型的特征，分别是强度、LBP(表示纹理)、Gabor wavelets(表示小波)，也就是所谓的三个视图进行聚类。

References

论文笔记：Low-Rank Tensor Constrained Multiview Subspace Clustering相关推荐

Low-Rank Tensor Constrained Multiview Subspace Clustering
低秩张量限制的多视图子空间聚类 Abstract 2. Relate work 3.The Proposed Approach 3.1张量知识拓展 3.2 Formulation 3.3 Optimi ...
论文阅读笔记：Low-Rank Tensor Graph Learning for Multi-view Subspace Clustering(LRTG)
@[TOC](Low-Rank Tensor Graph Learning for Multi-view Subspace Clustering(LRTG)) ★论文笔记-Low-Rank Tenso ...
论文阅读笔记（15）：Deep Subspace Clustering with Data Augmentation，深度子空间聚类+数据增强
论文阅读笔记(15):Deep Subspace Clustering with Data Augmentation,深度子空间聚类+数据增强摘要 1 介绍 2 相关工作带增强的聚类方法具有一致 ...
文献学习(part89)--Diversity-induced Multi-view Subspace Clustering
学习笔记,仅供参考,有错必纠文章目录 Diversity-induced Multi-view Subspace Clustering 摘要 Introduction Related Work Th ...
Large-Scale Multi-View Subspace Clustering in Linear Time
Large-Scale Multi-View Subspace Clustering in Linear Time 摘要简介前期工作 1.子空间聚类 2.锚定图方法摘要因为传统的多视图子空间 ...
论文笔记：Autoregressive Tensor Factorizationfor Spatio-temporal Predictions
0 摘要张量因子tensor factorization分解方法在时空数据分析领域很受欢迎,因为它们能够处理多种类型的时空数据,处理缺失值,并提供计算效率高的参数估计程序. 然而,现有的张量因子分解 ...
#论文笔记#【MRM-Lasso:A sparse Multiview Feature Selection Method Via Low-Rank Analysis】论文笔记
前言从现在开始记录一下看的每篇论文,也算是给研究生三年一个交代,不然三年过去了啥也没干不太好.虽然以后可能不会从事这个行业,但是把当下的事做好,不管什么行业,自律是很重要的,从去年进实验 ...
优化案例(part7)--Latent Multi-view Subspace Clustering
学习笔记,仅供参考,有错必纠文章目录目标函数优化方案 P-子问题 H-子问题 Z-子问题 E-子问题 J-子问题更新乘数算法流程目标函数最终目标函数为: 其中, ∣ ∣ ⋅ ∣ ∣ ∗ ...
论文笔记：Embedding Graph Auto-Encoder with Joint Clustering via Adjacency Sharing
前言本文用GNN来学习适合于聚类任务的节点表示. 比较特别的是,本文同时考虑了K-Mean聚类和谱聚类来实现更好的聚类.提出了Embedding Graph Auto-Encoder with Jo ...

论文笔记：Low-Rank Tensor Constrained Multiview Subspace Clustering