Kernel K-means1

论文题目：A Large Scale Clustering Scheme for Kernel K- Means

一、核函数

核函数可以看作一种映射变化，把低维数据映射到高维数据，利用新空间的性质，使数据可分离。

给定数据集 x 1 , x 2 , ⋯ , x N x_1,x_2,\cdots,x_N x1,x2,⋯,xN,其中 x i ∈ R D , x_i\in R^D, xi∈RD,映射函数 ϕ \phi ϕ将 R D R^D RD空间中的 x i x_i xi映射到新空间 Q Q Q。核函数定义为：
H ( x i , x j ) = ϕ ( x i ) ⋅ ϕ ( x j ) H(x_i,x_j)=\phi(x_i)\cdot\phi(x_j) H(xi,xj)=ϕ(xi)⋅ϕ(xj)并不需要知道 ϕ \phi ϕ的具体形式。

常见的核函数有：
P o l y n o m i a l H ( x i , x j ) = ( x i ⋅ x j + 1 ) d Polynomial\qquad H(x_i,x_j)=(x_i\cdot x_j+1)^d PolynomialH(xi,xj)=(xi⋅xj+1)d
R a d i a l H ( x i , x j ) = e x p ( − r ∥ x i − x j ∥ 2 ) Radial \qquad \quad \ \ \ \ H(x_i,x_j)=exp(-r\|x_i-x_j\|^2) Radial H(xi,xj)=exp(−r∥xi−xj∥2)
N e u r a l H ( x i , x j ) = t a n h ( a x i ⋅ x j + b ) Neural \qquad \quad \ \ H(x_i,x_j)=tanh(ax_i\cdot x_j+b) Neural H(xi,xj)=tanh(axi⋅xj+b)

核函数的缺点：
（1）由于 ϕ \phi ϕ的具体形式是未知的，所以新空间的一些性质损失了，比如维度和取值范围；
（2）被给数据集的核函数形式必须通过实验才能确定；
（3）计算成本和存储空间大幅度提高。

二、k-means

若k-means采取欧式距离的度量措施，即样本点到簇中心点欧式距离的平方和最小，那么这有一个假设前提：数据由孤立的椭圆区域组成。如果待处理的数据集不满足这个假设，那么需要采用其他的度量措施。

三、核k-means

k-meeans引入核函数后：

这里要注意的是： u i u_i ui的值未知的
Kernel K-means算法如下：

四、核k-means的优缺点以及与k-means的不同

1.优点

引入核函数，使得原本用k-means不可分割的数据变得可以分割。

2.缺点

核矩阵的计算和存储成本较高。当语料库

当语料库较大时，kernel k-means如何改进？正是本篇论文所讲的。

五、待解疑惑与下一步任务

1.如何通过数据集确定核函数的形式
2.核函数中映射函数是一一对应的吧， x i ∈ C k ⟺ ϕ ( x i ) ∈ C k x_i\in C_k\iff \phi(x_i)\in C_k xi∈Ck⟺ϕ(xi)∈Ck,如果不一一对应，那么不能知道 δ ( u i , C k ) \delta(u_i,C_k) δ(ui,Ck)的值。
3.找数据集亲自模拟k-means 和kernel k-means。

Kernel K-means1相关推荐

核函数K（kernel function）
https://blog.csdn.net/zkq_1986/article/details/52448238 1 核函数K(kernel function)定义核函数K(kernel functi ...
Neural Tangent Kernel 理解（一）原论文解读
欢迎关注WX公众号,每周发布论文解析:PaperShare, 点我关注 NTK的理解系列暂定会从(一)论文解读,(二)kernel method基础知识,(三)神经网络表达能力,(四)GNN表达能力 ...
Kernel KNN ( K-Nearest Neighbors )
Kernel KNN函数代码 knn.m function [ y ] = knn( X, X_train, y_train, K) %KNN K-Nearest Neighbors Algorit ...
转置卷积Transposed Convolution
转置卷积Transposed Convolution 我们为卷积神经网络引入的层,包括卷积层和池层,通常会减小输入的宽度和高度,或者保持不变.然而,语义分割和生成对抗网络等应用程序需要预测每个像素的值 ...
关系抽取论文整理，核方法、远程监督的重点都在这里
来源 | CSDN 博客作者 | Matt_sh,编辑 | Carol 来源 | CSDN云计算(ID:CSDNcloud) 本文是个人阅读文章的笔记整理,没有涉及到深度学习在关系抽取中的应用. 笔 ...
详细解读Spatial Transformer Networks（STN）-一篇文章让你完全理解STN了
Spatial Transformer Networks https://blog.jiangzhenyu.xyz/2018/10/06/Spatial-Transformer-Networks/ 2 ...
实用线性代数和凸优化 Convex Optimization
If not specified, the following conditions are assumed. X∈Rn∗mA∈Rm∗nX \in R^{n*m} \\ A \in R^{m*n} X ...
linux 设备管理工具 udev 规则编写
目录 1. udev简介 1.1 什么是udev? 1.2 使用udev的好处 1.3 udev工作流程 2. 如何配置和使用udev 2.1 udev的配置文件(/etc/udev/udev.con ...
keras终止训练后显存不释放_Keras实现Large-scale Bisample Learning on ID vs. Spot Face Recognition...
keras-lbl-IvS 论文地址:Large-scale Bisample Learning on ID vs. Spot Face Recognition 工程地址:keras-lbl-IvS ...
支持向量机python代码_用TensorFlow实现多类支持向量机的示例代码
这篇文章主要介绍了用TensorFlow实现多类支持向量机的示例代码,现在分享给大家,也给大家做个参考.一起过来看看吧本文将详细展示一个多类支持向量机分类器训练iris数据集来分类三种花. SVM算 ...