样本距离计算、向量范数、矩阵范数

样本距离

给定样本xi=(xi1;xi2;⋯;xin)x_i=(x_{i1};x_{i2};\cdots ;x_{in})与xj=(xj1;xj2;⋯;xjn)x_j=(x_{j1};x_{j2};\cdots ;x_{jn})

最常用的是“闵可夫斯基距离”：
即LpL_p范数||xi−xj||p||x_i-x_j||_p

distmk(xi,xj)=(∑u=1n|xiu−xju|p)1p

dist_{mk}(x_i,x_j)=\left ( \sum_{u=1}^{n} |x_{iu}-x_{ju}|^p\right )^\frac{1}{p}

当p=2时，闵可夫斯基距离即为欧氏距离：

disted(xi,xj)=||xi−xj||2=∑u=1n|xiu−xju|2−−−−−−−−−−−√

dist_{ed}(x_i,x_j)=||x_i-x_j||_2=\sqrt[]{\sum_{u=1}^{n} |x_{iu}-x_{ju}|^2}

当p=1时，闵可夫斯基距离即为曼哈顿距离：

distman(xi,xj)=||xi−xj||1=∑u=1n|xiu−xju|

dist_{man}(x_i,x_j)=||x_i-x_j||_1=\sum_{u=1}^{n} |x_{iu}-x_{ju}|

向量范数

设 x=(ξ1,ξ2,ξ3,⋯,ξn)T∈Cnx=\left ( \xi _1,\xi _2,\xi _3,\cdots,\xi _n \right )^T \in C^n

向量p-范数：

∥x∥p=(∑k=1n|ξk|p)1p

\left \| x \right \|_p=({\sum_{k=1}^{n}|\xi_k|^p})^\frac{1}{p}即向量元素绝对值的p次方和的1/p次幂

向量0-范数： 向量中非零元素的个数

向量1-范数：

∥x∥1=∑k=1n|ξk|

\left \| x \right \|_1=\sum_{k=1}^{n}|\xi_k| 即向量元素绝对值之和

向量2-范数：

∥x∥2=∑k=1n|ξk|2−−−−−−−√=xHx−−−−√

\left \| x \right \|_2=\sqrt{\sum_{k=1}^{n}|\xi_k|^2}=\sqrt{x^Hx}即向量元素绝对值的平方和再开方

向量∞\infty -范数：

||x||∞=maxk|ξk|

||x||_\infty=\max_k|\xi_k|即所有向量元素绝对值中的最大值

向量-∞\infty -范数：

||x||−∞=mink|ξk|

||x||_{-\infty}=\min_k|\xi_k|即所有向量元素绝对值中的最小值

矩阵范数

矩阵1-范数：

∥A∥1=maxj∑i=1m|ai,j|

\left \| A\right \|_1=\max_j \sum_{i=1}^{m}|a_{i,j}| 列和范数，即所有矩阵列向量绝对值之和的最大值

矩阵2-范数：

||A||2=λAHA−−−−−√

||A||_2=\sqrt{\lambda _{A^{H}A} }谱范数，即 AHAA^HA矩阵的最大特征值的开平方，其中 λAHA\lambda _{A^{H}A}是 AHAA^HA的最大特征值， AHA^H是A的共轭转置；

注：因(AHA)H=AH(AH)H=AHA(A^HA)^H=A^H(A^H)^H=A^HA,即AHAA^HA是Hermite矩阵，它对应的二次型：

f(x)=xH(AHA)x=(Ax)H(Ax)=yHy≥0

f(x)=x^H(A^HA)x=(Ax)^H(Ax)=y^Hy\geq 0是正定的或半正定的，因此它的特征值都大于或等于零

矩阵∞\infty -范数：

∥A∥∞=maxi∑j=1n|ai,j|

\left \| A\right \|_\infty=\max_i \sum_{j=1}^{n}|a_{i,j}| 行和范数，即所有矩阵行向量绝对值之和的最大值

矩阵F-范数：

∥A∥F=∑i,j=1|ai,j|2−−−−−−−−√=∑i=1m∑j=1n|ai,j|2−−−−−−−−−−⎷=tr(AHA)−−−−−−−√

\left \| A\right \|_F=\sqrt{\sum_{i,j=1}|a_{i,j}|^2}=\sqrt{\sum_{i=1}^m\sum_{j=1}^n|a_{i,j}|^2}=\sqrt{tr(A^HA)}Frobenius范数，即矩阵元素绝对值的平方和再开平方

矩阵核范数：

||A||∗=∑i=1nλi

||A||_\ast =\sum_{i=1}^{n}\lambda _i λi\lambda_i是A的奇异值，即奇异值之和。

后期有新的认识了再添加。。