矩阵的条件数（condition number）

2024-06-22 20:25:36

从优化或者数值计算的角度来说，L2 范数有助于处理 condition number 不好的情况下矩阵求逆很困难的问题。

κ(A)=∥A∥∥A−1∥

\kappa(A)=\|A\|\|A^{-1}\|

如果方阵 A 是奇异的，那么 A 的 condition number 就是正无穷大了。实际上，每一个可逆方阵都存在一个 condition number。

对condition number来个一句话总结：condition number 是一个矩阵（或者它所描述的线性系统）的稳定性或者敏感度的度量，如果一个矩阵的 condition number 在1附近，那么它就是well-conditioned的，如果远大于1，那么它就是 ill-conditioned 的，如果一个系统是 ill-conditioned 的，它的输出结果就不要太相信了。

应用

w^=(XTX)−1XTb

\hat w = (X^TX)^{-1}X^Tb

如果当我们的样本 X 的数目比每个样本的维度还要小的时候，矩阵XTXX^TX将会不是满秩的，也就是XTXX^TX会变得不可逆，所以w^\hat w就没办法直接计算出来了。

如果加上L2规则项，就变成了下面这种情况，就可以直接求逆了：

w^=(XTX+λI)−1XTb

\hat w = (X^TX+\lambda I)^{-1}X^Tb

matlab 相关实现

c = cond(X,p)% norm(X,p) * norm(inv(X),p)

References

[1] 机器学习中的范数规则化之（一）L0、L1与L2范数

矩阵的条件数（condition number）相关推荐

线性代数 --- 用条件数(condition number)来判断矩阵是否可逆
条件数(condition number) 在很长的一段时间里,我们判断一个矩阵是否可逆,都是根据矩阵的行列式det是否为0,来判断的.如果行列式的值为0,则我们认定该矩阵为奇异矩阵,即不可逆矩阵.如 ...
条件数(condition number)
首先引入维基上的解释 In the field of numerical analysis, the condition number of a function with respect to an ...
9.6 矩阵的条件数
病态矩阵中国有句古话"差之毫厘,谬以千里",说的可能是测量时一个小小的误差,方程组的解就差距非常大.比如以下方程组: x 1 + x 2 = 20 x 1 + 1.999 x ...
浅谈条件数（condition number）
浅谈条件数(condition number) 目录浅谈条件数(condition number) 向量的范数(the norm of a vector) 矩阵的范数(the norm of a m ...
矩阵论（六）：矩阵的条件数
矩阵论专栏:专栏(文章按照顺序排序) 参考资料: 线性代数基础知识系列:1.2.3.4.5 矩阵分解-从Schur分解.特征值分解EVD到奇异值分解SVD(下) 矩阵的正定性矩阵的条件数用于界定一个 ...
cond--求矩阵的条件数
[功能简介]求矩阵的条件数.矩阵的条件数用于衡量线性方程组的解对数据误差的敏感性,它反映出矩阵求逆及线性方程组解的精确程度. [语法格式] 1．c=cond(X) 求矩阵X的2-范数的条件数,即X的最 ...
Matlab与线性代数 -- 矩阵的条件数
本图文介绍了矩阵的条件数,以及Matlab中的求取方法.
矩阵的条件数、范数、奇异值、特征值
矩阵的条件数矩阵的条件数用来衡量一个矩阵是"良态的"还是"病态的". 条件数越大,矩阵越接近于奇异矩阵(不可逆矩阵),矩阵越"病态".在数 ...
2.3 matlab矩阵求值（矩阵的行列式值、矩阵的秩、矩阵的积、矩阵的范数和矩阵的条件数）
1.方阵的行列式把一个方阵看作一个行列式,并对其按行列式的规则求值,这个值就称为方阵所对应的行列式的值.det(A):求方阵A所对应的行列式的值. >> format rat; > ...

最新文章

热门文章