ML/DL-复习笔记【一】- 数学基础（线性代数、概率论、数值分析）

2024-05-12 01:53:19

本节为ML/DL-复习笔记【一】数学基础（线性代数、概率论、数值分析），主要内容包括：矩阵特征向量的求解、主成分分析、奇异值分解、线性方程组的解法、Moore_Penrose伪逆、概率计算公式、随机变量的常见分布类型。

1. 主成分分析和奇异值分解

线性代数【七】特征值、特征向量 https://blog.csdn.net/kevin_zhao_zl/article/details/106427712

机器学习课程笔记【十二】- 主成分分析 https://blog.csdn.net/kevin_zhao_zl/article/details/105820009

2. Moore_Penrose伪逆

线性代数【六】：解线性方程组 https://blog.csdn.net/kevin_zhao_zl/article/details/106390322

求解线性方程组时，若系数矩阵的行数大于列数，那么方程可能无解，若系数矩阵行数小于列数，方程可能有多个解。
Moore-Penrose伪逆正是为处理这个问题，矩阵AAA的伪逆的形式化定义如下：
A+=limα→0(ATA+αI)−1ATA^+=lim_{\alpha \rightarrow 0}(A^TA+\alpha I)^{-1}A^T A+=limα→0(ATA+αI)−1AT

但实际计算中，一般取：
A+=VD+UTA^+=VD^+U^T A+=VD+UT

其中，矩阵U,D,VU,D,VU,D,V是矩阵AAA进行奇异值分解之后得到的矩阵。对角矩阵DDD的伪逆D+D^+D+是其非零元素取倒数之后再转置得到的。
这样，当系数矩阵AAA的列数多于行数时，使用伪逆求解线性方程是众多可能解法中的一种，且x=A+yx=A^+yx=A+y是方程所有可行解中欧几里得范数∣∣x∣∣2||x||_2∣∣x∣∣2最小的一个；当系数矩阵AAA的行数多于列数时，可能没有解，这时通过伪逆得到的x使得AxAxAx和yyy的欧几里得距离∣∣Ax−y∣∣2||Ax-y||_2∣∣Ax−y∣∣2最小。

3. 求概率公式以及常见随机变量的分布

随机事件与概率(2) - 常用求概率公式

一维随机变量及其分布

4. 病态条件

数值分析(1)-绪论:误差 https://blog.csdn.net/kevin_zhao_zl/article/details/90399855

欢迎扫描二维码关注微信公众号深度学习与数学 [每天获取免费的大数据、AI等相关的学习资源、经典和最新的深度学习相关的论文研读，算法和其他互联网技能的学习，概率论、线性代数等高等数学知识的回顾]

ML/DL-复习笔记【一】- 数学基础（线性代数、概率论、数值分析）相关推荐

【线性代数复习笔记】同济大学版第三章和第四章矩阵的初等变换与线性方程组与向量组的线性相关性
[线性代数复习笔记]同济大学版第三章和第四章矩阵的初等变换与线性方程组与向量组的线性相关性 1.矩阵的初等变换矩阵的三种初等变换及性质行阶梯形矩阵矩阵的初等变换的性质 2.矩阵的秩矩阵的秩的 ...
《概率论与数理统计》复习笔记
最近整理了一下期末复习笔记,我们用的教材是人民邮电出版社慕课版的,希望可以帮助到一些需要的小伙伴!(开摆了,已经不想整理了/(ㄒoㄒ)/~~) 目录第一章随机事件与概率第二章随机变量及其分布 ...
python/ML/DL学习目录
第一部分:python语法学习 . /*******环境搭建************/ 1. Anaconda安装 2. Anaconda的使用 3. Spyder的使用中遇到的问题 4. Jupyt ...
【李宏毅2020 ML/DL】P58 Unsupervised Learning - Neighbor Embedding | LLE, t-SNE
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 已经有人记了笔记(很用心,强烈推荐):https://github.com/Sakura-gh/ML-note ...
高等数学复习笔记（五）-一元函数积分的计算
本节为高等数学复习笔记的第五部分,一元函数积分的计算,主要包括: 四大积分基本法即凑微分法.换元法(第一类和第二类).分部积分法以及有理函数积分法. 1. 凑微分法 1.1 基本导数公式(反过来用) ...
高等数学复习笔记（汇总）
高等数学复习笔记(汇总) 欢迎扫描二维码关注微信公众号深度学习与数学 [每天获取免费的大数据.AI等相关的学习资源.经典和最新的深度学习相关的论文研读,算法和其他互联网技能的学习,概率论.线性代 ...
【李宏毅2020 ML/DL】P86-87 More about Domain Adaptation
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 本节内容综述本节课由助教 Chao Brian 讲解. 首先讲解些领域适配的基础内容,包括名词.定义等. 接 ...
【李宏毅2020 ML/DL】P59 Unsupervised Learning - Auto-encoder
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 已经有人记了笔记(很用心,强烈推荐):https://github.com/Sakura-gh/ML-note ...
【李宏毅2020 ML/DL】P15 Why Deep-
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 已经有人记了笔记(很用心,强烈推荐): https://github.com/Sakura-gh/ML-not ...
【李宏毅2020 ML/DL】P14 Tips for training DNN | 激活函数、Maxout、正则、剪枝 Dropout
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 已经有人记了笔记(很用心,强烈推荐): https://github.com/Sakura-gh/ML-not ...

最新文章

热门文章