MIT | 数据分析、信号处理和机器学习中的矩阵方法 笔记系列: Lecture 8 Norms of Vectors and Matrices
本系列为MIT Gilbert Strang教授的"数据分析、信号处理和机器学习中的矩阵方法"的学习笔记。
- Gilbert Strang & Sarah Hansen | Sprint 2018
- 18.065: Matrix Methods in Data Analysis, Signal Processing, and Machine Learning
- 视频网址: https://ocw.mit.edu/courses/18-065-matrix-methods-in-data-analysis-signal-processing-and-machine-learning-spring-2018/
- 关注 下面的公众号,回复“ 矩阵方法 ”,即可获取 本系列完整的pdf笔记文件~
内容在CSDN、知乎和微信公众号同步更新
- CSDN博客
- 知乎
- 微信公众号
- qq邮箱: 981591477
- Markdown源文件暂未开源,如有需要可联系邮箱
- 笔记难免存在问题,欢迎联系邮箱指正
Lecture 0: Course Introduction
Lecture 1 The Column Space of AAA Contains All Vectors AxAxAx
Lecture 2 Multiplying and Factoring Matrices
Lecture 3 Orthonormal Columns in QQQ Give Q′Q=IQ'Q=IQ′Q=I
Lecture 4 Eigenvalues and Eigenvectors
Lecture 5 Positive Definite and Semidefinite Matrices
Lecture 6 Singular Value Decomposition (SVD)
Lecture 7 Eckart-Young: The Closest Rank kkk Matrix to AAA
Lecture 8 Norms of Vectors and Matrices
Lecture 9 Four Ways to Solve Least Squares Problems
Lecture 10 Survey of Difficulties with Ax=bAx=bAx=b
Lecture 11 Minimizing ||x|| Subject to Ax=bAx=bAx=b
Lecture 12 Computing Eigenvalues and Singular Values
Lecture 13 Randomized Matrix Multiplication
Lecture 14 Low Rank Changes in AAA and Its Inverse
Lecture 15 Matrices A(t)A(t)A(t) Depending on ttt, Derivative = dA/dtdA/dtdA/dt
Lecture 16 Derivatives of Inverse and Singular Values
Lecture 17 Rapidly Decreasing Singular Values
Lecture 18 Counting Parameters in SVD, LU, QR, Saddle Points
Lecture 19 Saddle Points Continued, Maxmin Principle
Lecture 20 Definitions and Inequalities
Lecture 21 Minimizing a Function Step by Step
Lecture 22 Gradient Descent: Downhill to a Minimum
Lecture 23 Accelerating Gradient Descent (Use Momentum)
Lecture 24 Linear Programming and Two-Person Games
Lecture 25 Stochastic Gradient Descent
Lecture 26 Structure of Neural Nets for Deep Learning
Lecture 27 Backpropagation: Find Partial Derivatives
Lecture 28 Computing in Class [No video available]
Lecture 29 Computing in Class (cont.) [No video available]
Lecture 30 Completing a Rank-One Matrix, Circulants!
Lecture 31 Eigenvectors of Circulant Matrices: Fourier Matrix
Lecture 32 ImageNet is a Convolutional Neural Network (CNN), The Convolution Rule
Lecture 33 Neural Nets and the Learning Function
Lecture 34 Distance Matrices, Procrustes Problem
Lecture 35 Finding Clusters in Graphs
Lecture 36 Alan Edelman and Julia Language
文章目录
- Lecure 8: Norms of Vectors and Matrices
- 8.1 Vectors norms ∥v∥p\|v\|_p∥v∥p
- 8.2 Optimal Problem
- 8.3 Matrix Norms
- 本节小结
Lecure 8: Norms of Vectors and Matrices
一个与本课程无关的问题(现象):Probability Matching
Biased Coin: 但是参与者不知道 (无先验)
▪ 75% likely to produce heads
▪ 25% likely to produce tails
payoff 1 guess right or 1 guess wrong
Optimal strategy: 刚开始会根据之前的经验猜测都是 50%, 但尝试过程中会慢慢优化 ⇒\Rightarrow⇒ 最终,to guess heads all the time
但人类实际上会:guess heads three quarters of the time and tails one quarter of the time
该问题说明了: there is good math questions everywhere, 与本节课无关
下面开始本节课的内容: Norms
8.1 Vectors norms ∥v∥p\|v\|_p∥v∥p
∥v∥p=(∣v1∣p+∣v2∣p+...+∣vn∣p)1/p\|v\|_p = (|v_1|^p + |v_2|^p + ... + |v_n|^p)^{1/p}∥v∥p=(∣v1∣p+∣v2∣p+...+∣vn∣p)1/p
Norm is a way to measure
the size of a vector / matrix / tensor
p = 2
- v12+v22+...+vn2\sqrt{v_1^2 + v_2^2 + ... + v_n^2}v12+v22+...+vn2
p = 1
- ∣v1∣+∣v2∣+...+∣vn∣|v_1| + |v_2| + ... + |v_n|∣v1∣+∣v2∣+...+∣vn∣
- some things really work best in the L1L_1L1 norm
p = ∞\infty∞
- max∣vi∣max |v_i|max∣vi∣
- as increasing p, whichever one is biggest is going to take over
p = 0
∥v∥0\|v\|_0∥v∥0 is the number of non-zero components
important in question of sparsity
MIT | 数据分析、信号处理和机器学习中的矩阵方法 笔记系列: Lecture 8 Norms of Vectors and Matrices相关推荐
- MIT | 数据分析、信号处理和机器学习中的矩阵方法 笔记系列 Lecture 6 Singular Value Decomposition (SVD)
本系列为MIT Gilbert Strang教授的"数据分析.信号处理和机器学习中的矩阵方法"的学习笔记. Gilbert Strang & Sarah Hansen | ...
- MIT18.065 数据分析、信号处理和机器学习中的矩阵方法-学习笔记
文章目录 MIT18.065 数据分析.信号处理和机器学习中的矩阵方法 Lecture 1 The Column Space of A Contains All Vectors Ax A=CR A=C ...
- lu分解法matlab_MIT 18.065—机器学习中的矩阵方法02 矩阵乘法与矩阵分解
数据分析.信号处理和机器学习中的矩阵方法 第02讲 矩阵乘法与矩阵分解 新MIT 线性代数|机器学习(中英机翻字幕)18.065 by Gilbert Strang_哔哩哔哩 (゜-゜)つロ 干杯~- ...
- 机器学习(十一)——机器学习中的矩阵方法(1)LU分解、QR分解
http://antkillerfarm.github.io/ 因子分析的EM估计(续) 去掉和各参数无关的部分后,可得: ∑i=1mE[logp(x(i)|z(i);μ,Λ,Ψ)]=∑i=1mE[1 ...
- 机器学习(十三)——机器学习中的矩阵方法(3)病态矩阵、协同过滤的ALS算法(1)
http://antkillerfarm.github.io/ 向量的范数(续) 范数可用符号∥x∥λ\|x\|_\lambda∥x∥λ表示.常用的有: ∥x∥1=∣x1∣+⋯+∣xn∣\|x\|_ ...
- 机器学习(十三)——机器学习中的矩阵方法(3)病态矩阵、协同过滤的ALS算法(1)...
http://antkillerfarm.github.io/ 向量的范数(续) 范数可用符号∥x∥λ表示. 经常使用的有: ∥x∥1=|x1|+⋯+|xn| ∥x∥2=x21+⋯+x2n−−−−−− ...
- 机器学习(十二)——机器学习中的矩阵方法(2)特征值和奇异值
http://antkillerfarm.github.io/ QR分解(续) 令A=[a1,⋯,an]A=[\mathbf{a}_1, \cdots, \mathbf{a}_n],其中aia_i为列 ...
- 【机器学习中的矩阵分解】LU分解、QR分解、SVD分解
学习总结 文章目录 学习总结 一.三角分解(LU分解) 1.1 高斯消元 1.2 LU分解原理 1.3 LU分解python代码 1.4 LU分解算法 二.QR分解 2.1 Schmid 正交化 2. ...
- 机器学习中的矩阵方法(附录A): 病态矩阵与条件数
转载地址:https://www.cnblogs.com/daniel-D/p/3219802.html 思路:利用范数考察Ax = b中b的扰动对于x的影响
- 机器学习中的矩阵向量求导(四) 矩阵向量求导链式法则
在机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法中,我们讨论了使用微分法来求解矩阵向量求导的方法.但是很多时候,求导的自变量和因变量直接有复杂的多层链式求导的关系,此时微分法使用起来也有些麻烦. ...
最新文章
- 深入理解ES6 - var-let-const
- Java开发面试技巧,Hive-JDBC操作
- VTK修炼之道54:图形基本操作进阶_表面重建技术(三角剖分)
- tensorflow随笔-简单CNN(卷积深度神经网络结构)
- dev用不了_跟风喊AMD YES?很多生产力项目,你必须用IU
- linux内核rop姿势详解,Linux内核ROP姿势详解(二)
- python继承封装多态简单理解_Python面向对象编程:封装、继承、多态(基础篇十)...
- Frank and Hall
- php图片png转APNG,APNG\WEBP图片格式转换器
- 基本乐理知识——和弦
- Science复活远古“蛋白质”,揭示光合作用的“昨天、今天和明天”
- 一份职业游戏3D建模师日常工作流程列表,看完不信还有人说建模门槛低
- Word里的图片显示不全,只显示最下面的一小部分的解决办法
- java+js实现展示本地文件夹下的所有图片demo
- 【开放源代码】【谐波数据生成器】【上位机软件】(版本:0.00)
- 基于语义分割实现人脸图像的皱纹检测定位与分割
- 理解GAN对抗神经网络的损失函数和训练过程
- wav文件的采样位数从16位转换到8位的C语言实现
- 如何用计算机弘扬中国精神,【弘扬伟大民族精神】姚期智:为中国建一流计算机学科...
- PIPI OJ 1334: PIPI计数(unordered_map的应用)
热门文章
- MIT | 数据分析、信号处理和机器学习中的矩阵方法 笔记系列 Lecture 6 Singular Value Decomposition (SVD)