《线性代数》随笔:青出于蓝
朝花夕拾
勿忘初心
学以致用
青出于蓝
积沙成塔
通常,我们衡量两个点是否接近是用两点间的距离作为标准。一根直尺上的两点的距离只要简单把两个点所在刻度的值相减即可。如果到了二维平面上的两个点的距离,比如说一个边长为1的正方形的对角线的距离,我们就会用到勾股定理:
现进一步到了三维空间上的两个点的距离,比如一个边长为1的立方体的对角线的距离,可以将勾股定理进行扩展:
几何上的距离到此为止,代数很谦虚地从几何中学习了这个概念。对于一个向量坐标X=(x1, x2, x3... xn)定义了内积运算:
它的结果就是点到坐标原点的距离的平方。但是在代数世界里并没有受几何世界最多三维的限制,向量可以表示任何维度的坐标,内积也自然而然地可以应用于任何维度的空间。
有了距离的概念之后,我们当然要用它再做一些有趣的事。还是从几何的概念出发,我们可以用距离来计算一个平面图形的周长和面积以及空间图形的体积。再比如说,我们可以计算直线和平面外的某一个点在这个直线或平面上距离最近的点的坐标。就这两种应用在数学上,前者产生了微积分这个分支,而后者被纳入了线性代数的研究范围。
回到几何上,求一个点在直线或平面上距离最近的点,通常我们需要在这个点与直线或平面之间作一条垂线,而它的垂足就是那个我们要求的点。这个点有一个更高大上的名字,叫作这个点在直线或平面上的投影。
而在线性代数里,一条直线只要过经过原点,直线上任意点的坐标代表从原点到这个点的向量,而这条直线就是这个向量自身的线性组合,即把这个向量放大或缩小任意倍的点全部连起来就是这条直线。再简化一点,我们选取这条直线上与原点距离为1的单位向量, 那放大或缩小的倍数就等于点到原点的距离了,即:
数学家告诉我们任意一个点X到直线Y上的投影与原点的距离,就是X与E的内积。哇,这么简单!这个懒偷得有创意,有水平。不过你以为求一个直线上的投影就完了么?数学家们可不这么想。他们又进一步告诉我们,对于一个过原点的平面,只要在上面选取两个不共线的向量进行线性组合,就可以表示这个平面。简化一下的话,也是选两个与原点为距离为1的单位向量,同时这两个向量是相互垂直的,他们还给了这样的单位向量一个名字,叫“基”(没错,搞“基”是线性代数里的一项重要工作)。则平面可以表示为:
那么任意点X到平面Y上的投影就是:
数学家到此一发不可收拾,他们又根据直线和平面推测出了任意维向量空间:
什么?超过三维的空间人类还没有找到?这我可不管,反正我的向量想多少维都可以。我还知道在这样的空间任意点X到Y的投影就是:
“你信、或者不信,它就在那里。不增不减。”
线性代数里的距离出于几何,又远胜于几何空间的表达能力。对于它的运用如同天马行空,却往往有出乎意料的效果。
我们已经可以找到一个点在直线上最接近的点了。那如果反过来呢?
这样的情形你是否似曾相识?没错,我们从初中物理实验开始就经常遇到,只是没有意识到自己在做着多么高大上的事情罢了。
在测定弹簧弹性系数的物理实验课上,我们被要求测量一组弹簧拉伸不同长度下所对应拉力计上的拉力。然后根据胡克定理“f=Kx”求出弹簧的弹性系数K。
于是小明按照物理老师的要求认认真真地一次次拉伸弹簧,记录长度和接力。在他的努力下得到5组实验数据:
实验一定有误差,每组数据算出的K都不一样也很符合逻辑。小明把这5个K算了一个平均值2.84,打算交给物理老师去。但是和小明同组的小红却用了另一个计算方法:她把五组实验的以x为横坐标,f为纵坐标在网格纸上画了五个点,然后很小心地画了一根直线,看上去离每个点都很近。她计算了这根直线的斜率:2.95。最后物理老师表扬了小红,因为这根弹簧的弹性系数是3。
小明和小红虽然用了不同的方法,但他们都找到了自己认为与这五个点最接近的那条直线。小明的方法有一个准确的答案,但这是最简单的数学平均的方法,用的是一次方程。而小红的方法虽然没有一个公式,但她所测量的却是真正的几何距离,如果写成方程就是二次的,这很符合勾股定律精神,但她在最近选直线的时候确有主观性质。最后的结果是小红虽然比小明更接近正确结果,但两个人的方法都不是最精确的。
当然小红和小明的方法在日常生活中是足够了,虽然他们的方法都只适用于特定的问题。但是这对数学家来说是远远不够的,他们所追求是理论上的那个唯一最精确的值,而且要对所有问题普遍适用。最终他们锁定了一个方法,通过这种方法可以求出二次方程的平均值,这就是最小二乘法。
小明的实验数据我们可以写出一个矩阵方程:
显然不管K等于多少,这个方程两边是不可能相等的。数学家们想到了怎么让两边相等的方法,一个矩阵方程:
其中A、B为常量矩阵,X是未知量,如果我们知道等号永远不会成立,我们称这个方程是不相容的。而对于不相容的方程,可以求出一个X使得:
使得B’与B之间的距离最近,要求得这样的X的方法是解方程:
如果A和B都是只有一列的向量,方程可以简化为向量内积,即:
通过这个公式再去计算小明的数据:
结果更精确了,但是更重要的是最小二乘法可以适用于任何公式的数据统计。下一节将会从最小二乘出发,看一看通讯里最让人不明觉厉的“傅里叶变换”是怎么一回事。
《线性代数》随笔系列首发于微信公众号:龙猫图书馆,这是由猫馆长发起的小资文艺青年聚集之所,欢迎关注。
转载于:https://www.cnblogs.com/edisonlovecola/p/linear-algebra-3.html
《线性代数》随笔:青出于蓝相关推荐
- 《线性代数》随笔:积沙成塔
朝花夕拾 勿忘初心 学以致用 青出于蓝 积沙成塔 上一篇说过,本篇我会给大家介绍传说中的"傅立叶变换".首先要回答的就是什么是傅立叶变换?傅立叶变换在21世纪的今天我们每个人每天都 ...
- 数学基础学习随笔--序言
最近在研究信号处理,更多的涉及到机器学习和模式识别~发现自己的数学基础实在差的可以~所以,给自己找个机会,充充电,这样做研究的时候也能胸有成竹,这个"竹"就是数学基础,一节一节的攀 ...
- 国外著名大学计算机教学考察随笔
国外著名大学计算机教学考察随笔 分类: 网络文摘 2006-04-18 18:19 8326人阅读 评论(9) 收藏 举报 王行言/文 为了解国外大学计算机教学情况,2002年春季,清华大学组团到 ...
- 保研复习整理——线性代数
博主不定期更新[保研/推免.C/C++.5G移动通信.Linux.生活随笔]系列文章,喜欢的朋友[点赞+关注]支持一下吧! 本文档为线性代数复习文档,参考书籍为刘三阳老师主编的<线性代数> ...
- 算法竞赛中的线性代数
线性代数 文章目录 线性代数 一.高斯-约旦消元 1. 求解线性方程组 2. 计算行列式 3. 矩阵求逆 4. 算法比较 求解线性方程组( int 型) 求解线性方程组( float 型) 计算行列式 ...
- NVIDIA GPU上的Tensor线性代数
NVIDIA GPU上的Tensor线性代数 cuTENSOR库是同类中第一个GPU加速的张量线性代数库,提供张量收缩,归约和逐元素运算.cuTENSOR用于加速在深度学习训练和推理,计算机视觉,量子 ...
- GPU上稀疏矩阵的基本线性代数
GPU上稀疏矩阵的基本线性代数 cuSPARSE库为稀疏矩阵提供了GPU加速的基本线性代数子例程,这些子例程的执行速度明显快于仅CPU替代方法.提供了可用于构建GPU加速求解器的功能.cuSPARSE ...
- GPU上的基本线性代数
GPU上的基本线性代数 cuBLAS库提供了基本线性代数子例程(BLAS)的GPU加速实现.cuBLAS通过针对NVIDIA GPU进行了高度优化的嵌入式行业标准BLAS API来加速AI和HPC应用 ...
- 线性代数--矩阵、向量
线性代数 线性代数 矩阵及其运算 矩阵分块法 矩阵的初等变换于线性方程组 矩阵的初等变换 矩阵的秩 线性方程组的解 向量组的线性相关性 向量组及其线性组合 向量组的线性相关性 线性代数 矩阵及其运算 ...
最新文章
- python【数据结构与算法】倍增思想
- CentOS使用yum安装Docker
- 网站SEO优化之如何发布外链
- Activiti中的各个service的作用
- Java笔记-通过反射获取注解及Spring中获取某包下的所有class文件
- java类成员和实例成员,Java 实例成员和类成员
- Linux下snmp常用的OID ---- SNMP硬件监控
- log4j教程 11、日志记录到文件
- 基于SSM实现的新闻发布系统【附源码】(毕设)
- java时间换算方法
- Windows RDP的RCE漏洞分析和复现(CVE-2019-0708)
- Ubuntu系统安装stellarium
- PS:动图加文字(二)
- 《信息物理融合系统(CPS)设计、建模与仿真——基于 Ptolemy II 平台》——1.6 异构建模的方法...
- 大一学生《Web编程基础》期末网页制作 HTML+CSS+JavaScript 企业网页设计实例
- 照片如何抠图去背景?图片如何变成透明底?
- ubuntu开启TFTP服务和NFS服务
- 各种资源网站(值得收藏!!!)
- html导航栏圆角,纯css实现蓝色圆角效果水平导航菜单代码
- notepad++鼠标卡住,无法编辑文字