机器学习中的数学原理—

这个专栏主要是用来分享一下我在机器学习中的学习笔记及一些感悟，也希望对你的学习有帮助哦！感兴趣的小伙伴欢迎私信或者评论区留言！这一篇就更新一下《白话机器学习中的数学——似然函数》！

- 什么是似然函数

似然函数定义. 在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。似然函数在推断统计学（Statistical inference）中扮演重要角色，如在最大似然估计和费雪信息之中的应用等等。. "似然性"与"或然性"或" 概率 "意思相近，都是指某种事件发生的可能性，但是在统计学中，"似然性"和"或然性"或"概率"又有明确的区分。

- 案例分析

再上一篇文章中我们学习了逻辑回归，现在我们的任务就是来求参数的更新表达式，但是逻辑回归的目标函数与之前不一样，也就是和最小二乘法的不一样，一开始我们把 x 为横向的概率 P(y = 1|x) 定义为 fθ(x) 了。基于这一点，既然 fθ(x) 是 x 为横向时的概率……那么在 y = 1 时 fθ(x) = 1，y = 0 时 fθ(x) = 0 的关系就是理想的，我们把这句话换成这样的说法：

● y = 1 的时候，我们希望概率 P(y = 1|x) 是最大的

● y = 0 的时候，我们希望概率 P(y = 0|x) 是最大的

P(y = 1|x) 是图像为横向的概率，P(y = 0|x) 是图像为纵向的概率。这适用于全部的训练数据。对于一开始列举的那 6 个训练数据，我们期待的最大概率是这样的：

而且，假定所有的训练数据都是互不影响、独立发生的，这种情况下整体的概率就可以用下面的联合概率来表示。

第 1 次的概率是 P(y(1) = 0|x(1))，第 2 次的概率是P(y(2) = 0|x(2))……我们要计算的是连续发生 6 次的概率，而且联合概率的表达式是可以一般化的，写法如下：

我们分别考虑 y(i) 为 1 或为 0 时的 P(y(i) = 1|x(i))y(i)P(y(i) = 0|x(i)1−y(i)。P 右上角的 y(i) 和 1 − y(i) 表示指数，首先向指数 y(i) 代入 1。

这样就只剩 y(i) = 1 的概率了。y(i) = 0 的时候也一样

这个表达式利用了任何数字的 0 次方都是 1 的特性。比起区分各种情况的写法，还是汇总到一个表达式的写法更简单。接下来考虑一下使这个目标函数最大化的参数 θ 吧。

回归的时候处理的是误差，所以要最小化，而现在考虑的是联合概率，我们希望概率尽可能大，所以要最大化。这里的目标函数 L(θ) 也被称为似然，函数的名字 L 取自似然的英文单词 Likelihood 的首字母。它的意思是最近似的。

我们可以认为似然函数 L(θ) 中，使其值最大的参数 θ 能够最近似地说明训练数据。似然是不容易理解的概念，这里不懂它也没关系。只要记住这个词就行了。

机器学习中的数学原理——似然函数相关推荐

机器学习中的数学原理——对数似然函数
这个专栏主要是用来分享一下我在机器学习中的学习笔记及一些感悟,也希望对你的学习有帮助哦!感兴趣的小伙伴欢迎私信或者评论区留言!这一篇就更新一下< 白话机器学习中的数学--对数似然函数> ...
Python机器学习中的数学原理详解（补充勘误表）
数学是机器学习和数据科学的基础,任何期望涉足相关领域并切实领悟具体技术与方法的人都无法绕过数学这一关.在一篇题为<放弃幻想,搞AI必须过数学关>的网文中,作者一针见血地指出想从事AI相关工 ...
机器学习中的数学原理——随机梯度下降法
这个专栏主要是用来分享一下我在机器学习中的学习笔记及一些感悟,也希望对你的学习有帮助哦!感兴趣的小伙伴欢迎私信或者评论区留言!这一篇就更新一下<白话机器学习中的数学--随机梯度下降法>! ...
机器学习中的数学原理——过拟合、正则化与惩罚函数
通过这篇博客,你将清晰的明白什么是过拟合.正则化.惩罚函数.这个专栏名为白话机器学习中数学学习笔记,主要是用来分享一下我在机器学习中的学习笔记及一些感悟,也希望对你的学习有帮助哦!感兴趣的小伙伴欢迎 ...
机器学习中的数学原理——F值与交叉验证
通过这篇博客,你将清晰的明白什么是F值.交叉验证.这个专栏名为白话机器学习中数学学习笔记,主要是用来分享一下我在机器学习中的学习笔记及一些感悟,也希望对你的学习有帮助哦!感兴趣的小伙伴欢迎私信或者评 ...
机器学习中的数学原理——向量内积
今天是2023年的第一天,祝大家新年快乐!这个专栏主要是用来分享一下我在机器学习中的学习笔记及一些感悟,也希望对你的学习有帮助哦!感兴趣的小伙伴欢迎私信或者评论区留言!这一篇就更新一下<白话机器 ...
机器学习中的数学原理——二分类问题
今天是2022年的最后一天,提前祝大家新年快乐!这个专栏主要是用来分享一下我在机器学习中的学习笔记及一些感悟,也希望对你的学习有帮助哦!感兴趣的小伙伴欢迎私信或者评论区留言!这一篇就更新一下<白 ...
机器学习中的数学原理——梯度下降法（最速下降法）
好久没更新了,确实是有点懒了,主要是这两天返乡在隔离(借口).这个专栏主要是用来分享一下我在机器学习中的学习笔记及一些感悟,也希望对你的学习有帮助哦!感兴趣的小伙伴欢迎私信或者评论区留言!这一篇就更新 ...
机器学习中的数学原理——最小二乘法
这几天在刷B站的时候,有个深度学习的博主推荐了一本机器学习的书--<白话机器学习的数学>,抱着浅看一下的态度,我花3个大洋从淘宝上找到了这本书的电子版.看了两天我直接吹爆!!!所以这个专栏 ...

机器学习中的数学原理——似然函数

机器学习中的数学原理——似然函数相关推荐

最新文章

热门文章