logistic回归和softmax回归
logistic回归
在 logistic 回归中,我们的训练集由 个已标记的样本构成:
。由于 logistic 回归是针对二分类问题的,因此类标记
。
假设函数(hypothesis function):
代价函数(损失函数):
我们的目标是训练模型参数,使其能够最小化代价函数。
假设函数就相当于我们在线性回归中要拟合的直线函数。
softmax回归
在 softmax回归中,我们的训练集由 个已标记的样本构成:
。由于softmax回归是针对多分类问题(相对于 logistic 回归针对二分类问题),因此类标记
可以取
个不同的值(而不是 2 个)。我们有
。
对于给定的测试输入 ,我们想用假设函数针对每一个类别j估算出概率值
。也就是说,我们想估计
的每一种分类结果出现的概率。因此,我们的假设函数将要输出一个
维的向量(向量元素的和为1)来表示这
个估计的概率值。 具体地说,我们的假设函数
形式如下:
-
假设函数:
-
其中
是模型的参数。请注意
这一项对概率分布进行归一化,使得所有概率之和为 1 。
-
为了方便起见,我们同样使用符号
来表示全部的模型参数。在实现Softmax回归时,将
用一个
的矩阵来表示会很方便,该矩阵是将
按行罗列起来得到的,如下所示:
-
也就是说表示的是x属于不同类别的概率组成的向量。
-
代价函数:
-
是示性函数,其取值规则为
值为真的表达式
值得注意的是,logistic回归代价函数是softmax代价函数的特殊情况。因此,logistic回归代价函数可以改为:
-
- 一点个人理解:
-
为什么二分类中参数只有一个
,而k分类中参数却有k个。
-
其实二分类中的
是y=1情况下的参数,而y=0情况下其实未给出参数,因为y=0的假设函数值可以通过1-(y=1的假设函数值)得到。同理,k分类中参数其实只需要k-1个参数就可以了,多余的一个参数是冗余的。
具体冗余参数有什么负面影响,参考Softmax回归 http://ufldl.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92
logistic回归和softmax回归相关推荐
- Logistic and Softmax Regression (逻辑回归和Softmax回归)
1. 简介 逻辑回归和Softmax回归是两个基础的分类模型,虽然听名字以为是回归模型,但实际我觉得他们也有一定的关系.逻辑回归,Softmax回归以及线性回归都是基于线性模型,它们固定的非线性的基函 ...
- 【机器学习】对数线性模型之Logistic回归、SoftMax回归和最大熵模型
来源 | AI小白入门 作者 | 文杰 编辑 | yuquanle 完整代码见:原文链接 1. Logistic回归 分类问题可以看作是在回归函数上的一个分类.一般情况下定义二值函数,然而二值函数 ...
- Logistic 回归与 Softmax 回归在解决二分类问题的区别
Logistic 回归与 Softmax 回归在解决二分类问题的区别 在学习邱锡鹏老师的<神经网络与深度学习>的Softmax回归时,他在最后提出了此问题. 久经思考后,没想出来有什么区别 ...
- 生成模型 VS. 判别模型 Logistic 回归 VS. Softmax 回归
生成模型 VS. 判别模型 从概率分布的角度考虑,对于一堆样本数据,每个均有特征Xi对应分类标记yi. 生成模型:学习得到联合概率分布P(x,y),即特征x和标记y共同出现的概率,然后求条件概率分布. ...
- 线性回归、Logistic回归和softmax回归
区别: (1)输出:线性回归的输出是一个数值,适用于回归问题,如房屋预测价格.气温.销售额. logistic回归.softmax的输出是一个标签,适用于分类问题,如图像分类等. (2)支持类别:Lo ...
- Logistic回归与Softmax回归
Logistic回归和Softmax回归属于机器学习和深度学习中比较经典和基础的两个算法,许多优秀的模型中都使用到了这两个算法.所以这周打算整理和介绍一下Logistic回归和Softmax回归. 线 ...
- Logistic回归与Softmax回归比较
Logistic回归与Softmax回归比较 在机器学习中,Logistic回归和Softmax回归都是常见的分类算法.它们在很多方面都有相似之处,但也存在一些不同之处.本文将介绍这两种模型的区别,并 ...
- 机器学习--logistic回归和softmax回归
logistic回归和softmax回归放在一起总结一下,其实softmax就是logistic的推广,logistic一般用于二分类,而softmax是多分类. logistic回归虽然也是叫回归, ...
- Scikit-Learn 机器学习笔记 -- 线性回归、逻辑回归、softmax回归
Scikit-Learn 机器学习笔记 – 线性回归.逻辑回归.softmax回归 参考文档: handson-ml import numpy as np from matplotlib import ...
最新文章
- 【TPAMI2020】目标检测中的不平衡问题:综述论文,34页pdf
- No module named keras.engine.base_layer
- 信息检索Information Retrieval评价指标
- Bioinfo:学习Python,做生信PartII 学习笔记
- Canal全方位深入讲解,看这一篇就够了
- GDCM:创建ex-nihilo图像,创建“派生”图像的测试程序
- django 用户认证
- 关于计算机的英语作文八百字,小学英语作文800字(精选10篇)
- BZOJ 3359: [Usaco2004 Jan]矩形( dp )
- ansible 第一次练习
- 今天终于搞懂了:为什么Java的main方法必须是public static void?
- mysql frm、MYD、MYI数据文件恢复,导入MySQL中
- 校园导航小助手—课程设计
- 2016年虾神公众号预告
- zoj2100-Seeding
- spring 动态数据源切换实例
- 白魔法师(牛客小白月赛25 图、并查集)
- 熊猫python小课靠谱吗_疫情之后,企业复工,新的机遇在哪里?
- 电脑磁盘占用100%解决办法
- 高项 12 项目采购管理
热门文章
- 【Anime.js】——JavaScript动画库:Anime.js——学习笔记
- 百度小程序入口在哪里怎么找到打开百度智能小程序?
- 使用TASSEL学习GWAS笔记(4/6):一般线性模型进行GWAS分析(GLM模型)
- 山东省计算机专业专科排名2015,2015山东专科学校排名及排行榜
- echarts下载图片,getDataURL获取base64地址
- 国产GPU的发展历程及芯片性能详解
- 一图归纳三大种类矩阵范数:诱导范数,元素范数,Schatten范数,涵盖谱范数,2范数
- python怎么将整数反转输出_python 反转整数
- mysql 添加b树索引_Mysql之B树索引
- Vue二级目录部署多环境打包部署(二)