李宏毅第四次打卡

P9 logit regression

Step 1:Function Set

找一个Pw,b(C1∣x)P_{w,b}(C_1|x)Pw,b(C1∣x)

function set:

fw,b(x)f_{w,b}(x)fw,b(x) =

pw,b(C1∣x)p_{w,b}(C_1|x)pw,b(C1∣x)

对于对数几率回归，output函数的原因，所以是0-1之间的

Step 2： Goodness of a Function

最优化w，b和，原本是最大化L找w，b，然后加个-号，找到最小的w和b

转化损失函数

Step 3： Find the best function

分别进行偏微分，进行最小化

Discriminative v.s. Generative

一般而言分类模型比生成模型要好

生成模型做了一些假设。

不是所有时候分类模型都优于生成模型，如果此时数据很小。

生成模型的data量对于generative模型的影响相对于分类模型比较小。

Multi-class Classification

Limitation of Logit Regression

对于异或问题是无法正确分类的。

Feature Transformation

使用这个方法，使得对于异或问题可以正确可分。

转化一下feature。6

问题在于我们希望让电脑来进行feature转化

我们可以使用多个对数几率回归进行转化。

对于这两个的推导：LR损失函数(1) && 学习LR梯度下降(2)

Softmax原理

softmax损失函数

softmax梯度下降

推荐一篇好的关于softmax的链接

LR and Softmax相关推荐

【机器学习】二次损失函数的不足及交叉熵损失softmax详解
二次代价函数的不足: 以sigmoid激活函数为例,由于初始化是随机的,假设目标值为0,第一次随机初始化使得输入为0.82,那么还可以,多次迭代之后可以收敛到0.09,但如果第一次随机初始化到0.98 ...
softmax分类器_[ML] 逻辑回归与 Softmax 回归
Logistic Regression (LR) 译为逻辑回归,但实际上这是一种分类模型(二分类或多分类).下面精要地把模型中的核心概念.推导梳理一下.本文主要内容如下: 逻辑回归的概率模型逻辑回归 ...
机器学习面试题之LR
向AI转型的程序员都关注了这个号???????????? 机器学习AI算法工程公众号:datayx 1. LR为什么是线性模型 2. LR如何解决低维不可分特征映射:通过特征变换的方式把低维空 ...
机器学习面试题之——LR问题集合
一.LR为什么是线性模型 Logistic Regression从几率的概念构建线性回归模型.一个事件发生的几率(odds)为该事件发生的概率与不发生概率的比值,几率的取值范围为[0,+∞),其对数的 ...
3.Deep Neural Networks for YouTube Recommendations论文精细解读
一.总述今天分享的是Deep Neural Networks for Y ouTube Recommendations这篇论文的一些核心,这篇论文被称为推荐系统工程实践领域的一篇神文,每一个细节都值 ...
CIKM 2021 | Deep Retrieval：字节跳动深度召回模型论文精读
©作者 | 杰尼小子单位 | 字节跳动研究方向 | 推荐算法文章动机/出发点这是一篇字节跳动发表在 CIKM 2021 的论文,这一项工作在字节很多业务都上线了,效果很不错.但是这篇文章整体读 ...
06_LR和最大熵模型_统计学习方法
文章目录一.理解LR模型 1. 对数几率 2.函数映射 3.概率解释二.LR模型参数估计梯度下降求解最优参数多项逻辑斯谛回归(multi-nominal logistic regression ...
从春招到秋招，算法工程师养成记
本文转载自牛客网自我介绍大家好,我是老班长,一名老牛油(至于多老呢?我基本是第一批关注牛客网的同学,我加牛客网qq1群的时候,群里只有400多人(现在估计10多个群了吧),那时的产品经理是兴宝 ...
年薪翻倍的100篇面经：如何转型AI拿到阿里等大厂的40万offer
前言熟悉我的朋友可能已经知道,我个人从 2010 年开始在CSDN写博客,写了十年,如今接近1700万PV,创业做「七月在线」则已五年,五年已30多万学员.这五年经历且看过很多的人和事,比如我们的机 ...

LR and Softmax