ccc-Classification-李宏毅(4)
文章目录
- Classification 概念
- Example Application
- How to do Classification
- Why not Regesssion
- Probability from Class - Feature
- Probability from Class
- How’s the results?
- Modifying Model
- Three Steps
- Probability Distribution
Classification 概念
本质是找一个函数,输入对象X后输出其所属类别Class,实际应用如下:
Example Application
以神奇宝贝属性分类(Water/79 和 Normal/61)进行推进,function中input数据来源如下:
How to do Classification
数据通过函数中计算后返回判断类别结果,loss函数返回训练集汇总出现的错误,然后选择最优模型
idea图如下(二分类):
Why not Regesssion
存在的问题:
- 回归用一条线,但问题是非常正确的样本将分界线过度纠正导致效果不好
- Regression返回的是连续值,classification返回离散的点,性质不同
Probability from Class - Feature
只考虑Defense和SP Defence这两种feature,并认为样本点符合高斯分布(正态分布)注意海龟不在训练集中
高斯分布的简单介绍
公式如下:
f μ , Σ ( x ) = 1 ( 2 π ) D / 2 1 ∣ Σ ∣ 1 / 2 e x p { − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) } f_{\mu,\Sigma}(x)=\frac{1}{(2\pi)^{D/2}}\frac{1}{|\Sigma|^{1/2}}exp\{-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)\} fμ,Σ(x)=(2π)D/21∣Σ∣1/21exp{−21(x−μ)TΣ−1(x−μ)}
其中, μ \mu μ表示均值, Σ \Sigma Σ表示协方差(covariance),它们对于分布的影响如下:
- 不同的 μ \mu μ相同的 Σ \Sigma Σ概率分布最高点不同
- 相同 μ \mu μ不同的 Σ \Sigma Σ,概率最高点相同,分散程度不同
Probability from Class
将海龟的数据代入由之前的79个资料形成的高斯分布中就可以估测它所属类别的概率。通过极大似然函数寻找这个高斯分布:
分别计算两种类别最佳高斯分布参数:
将这些得到的数据进行代入分类公式(设定阈值0.5):
How’s the results?
左图是训练集右图是测试集,结果47% accuracy,效果非常差。即使使用所有的6种数据集accuracy也仅仅54%。
Modifying Model
考虑可能是参数过多导致过拟合,比较好的解决方式是公用一个covariance matrix,因为它在样本数量较多时增长非常迅速(与feature size的平方成正比)然后造成过拟合,使用相同协方差过程如下:
效果得到了显著提升,并且边界变成了线性的。为什么?鬼知道!
Three Steps
Probability Distribution
sigmoid function:
上面推导解释为何分类的边界线变成了线性的
ccc-Classification-李宏毅(4)相关推荐
- 台大李宏毅Machine Learning 2017Fall学习笔记 (5)Classification: Probabilistic Generative Model
台大李宏毅Machine Learning 2017Fall学习笔记(5)Classification: Probabilistic Generative Model 本节课以二分类问题为例,详细讲解 ...
- 独家思维导图!让你秒懂李宏毅2020机器学习(二)—— Classification分类
独家思维导图!让你秒懂李宏毅2020机器学习(二)-- Classification分类 在上一篇文章我总结了李老师Introduction和regression的具体内容,即1-4课的内容,这篇我将 ...
- 【李宏毅2021机器学习深度学习——作业2 Classification】 Phoneme Classification 记录(双过strong baseline)
文章目录 实验结果:(已过 strong baseline) 可视化实验记录:(稳定在0.75升不上去了,50个epoch可以收敛了) 修改记录: 改进想法: 做完这个实验应该有的收获: 参考资料: ...
- 2018-3-19李宏毅机器学习视频学习笔记九----Classification: Probabilistic Generative Model
视频来源: 李宏毅机器学习(2017)_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili https://www.bilibili.com/video/av10590361/?p=10 步骤: (1 ...
- 李宏毅机器学习之Classification
目录 1.实际应用 2.How to do Classification 3.Ideal Alternatives(理想模型) 4.原理准备 Two Boxes Gaussian distributi ...
- 李宏毅 机器学习 2016 秋:5、Classification:Probabilistic Generative Model
文章目录 五.Classification:Probabilistic Generative Model 五.Classification:Probabilistic Generative Model ...
- 李宏毅机器学习2020笔记(二)Classification
一.classification 1.应用与问题定义 如果作为regression来处理,为了照顾较远的点会得到紫色的线.因此简单地把归为一个数是不合理的. 比如有3类,分别为123,因为12比较接近 ...
- 李宏毅机器学习 Classification
文章目录 1. 绪论 2. 使用回归解决分类问题 3. 分类的损失函数 4. 朴素贝叶斯 5. 数学推导 1. 绪论 Classification:Probabilistic Generative ...
- 【李宏毅】-机器学习2021-HW2-Phoneme Classification
Data 这个任务是一个多分类问题: 从语音进行帧级音素预测. 数据分析 一个语音结果处理之后会得到一个特征向量,这个向量的是Txd, T是frame的长度,d是嵌入维度,使用不同的特征提取方法,得到 ...
- 李宏毅_机器学习_作业3(详解)_HW3 Image Classification
目录 Baseline Simple 解决了一个bug Medium data augmentation transforms_01 Transforms_02 Strong Residual Net ...
最新文章
- 使用PHP+ajax打造聊天室应用
- 安卓笔记--intent传值不更新问题
- 【Github上有趣的项目】基于RNN文本生成器,自动生成莎士比亚的剧本或者shell代码(不是python的是lua的)
- HOW TO ORDER LFT
- c:forEach, c:forTokens 标签
- concurrent: CyclicBarrier
- Oracle应用容器云的自由
- 摆脱加卡他卡_如何通过三个简单的步骤摆脱“故事卡地狱”。
- web开发常用js功能性小技巧(转)
- html5语法参考图片,CSS属性参考 | background-image
- Oracle基础 TO_CHAR函数参考(转)
- caused by: java.lang.outofmemory_Caused by: java.lang.OutOfMemoryError: PermGen space
- linux修改主机名(不重启)
- 从一个小程序说起 - C++快速入门02
- kali linux安装谷歌拼音输入法(亲测可用)
- 计算机网络胡工程施工税率,弱电项目增值税6%、9%、13%税率怎样区分?项目经理必知内容...
- Notepad++ 5.8.5 中文版
- 用遗传算法解决VRP问题
- android 自动点击sdk,Android 自动化记录: OPPO 、VIVO SDK 登录自动化处理
- MFC链表CList类