Coursera吴恩达机器学习week4笔记

2024-05-13 04:02:02

Large Margin Classification

Optimization Objective

svm：

Large margin intuition

Mathematics Behind Large Margin Classification

Kernels

Kernels1

定义决策边界对应的函数是Θ0+Θ1f1+Θ2f2+Θ3f3，其中f1、f2和f3就是相似度函数。

下图给定新的x点，计算该点与标记的3个标记点(landmark)l(1)、l(2)和l(3)之间的相似度f1、f2和f3。**相似度函数就是所谓的核函数。**在这里，就是高斯核函数，实际还有许多不同的核函数。这个相似度函数也可以写成K(x,l(i))，这里的x和l是向量。

Kernels2

如何得到l(1)、l(2)、l(3)等标记点(landmark)：选取所有训练样本为标记点。这说明特征向量是在描述新样本距离每一个测试样本的距离。

已知Θ向量，如何对样本做出预测：给定x，计算特征向量f，只要当ΘTf>=0时就预测y=1,；否则，就预测y=0。其中的参数向量Θ是m+1维的（f0=1），这里有m+1个特征，额外的1是因为截距的原因。许多SVM软件包自动设置x0=1，自动设置截距Θ0。因此，实现SVM时，不用像逻辑回归那样添加x0=1这样的向量。

SVMs in Practice

Using an svm

如果选择高斯核函数，那么要实现函数来计算核函数的特定特征。注意，如果特征变量取值范围很不一样，在使用高斯核函数之前，对它们进行归一化是很重要的。

不常用的核函数如下：
1.多项式核函数。k(x,l)=(xTl+b)^n（b为常数，n为指数），x和l很接近的时候，k(x,l)会很大。这个核函数有2个参数：b和n。效果要比高斯核函数差一些。用在x和l都是严格非负数的时候，保证两者的内积非负。
2.字符串核函数。用于字符串相关，比如文本分类。
3.卡方核函数。
4.直方图交叉核函数。

1.多类分类问题。许多SVM软件包已经内置用于多类分类的函数，可以直接使用；也可以使用逻辑回归中提及的一对多的方法进行分类（k个类别，k个参数theta）。

实际上，SVM是一个凸优化问题，有全局最小值。有时候，选择模型确实重要，但更重要的是数据是否充足，是否熟练，是否擅长做误差分析和调试学习算法，如何设计新的特征变量等等。

Coursera吴恩达机器学习week4笔记相关推荐

【CV】吴恩达机器学习课程笔记 | 第1-2章
本系列文章如果没有特殊说明,正文内容均解释的是文字上方的图片机器学习 | Coursera 吴恩达机器学习系列课程_bilibili 目录 1 介绍 1-3 监督学习 1-4 无监督学习 2 单变量 ...
【CV】吴恩达机器学习课程笔记第18章
本系列文章如果没有特殊说明,正文内容均解释的是文字上方的图片机器学习 | Coursera 吴恩达机器学习系列课程_bilibili 目录 18 应用案例:照片OCR 18-1 问题描述与流程(pi ...
【CV】吴恩达机器学习课程笔记第17章
本系列文章如果没有特殊说明,正文内容均解释的是文字上方的图片机器学习 | Coursera 吴恩达机器学习系列课程_bilibili 目录 17 大规模机器学习 17-1 学习大数据集 17-2 随 ...
【CV】吴恩达机器学习课程笔记第16章
本系列文章如果没有特殊说明,正文内容均解释的是文字上方的图片机器学习 | Coursera 吴恩达机器学习系列课程_bilibili 目录 16 推荐系统 16-1 问题规划 16-2 基于内容的推 ...
【CV】吴恩达机器学习课程笔记第10章
本系列文章如果没有特殊说明,正文内容均解释的是文字上方的图片机器学习 | Coursera 吴恩达机器学习系列课程_bilibili 目录 10 应用机器学习的建议 10-1 决定下一步做什么 10 ...
【CV】吴恩达机器学习课程笔记第11章
本系列文章如果没有特殊说明,正文内容均解释的是文字上方的图片机器学习 | Coursera 吴恩达机器学习系列课程_bilibili 目录 11 机器学习系统设计 11-1 确定执行的优先级:以垃圾 ...
吴恩达机器学习学习笔记第七章：逻辑回归
分类Classification分为正类和负类 (规定谁是正谁是负无所谓) 吴恩达老师举例几个例子:判断邮箱是否是垃圾邮箱一个在线交易是否是诈骗一个肿瘤是良性的还是恶性如果我们用之前学习的lin ...
吴恩达机器学习课程笔记一
吴恩达机器学习课程笔记前言监督学习---`Supervised learning` 无监督学习---`Unsupervised learning` 聚类异常检测降维增强学习---`Reinf ...
Github标星24300！吴恩达机器学习课程笔记.pdf
个人认为:吴恩达老师的机器学习课程,是初学者入门机器学习的最好的课程!我们整理了笔记(336页),复现的Python代码等资源,文末提供下载. 课程简介课程地址:https://www.course ...

最新文章

热门文章