LR模型与SVM对比

相同点

1. 都是线性分类器。本质上都是求一个最佳分类超平面。都是监督学习算法。
2. 都是判别模型。通过决策函数，判别输入特征之间的差别来进行分类。

不同点

1.损失函数不同：
LR的损失函数是交叉熵，SVM损失函数为合页损失函数
SVM目标函数为损失函数加正则项：

2. 两个模型对数据和参数的敏感程度不同：
(1) SVM考虑分类边界线附近的样本, 在支持向量外添加或减少任何样本点对分类决策面没有任何影响；
LR受所有数据点的影响。直接依赖数据分布，每个样本点都会影响决策面的结果
(2) LR 是参数模型，SVM 是非参数模型
参数模型的前提是假设数据服从某一分布，该分布由一些参数确定，在此基础上构建的模型称为参数模型；
非参数模型对于总体的分布不做任何假设，只是知道总体是一个随机变量，其分布是存在的，但是无法知道其分布的形式和相关参数
3.SVM 基于距离分类，LR 基于概率分类
SVM依赖数据表达的距离测度，所以需要对数据先做 normalization；LR不受其影响。
4.在解决非线性问题时，支持向量机采用核函数的机制，而LR通常不采用核函数的方法
5. 在小规模数据集上，Linear SVM要略好于LR，但差别也不是特别大，而且Linear SVM的计算复杂度受数据量限制，对海量数据LR使用更加广泛
6. SVM的损失函数自带正则，而 LR 必须另外在损失函数之外添加正则项

参考文章
参考文章1

LR模型与SVM对比相关推荐

Sklearn参数详解—LR模型
总第105篇最近会开始一个新的系列,sklearn库中各模型的参数解释,本篇主要讲述最基础的LR模型. 模型参数详解逻辑回归: sklearn.linear_model.LogisticRegre ...
逻辑回归LR vs 支持向量机SVM
目录 LR vs SVM LR和SVM的相同点 LR和SVM的不同点逻辑回归LR LR损失函数 LR公式推导支持向量机SVM 间隔和支持向量对偶问题核函数软间隔和正则化 LR vs SVM ...
逻辑回归LR模型简介
1. 定义 LR是线性二分类模型,也是广义的线性回归模型,可以计算某个样本特征下事件发生的概率. 假设数据服从伯努力分布,通过极大化似然函数的方法,运用梯度下降求解参数,来达到将数据二分类的目的. 1 ...
cs229 斯坦福机器学习笔记（一）-- 入门与LR模型
版权声明:本文为博主原创文章,转载请注明出处. https://blog.csdn.net/Dinosoft/article/details/34960693 前言说到机器学习,非常多人推荐的学习资 ...
周志华《机器学习》课后习题解答系列（七）：Ch6.3 - SVM对比实验
查看相关答案和源代码,欢迎访问我的Github:PY131/Machine-Learning_ZhouZhihua. 6.3 SVM对比实验本题实验基于python,各种算法的实现基于的开源工具包和 ...
LR模型(logistic regression)
分类模型本质上是线性回归模型优化目标 J(θ)=∑−yilog(h(θTxi))−(1−yi)log(1−h(θTxi))J(\theta) = \sum -y_ilog(h(\theta^Tx_ ...
推荐系统（二）GBDT+LR模型
推荐系统(二)GBDT+LR模型推荐系统系列博客: 推荐系统(一)推荐系统整体概览在写这篇博客之前,一度纠结许久,到底该不该起这个标题,因为把GBDT+LR模型放在推荐系统系列里,似乎有些不妥,如 ...
LR模型常见问题小议
LR模型常见问题小议标签: LR机器学习 2016-01-10 23:33 671人阅读评论(0) 收藏举报本文章已收录于: 分类: 机器学习(10) 作者同类文章X 版权声明:本文为博 ...
Facebook的GBDT+LR模型python代码实现
承接上篇讲解,本文代码,讲解看上篇目标:GBDT+LR模型步骤:GBDT+OneHot+LR 测试数据:iris 代码: 结果比较:与直接GBDT模型的比较目标:GBDT+LR模型实现GBDT ...

LR模型与SVM对比

LR模型与SVM对比

LR模型与SVM对比相关推荐

最新文章

热门文章