机器学习篇——对数线性模型

建议首先看cs229讲的广义线性模型、exponential family（指数分布族）
对数线性模型包括逻辑回归、最大熵模型和条件随机场等
1、模型
条件概率分布（对数线性模型、概率模型）、判别模型

逻辑回归：
概率分布可由广义线性模型推导得到
多分类时，分子部分为：第k类exp(-wk*x+b)，第一类为1
分母部分为所有类分子之和，即标准化因子
最大熵模型：
概率分布由最大熵原理进行建模
分子部分为：exp(特征函数的加权和）
分母部分为对分子的标准化因子
条件随机场：
概率分布由线性链（简单情况）条件随机场确定
分子为：
分母为：
2、策略
最大似然估计
注：凡是已知条件概率分布（其实是似然）的模型，一般策略都是最大似然估计，即最小化对数损失函数
最大似然估计是一种参数估计方法，其他还有最大后验概率（考虑先验的最大似然）、贝叶斯估计（最大后验的基础上进一步增强，分母看做归一化因子，即对分子的积分）最小二乘估计（最小平方估计，最小化误差的平方）等，会在后面总结一节
3、算法
对数线性模型参数估计用到的算法即是最大似然估计用的算法，也就是梯度下降法等
注：条件随机场其他两个问题中，概率用前向-后向算法，预测用维特比算法（同隐马尔科夫模型）
4、补充
最大熵模型推导过程：
一是最大化条件熵
条件熵等于联合熵减去熵
二是由特征函数确定约束条件
特征函数关于（联合概率的经验分布）的期望值等于特征函数关于条件分布（模型）与边缘概率的期望值
三是建立原始约束最优化问题
即max最大熵模型
s.t 约束条件
四是建立最小最大化原问题
引入拉格朗日乘子
五是转化为最大最小化问题
引入kkt条件
六是转化为极大似然估计

机器学习篇——对数线性模型相关推荐

【机器学习】对数线性模型之Logistic回归、SoftMax回归和最大熵模型
来源 | AI小白入门作者 | 文杰编辑 | yuquanle 完整代码见:原文链接 1. Logistic回归分类问题可以看作是在回归函数上的一个分类.一般情况下定义二值函数,然而二值函数 ...
机器学习 —— 概率图模型（学习：对数线性模型）
对数线性模型是无向图中经常使用的一种模型.其利用特征函数以及参数的方式对势函数进行定义,可获得较好的效果.在之前有向图的学习中,我们发现可以利用d-seperet,充分统计,狄利克雷函数等方式来很优雅 ...
机器学习算法整理之Logistic Regression (LR) 逻辑斯谛回归：分类方法（对数线性模型）
sigmoid 函数:f(z)=11+exp(−z)f(z)=\frac{1}{1+exp(-z)} 二分类: P(Y=1|x)=11+exp(−wTx)=exp(wTx)1+exp(wTx)P(Y= ...
对数线性模型之一(逻辑回归), 广义线性模型学习总结
经典线性模型自变量的线性预测就是因变量的估计值. 广义线性模型:自变量的线性预测的函数是因变量的估计值.常见的广义线性模型有:probit模型.poisson模型.对数线性模型等等.对数线性模型里有: ...
MIT自然语言处理第五讲：最大熵和对数线性模型
MIT自然语言处理第五讲:最大熵和对数线性模型(第一部分) 自然语言处理:最大熵和对数线性模型 Natural Language Processing: Maximum Entropy and Log ...
视频教程-机器学习算法之线性模型视频教学-机器学习
机器学习算法之线性模型视频教学乐川科技有限公司CEO,人工智能培训讲师,专业从事机器学习与深度学习培训.参与多个人工智能领域项目,专注于机器学习与计算机视觉领域,长期参与无人驾驶汽车项目,专注研究无 ...
深度学习导论与应用实践（机器学习篇）
深度学习导论与应用实践(机器学习篇) 前言机器学习概述机器学习基本定义和基本术语数据预处理数据清洗数据集拆分机器学习三要素 1.模型判别模型和生成模型概率模型和非概率模型机器学习方法 ...
从线性到非线性模型-对数线性模型
从线性到非线性模型 1.线性回归,岭回归,Lasso回归,局部加权线性回归 2.logistic回归,softmax回归,最大熵模型 3.广义线性模型 4.Fisher线性判别和线性感知机 5.三层神 ...
MIT自然语言处理第五讲：最大熵和对数线性模型（第一部分）
发表于 2009年04月25号由 52nlp 自然语言处理:最大熵和对数线性模型 Natural Language Processing: Maximum Entropy and Log-linea ...

机器学习篇——对数线性模型

机器学习篇——对数线性模型相关推荐

最新文章

热门文章