FM算法为什么适用于稀疏数据

FM的原理https://zhuanlan.zhihu.com/p/37963267

原理

FM的表达式，包含常数项，一阶项，二阶项

正常情况下， $w_i\cdot x_i$ 只有当 $x_i$ 不为0的情况下， $w_i$ 才能被训练到

同样的， $w_i_jx_ix_j$ 只有当 $x_ix_j$ 都不为0的情况下， $w_i_j$ 才能被训练到，再加上数据稀疏， $x_ix_j$ 不为0的情况非常少，所以 $w_i_j$ 就很难被训练到。

解决办法

$w_i_j$ 是矩阵计算出来的值，不再是单纯一个值。

$w_1_1$ 是有下面矩阵计算出来的

这也是矩阵分解的结果。

最后经过一系列的化简

然后求偏导

为什么适用于稀疏

在优化的时候有 $v_i_jx_j$ ，同样的当 $x_j$ 为0的时候， $v_i_j$ 还是不能训练到。

但是，此时交叉项的系数是有矩阵组成的，V1=[v12, v13, ..., v1k]，只要有x不为全为0，偏导的结果就不为0，这个参数就能训练到。

此时有一个特征为空就不能训练---》变成了全部特征为空才能不训练，

也就是即使是稀疏数据的情况下，矩阵依然能够迭代，从而矩阵计算出的 $w_i_j$ 也在迭代。

FM算法为什么适用于稀疏数据相关推荐

fm算法详解_FM算法(一)：算法理论
主要内容:动机 FM算法模型 FM算法VS 其他算法一.动机在传统的线性模型如LR中,每个特征都是独立的,如果需要考虑特征与特征直接的交互作用,可能需要人工对特征进行交叉组合:非线性SVM可以对特 ...
FM算法原理及如何用来召回
用途:FM算法可以用来做召回,排序背景:旨在解决稀疏数据下的特征组合问题优势:高度稀疏的数据场景具有线性计算复杂度. 原理公式 F M : y = w 0 + ∑ i = 1 n w i x i ...
FM算法及FFM算法
转自:http://tech.meituan.com/deep-understanding-of-ffm-principles-and-practices.html http://blog.csdn. ...
fm算法详解_什么是FM算法？
FM(Factor Machine, 因子分解机)算法是一种基于矩阵分解的机器学习算法,是为了解决大规模稀疏数据中的特征组合问题. 不同于传统的线性模型LR(Logistic Regression), ...
fm算法详解_FM算法解析
应用场景: 点击预估. 准确的估计对于提高流量的价值,增加广告收入有重要的指导作用.业界常用的方法有人工特征工程 + LR(Logistic Regression).GBDT(Gradient Bo ...
FM算法以及常用python库
FM算法以及常用python库 Factorization Machines: 适用于高维稀疏数据集进行特征组合,发现特征隐藏信息.在CTR,推荐系统中用的很多,这些情况下我也没有用过. 通过目标函数 ...
点击率预估中的FM算法FFM算法
转载请注明出处:https://blog.csdn.net/gamer_gyt/article/details/81038913 博主微博:http://weibo.com/234654758 Git ...
谷歌发布深度学习新算法，适用于真实机器人的技能学习
https://www.toutiao.com/a6649215346496504327/ 2019-01-22 15:11:28 通过这种名叫SAC(柔性致动/评价)的强化学习算法,机器人能很快地完 ...
一文读懂FM算法优势，并用python实现
介绍我仍然记得第一次遇到点击率预测问题时的情形,在那之前,我一直在学习数据科学,对自己取得的进展很满意,在机器学习黑客马拉松活动中也开始建立了自信,并决定好好迎接不同的挑战. 为了做得更好,我购买了 ...

FM算法为什么适用于稀疏数据

原理

解决办法

为什么适用于稀疏

FM算法为什么适用于稀疏数据相关推荐

最新文章

热门文章