《推荐系统》-FM模型
1、背景
在计算广告和推荐系统中,CTR预估(click-through rate)是非常重要的一个环节,判断一个商品的是否进行推荐需要根据CTR预估的点击率来进行。在进行CTR预估时,除了单特征外,往往要对特征进行组合。对于特征组合来说,业界常用的方法有人工特征工程 + LR(Logistic Regression)、GBDT(Gradient Boosting Decision Tree) + LR、FM(Factorization Machine)和FFM(Field-aware Factorization Machine)模型。最近几年也出现了很多基于FM改进的方法,如deepFM,FNN,PNN,DCN,xDeepFM等。
2、动机(one-hot编码带来的问题)
FM(Factorization Machine)主要是为了解决数据稀疏的情况下,特征怎样组合的问题。已一个广告分类的问题为例,根据用户与广告位的一些特征,来预测用户是否会点击广告。数据如下:(本例来自美团技术团队分享的paper)
图1、训练数据
clicked是分类值,表明用户有没有点击该广告。1表示点击,0表示未点击。而country,day,ad_type则是对应的特征。对于这种categorical特征,一般都是进行one-hot编码处理。
将上面的数据进行one-hot编码以后,就变成了下面这样 :
图2、经过one-hot
因为是categorical特征,所以经过one-hot编码以后,不可避免的样本的数据就变得很稀疏。举个非常简单的例子,假设淘宝或者京东上的item为100万,如果对item这个维度进行one-hot编码,光这一个维度数据的稀疏度就是百万分之一。由此可见,数据的稀疏性,是我们在实际应用场景中面临的一个非常常见的挑战与问题。
one-hot编码带来的另一个问题是特征空间变大。同样以上面淘宝上的item为例,将item进行one-hot编码以后,样本空间有一个categorical变为了百万维的数值特征,特征空间一下子暴增一百万。所以大厂动不动上亿维度,就是这么来的。
3、对特征进行组合
普通的线性模型,我们都是将各个特征独立考虑的,并没有考虑到特征与特征之间的相互关系。但实际上,大量的特征之间是有关联的。最简单的以电商为例,一般女性用户看化妆品服装之类的广告比较多,而男性更青睐各种球类装备。那很明显,女性这个特征与化妆品类服装类商品有很大的关联性,男性这个特征与球类装备的关联性更为密切。如果我们能将这些有关联的特征找出来,显然是很有意义的。
一般的线性模型为:
y(x)=w0+∑i=1nwixiy(x)=w_{0} +\sum_{i=1}^n{w_{i} }x_{i} y(x)=w0+i=1∑nwixi
从上面的式子很容易看出,一般的线性模型压根没有考虑特征间的关联。为了表述特征间的相关性,我们采用多项式模型。在多项式模型中,特征xix_{i}xi 与xjx_{j}xj 的组合用xixjx_{i} x_{j}xixj 表示。为了简单起见,我们讨论二阶多项式模型。具体的模型表达式如下:
为了简单起见,我们只考虑二阶交叉的情况,具体的模型如下:
y(x)=w0+∑i=1nwixi+∑i=1n∑j=i+1nwijxixjy(x)=w_{0} +\sum_{i=1}^n{w_{i} x_{i} }+\sum_{i=1}^{n} \sum_{j=i+1}^n w_{ij} x_{i} x_{j}y(x)=w0+i=1∑nwixi+i=1∑nj=i+1∑nwijxixj
式中,n表示样本的特征数量,xix_{i}xi 表示第i个特征,与线性模型相比,FM的模型就多了后面特征组合的部分。
4、FM求解
从FM公式可以看出,组合特征的参数一共有 n(n−1)/2个,任意两个参数都是独立的。然而,在数据稀疏性普遍存在的实际应用场景中,二次项参数的训练是很困难的。其原因是,每个参数wijw_{ij}wij 的训练需要大量xix_{i}xi 和xjx_{j}xj 都非零的样本;由于样本数据本来就比较稀疏,满足xix_{i}xi 和xjx_{j}xj 都非零”的样本将会非常少。训练样本的不足,很容易导致参数 wijw_{ij}wij 不准确,最终将严重影响模型的性能。
那么,如何解决二次项参数的训练问题呢?矩阵分解提供了一种解决思路。在model-based的协同过滤中,一个rating矩阵可以分解为user矩阵和item矩阵,每个user和item都可以采用一个隐向量表示。比如在下图中的例子中,我们把每个user表示成一个二维向量,同时把每个item表示成一个二维向量,两个向量的点积就是矩阵中user对item的打分。
3、矩阵分解
类似地,所有二次项参数wijw_{ij}wij 可以组成一个对称阵W(为了方便说明FM的由来,对角元素可以设置为正实数),那么这个矩阵就可以分解为W=VTVW=V^T VW=VTV,V的第j列便是第j维特征的隐向量。换句话说,每个参数xij=<vi,vj>x_{ij} = <v_{i}, v_{j}>xij=<vi,vj>,这就是FM模型的核心思想。因此,FM的模型方程为(本文不讨论FM的高阶形式)
y(x)=w0+∑i=1nwixi+∑i=1n∑j=i+1n<vi,vj>xixjy(x)=w_{0}+ \sum_{i=1}^n w_{i} x_{i}+ \sum_{i=1}^{n} \sum_{j=i+1}^n <v_{i}, v_{j}> x_{i} x_{j}y(x)=w0+i=1∑nwixi+i=1∑nj=i+1∑n<vi,vj>xixj
其中,viv_{i}vi 是第i维特征的隐向量,<.,.>代表向量点积。隐向量的长度为k(k<<n),二次项的参数数量减少为kn个,远少于多项式模型的参数数量。另外,参数因子化使得xhxjx_{h}x_{j}xhxj的参数和xixjx_{i}x_{j}xixj的参数不再是相互独立的,因此我们可以在样本稀疏的情况下相对合理地估计FM的二次项参数。具体来说,xhxix_{h} x_{i}xhxi 和xixjx_{i} x_{j}xixj 的系数分别为 <vh,vi><v_{h} ,v_{i} ><vh,vi>和<vi,vj><v_{i} ,v_{j} ><vi,vj> ,它们之间有共同项viv_{i}vi 。也就是说,所有包含"xix_{i}xi 的非零组合特征"(存在某个j≠ij \neq ij=i,使得xixj≠0x_{i} x_{j} \neq 0xixj=0)的样本都可以用来学习隐向量 vivivivivivi,这很大程度上避免了数据稀疏性造成的影响。而在多项式模型中,whiw_{hi}whi和wijw_{ij}wij 是相互独立的。
显而易见,FM的模型公式是一个通用的拟合方程,可以采用不同的损失函数用于解决回归、二元分类等问题,比如可以采用MSE(Mean Square Error)损失函数来求解回归问题,也可以采用Hinge/Cross-Entropy损失来求解分类问题。当然,在进行二元分类时,FM的输出需要经过sigmoid变换,这与Logistic回归是一样的。直观上看,FM的复杂度是O(kn^2)。但是,通过下面的等式,FM的二次项可以化简,其复杂度可以优化到O(kn) 。由此可见,FM可以在线性时间对新样本作出预测。
∑i=1n∑j=i+12<vi,vj>=12∑f=1k((∑i=1nxi,fxi2)2−∑i=1nxi,f2xi2)\sum_{i=1}^n \sum_{j=i+1}^2 <v_{i},v_{j}>=\frac{1}{2}\sum_{f=1}^k ((\sum_{i=1}^n x_{i,f}x_{i} ^2)^2-\sum_{i=1}^nx_{i,f}^2 x_{i} ^2)i=1∑nj=i+1∑2<vi,vj>=21f=1∑k((i=1∑nxi,fxi2)2−i=1∑nxi,f2xi2)
图4、推导过程
图5、二次项化简
我们再来看一下FM的训练复杂度,利用SGD(Stochastic Gradient Descent)训练模型。模型各个参数的梯度如下:
图6、求解参数梯度
其中,xj,fx_{j,f}xj,f是隐向量vjv_{j}vj 的第f个元素。由于∑j=1nxj,fxj\sum\nolimits_{j=1}^n x_{j,f}x_{j}∑j=1nxj,fxj 只与f有关,而与i无关,在每次迭代过程中,只需计算一次所有f的∑j=1nxj,fxj\sum\nolimits_{j=1}^n x_{j,f}x_{j}∑j=1nxj,fxj ,就能够方便地得到所有vj,fv_{j,f}vj,f的梯度。显然,计算所有f的∑j=1nxj,fxj\sum\nolimits_{j=1}^n x_{j,f}x_{j}∑j=1nxj,fxj 的复杂度是O(kn);已知∑j=1nxj,fxj\sum\nolimits_{j=1}^n x_{j,f}x_{j}∑j=1nxj,fxj 时,计算每个参数梯度的复杂度是O(1);得到梯度后,更新每个参数的复杂度是O(1);模型参数一共有nk+n+1个。因此,FM参数训练的复杂度也是O(kn)。综上可知,FM可以在线性时间训练和预测,是一种非常高效的模型。
5、代码练习
libFM
参考文献:
论文:Factorization Machines
论文:Factorization Machines with Follow-The-Regularized-Leader for CTR prediction in Display Advertising
推荐系统遇上深度学习(一)–FM模型理论和实践
FM(Factorization Machines)的理论与实践
深入FFM原理与实践-美团
推荐好文: 深度学习在CTR预估中的应用
《推荐系统》-FM模型相关推荐
- 推荐系统 - FM模型原理和实践
本文收录在推荐系统专栏,专栏系统化的整理推荐系统相关的算法和框架,并记录了相关实践经验,所有代码都已整理至推荐算法实战集合(hub-recsys). 目录 一. FM概述 二. FM原理 2.1 模型 ...
- 推荐系统召回四模型之全能的FM模型
作者 | 张俊林 作者简介:中国中文信息学会理事,中科院软件所博士.目前在新浪微博 AI Lab 担任资深算法专家.在此之前,张俊林曾经在阿里巴巴任资深技术专家并负责新技术团队,以及在百度和用友担任技 ...
- FM模型及其在推荐系统中的应用
推荐模型或者推荐场景下的排序模型,您脑子里第一个念头冒出的模型是哪个或哪几个? 如果你第一念头冒出来的仍然是SVD/矩阵分解啥的,那么明显你还停留在啃书本的阶段,实践经验不足:如果你第一念头是LR模型 ...
- 推荐系统的矩阵分解和FM模型
文章目录 一. 隐语义模型与矩阵分解 1 .矩阵分解理解 2. 隐语义模型 3. 矩阵分解算法的原理 4. 矩阵分解算法的求解 6. 编程实现 7.矩阵分解的优缺点分析 二.FM模型算法 1.FM模型 ...
- 推荐系统召回四模型之:全能的FM模型
原文地址:https://zhuanlan.zhihu.com/p/58160982?utm_source=ZHShareTargetIDMore&utm_medium=social& ...
- 推荐系统FM系列文章(一)-- FM模型
0. 写在前面 推荐系统相关从业人员肯定对FM(Factorization Machines)模型不会感到陌生,工业界及学术界在FM的基础上也提出了一系列优化模型,这些模型至今仍广泛应用于各类场景.本 ...
- 推荐系统与深度学习(一)——FM模型原理
作者:livan 来源:数据python与算法 前言 简单的机器学习模型构建往往假设各个特征之间相互独立,并基于特征独立进行模型训练,例如:LR.SVM: 但是实际场景中特征往往存在相互关联的,比如: ...
- mf模型 svd++_算法小板报(六)——初探MF(矩阵分解)和FM模型
一.简介 矩阵分解(Matrix Factorization,MF)是推荐系统中非常经典的一个算法,虽然现今工业界直接使用的较少,但其背后蕴含的编码降维思想,得以广泛应用于推荐领域之中.本文则主要来梳 ...
- 机器学习从入门到精通150讲(一)-推荐系统经典模型Wide Deep(附部分代码)
前言 在大规模特征的场景当中,我们通常(2016年之前)是使用将非线性特征应用在线性模型上的做法来实现的,使用这种方式,我们的输入会是一个非常稀疏的向量.虽然我们要实现这样的非线性特征,通过一些特征转 ...
最新文章
- 测量几种不同颜色的LED的V-A 曲线,以及它们作为STM32的P2(Boot1)下拉电阻
- Object.defineProperty方法
- 傅里叶变换在图像处理中的作用
- CentOS 6.6编译安装LAMP(Apache2+PHP+Mysql+PHPmyAdmin)
- 回归与梯度下降法及实现原理
- 机器学习(Machine Learning)- 吴恩达(Andrew Ng)-学习笔记
- VS Code 调试 Angular 和 TypeScript 的配置
- MongoDB 主从复制(主从集群 )
- 质检动真格,你的本科毕业论文该怎么做?
- 哈希函数及哈希函数的特性
- 利用TDR (时域反射计)测量传输延时
- 谷歌浏览器刷新快捷键
- 【应用赏析】ArcGIS API for iOS在俄勒冈大学校园中的创新应用
- 观远数据完成2.8亿元C轮融资
- 手把手教你玩转KVM虚拟机--KVM管理虚拟机
- HTTP协议详解+经典面试题
- 从0到1万字贴心讲解单体架构到分布式架构的演变(第一篇)
- YOLOv7-Pose尝鲜,基于YOLOv7的关键点模型测评
- 上海理工大学854C语言真题,2018年上海理工大学医疗器械与食品院854C程序设计考研核心题库...
- 软件测试的目的/目标