FM算法原理及如何用来召回

用途：FM算法可以用来做召回，排序

背景：旨在解决稀疏数据下的特征组合问题

优势：高度稀疏的数据场景具有线性计算复杂度。

原理

公式
$y=w_{0}+\sum_{i=1}^{n} w_{i} x_{i}+\sum_{i=1}^{n} \sum_{j=i+1}^{n}<v_{i}, v_{j}>x_{i} x_{j}$

n为特征数，v为特征的隐向量，时间复杂度： $O( n^2 )$

公式推导

$\begin{aligned} & \sum_{i=1}^{n} \sum_{j=i+1}^{n}\left\langle\mathbf{v}_{i}, \mathbf{v}_{j}\right\rangle x_{i} x_{j} \\ =&\left.\frac{1}{2} \sum_{i=1}^{n} \sum_{j=1}^{n}\left\langle\mathbf{v}_{i}, \mathbf{v}_{j}\right\rangle x_{i} x_{j}-\frac{1}{2} \sum_{i=1}^{n}\left\langle\mathbf{v}_{i}, \mathbf{v}_{i}\right\rangle x_{i} x_{i}\right] \\ =& \frac{1}{2}\left(\sum_{i=1}^{n} \sum_{j=1}^{n} \sum_{f=1}^{k} v_{i, f} v_{j, f} x_{i} x_{j}-\sum_{i=1}^{n} \sum_{f=1}^{k} v_{i, f} v_{i, f} x_{i} x_{i}\right) \\ =& \frac{1}{2} \sum_{f=1}^{k}\left(\left(\sum_{i=1}^{n} v_{i, f} x_{i}\right)\left(\sum_{j=1}^{n} v_{j, f} x_{j}\right)-\sum_{i=1}^{n} v_{i, f}^{2} x_{i}^{2}\right) \\ =& \frac{1}{2} \sum_{f=1}^{k}\left(\left(\sum_{i=1}^{n} v_{i, f} x_{i}\right)^{2}-\sum_{i=1}^{n} v_{i, f}^{2} x_{i}^{2}\right) \end{aligned}$

公式经过转换，时间复杂度为 $O (k n)$ 。n是特征数量，k是隐向量的维度。

FM模型做召回

FM中的特征可以分为三类：

1：user类特征，比如用户的画像，消费历史，用户的基本信息

2：item类的特征，一般指物品的内容理解特征，以及一些消费数据特征

3：上下文特征(时间发生的时间，地点，或者等等)

做召回的时候，使用user去在线检索item，因此可以将上下文特征融入到用户侧中做在线计算。统一成为用户侧特征，于是FM的特征可以分为两部分，用户侧与物料侧。

公式变换
$\begin{aligned} &F M: y=w_{0}+\sum_{i=1}^{n} w_{i}+\sum_{i=1}^{n} \sum_{j=i+1}^{n}<v_{i}, v_{j}> \\ &=>y=w_{0}+\sum_{u=1}^{u=m} w_{u}+\sum_{k=m+1}^{k=n} w_{k}+\sum_{i=1}^{m} \sum_{j=i+1}^{m}<v_{i}, v_{j}>+\sum_{i=m+1}^{n} \sum_{j=i+1}^{m}<v_{i}, v_{j}>++\sum_{u=1}^{m} \sum_{k=m+1}^{n}< \\ &v_{u}, v_{k}> \end{aligned}$

$v_{i}\{i=0 \ldots \ldots n\}=\left[v_{u}\{i=1 \ldots . . m\}, v_{k}\{k=m+1 \ldots n\}\right]$ ，用户侧特征和item侧特征拆分放入公式得到第一步结果,令用户侧特征为 $u_{i}$ 物品侧的特征为 $v_{i}$ ,同时将权重w拆分w1,w2，得到最终结果。

由公式可知:各项分别代表：user特征权重，item特征权重，user特征交互，item内特征交互，以及user特征与item特征的交互。

线上召回

而对于所有的item来说，user特征权重以及user内的特征交互都是相同的。因此我们需要比较的是：item特征权重，item内特征交互，以及user与item特征的交互。即：
$\begin{aligned} y=\sum w_{i t e m}+\sum \sum<v_{i}, v_{j}>+\sum \sum<u_{i}, v_{j}> \end{aligned}$

其中 $\sum \sum\left\langle u_{i}, v_{j}\right>\text {等价于}<\sum u_{i}, \sum v_{j} >$ 就等于用户侧所有特征向量的累加于item侧所有特征向量的累加做一个dot乘积。

所以user侧和item侧的向量我们可以得到：
$\begin{gathered} E_{u s e r}=[1, \text { user } \text { 特征隐向量和 }] \\ E_{\text {item }}=\left[\sum w_{i t e m}+\sum \sum <v_{i}, v_{j}>, \text { item特征隐向量和 }\right] \end{gathered}$

$\sum \sum<v_{i}, v_{j}>$ 等价于 $\frac{1}{2} \left(\left(\sum v\right)^{2}-\sum v^{2}\right)$

于是在实际应用场景中，当有一个用户进行请求时，会进行以下步骤。

实时计算用户特征，查询离线训练好的FM模型对应的特征embedding向量，然后将n个用户的特征embedding向量累加，形成用户兴趣向量U，这个向量维度和每个特征的维度是相同的。类似的，离线计算每个item其对应的特征，查询离线训练好的FM模型对应的特征embedding向量，然后将m个物品子集合的特征embedding向量累加，形成物品向量I
U与I做内积，按照得分由高到低返回得分Top K的物料作为召回结果

思考

FM泛化能力强，适用于大规模稀疏数据的原因：

FM是学习单个特征的embedding，并不依赖某个特定的特征组合是否出现过，所以只要某个特征和其它任意特征组合出现过，那么就可以学习自己对应的embedding向量。

参考

参考链接1 参考链接2