场景

CTR预估是目前推荐系统的核心技术，其目标是预估用户点击推荐内容的概率，在特征工程中，二阶特征的交叉非常重要，但是人为的特征交叉及其繁琐，且需要很多领域和业务经验。FM模型具有特征自动交叉的作用，能够学到二阶特征，但是无法学习到更高阶的特征，DNN可以学习到高阶特征组合，结合FM和DNN，产生了DeepFM模型。本文简单的介绍了FM模型和DeepFM模型，并给出了一些代码案例。

FM模型

作用：将特征向量化后，利用特征向量的点积作为交叉项的权重，从而进行自动二阶交叉。
优点：泛化能力强，尤其是大规模稀疏特征场景，对于没有同时出现的特征交叉也可以学到权重。

本质上，MF模型是FM模型的特例，MF可以被认为是只有User ID 和Item ID这两个特征Fields的FM模型，MF将这两类特征通过矩阵分解，来达到将这两类特征embedding化表达的目的。而FM则可以看作是MF模型的进一步拓展，除了User ID和Item ID这两类特征外，很多其它类型的特征，都可以进一步融入FM模型里，它将所有这些特征转化为embedding低维向量表达，并计算任意两个特征embedding的内积，就是特征组合的权重

算法效率：
从FM的原始数学公式看，因为在进行二阶（2-order）特征组合的时候，假设有n个不同的特征，那么二阶特征组合意味着任意两个特征都要进行交叉组合，所以可以直接推论得出：FM的时间复杂度是n的平方。
二阶特征交叉公式改写后，复杂度为：kn

DeepFM模型

DeepFM模型包含FM和DNN两部分，FM模型可以抽取low-order特征，DNN可以抽取high-order特征。无需Wide&Deep模型人工特征工程

代码实践

特征分为两种：
onehot特征：用户属性，歌曲属性等
连续特征：用户在不通类目下的偏好，歌曲转化率等。
FM部分输入：onehot特征
DNN部分数据：concat (onehot+dense)
输入：feat_index (B x F) feat_value (B x F)
embedding 层, 对每个特征映射到k维度的embedding向量： B X F X K

 # model
self.embeddings = tf.nn.embedding_lookup(self.weights["feature_embeddings"], self.feat_index)
feat_value = tf.reshape(self.feat_value, shape=[-1, self.field_size, 1])
self.embeddings = tf.multiply(self.embeddings, feat_value)

FM计算模块，一阶项和二阶交叉项


# ---------- first order term ----------
self.y_first_order = tf.nn.embedding_lookup(self.weights["feature_bias"], self.feat_index) # None * F * 1
self.y_first_order = tf.reduce_sum(tf.multiply(self.y_first_order, feat_value), 2)  # None * F
self.y_first_order = tf.nn.dropout(self.y_first_order, self.dropout_keep_fm[0]) # None * F# ---------- second order term ---------------# sum_square part
self.summed_features_emb = tf.reduce_sum(self.embeddings, 1)  # None * K
self.summed_features_emb_square = tf.square(self.summed_features_emb)  # None * K# square_sum part
self.squared_features_emb = tf.square(self.embeddings)
self.squared_sum_features_emb = tf.reduce_sum(self.squared_features_emb, 1)  # None * K# second order
self.y_second_order = 0.5 * tf.subtract(self.summed_features_emb_square, self.squared_sum_features_emb)  # None * K
self.y_second_order = tf.nn.dropout(self.y_second_order, self.dropout_keep_fm[1])  # None * K

Deep项

# ---------- Deep component ----------
self.y_deep = tf.reshape(self.embeddings, shape=[-1, self.field_size * self.embedding_size]) # None * (F*K)
self.y_deep = tf.nn.dropout(self.y_deep, self.dropout_keep_deep[0])
for i in range(0, len(self.deep_layers)):self.y_deep = tf.add(tf.matmul(self.y_deep, self.weights["layer_%d" %i]), self.weights["bias_%d"%i]) # None * layer[i] * 1if self.batch_norm:self.y_deep = self.batch_norm_layer(self.y_deep, train_phase=self.train_phase, scope_bn="bn_%d" %i) # None * layer[i] * 1self.y_deep = self.deep_layers_activation(self.y_deep)self.y_deep = tf.nn.dropout(self.y_deep, self.dropout_keep_deep[1+i]) # dropout at each Deep layer

最后将Deep层和FM层的输出concat到一起，经过一层隐层+sigmod输出

# ---------- DeepFM ----------
if self.use_fm and self.use_deep:concat_input = tf.concat([self.y_first_order, self.y_second_order, self.y_deep], axis=1)
elif self.use_fm:concat_input = tf.concat([self.y_first_order, self.y_second_order], axis=1)
elif self.use_deep:concat_input = self.y_deep
self.out = tf.add(tf.matmul(concat_input, self.weights["concat_projection"]), self.weights["concat_bias"])
self.out = tf.nn.sigmoid(self.out)
self.loss = tf.losses.log_loss(self.label, self.out)

DeepFM模型介绍相关推荐

CTR深度学习模型之 DeepFM 模型解读
CTR 系列文章: 广告点击率(CTR)预测经典模型 GBDT + LR 理解与实践(附数据 + 代码) CTR经典模型串讲:FM / FFM / 双线性 FFM 相关推导与理解 CTR深度学习模型之 ...
推荐算法DeepFM原理介绍及tensorflow代码实现
DeepFM 目标: 产生背景: 模型介绍: 善于处理特征交叉的机器学习模型 FM 如何优化FM的计算效率深度学习模型和 FM 模型的结合 DeepFM 特征交叉新方法:元素积操作技巧: 代码部分 ...
【推荐系统】DeepFM模型分析
目录一.原理二.pytorch代码分析 1.数据准备 2.构建模型 2.1.FM模型 2.2.DNN模型 2.3.DeepFM模型三.代码讲解 & 连接 emb层收敛速度慢的原因 1.输 ...
自然语言处理中N-Gram模型介绍
转载一下,这文章写的真好! 自然语言处理中N-Gram模型介绍 - 知乎容易看懂,. 也是解决了,好奇为什么不用3. 因为,如果使用3的话.那么数量就会大的吓人!
高速串行总线的设计基础（一）同步时序模型介绍
文章目录前言芯片间通信的时序模型系统同步源同步自同步并串转换串并转换时钟/数据恢复参考文章前言高速信号设计涉及到方方面面的知识积累,也许TOC你认为即使没有掌握甚至没有听过一些高 ...
数据库系统概念总结：第二章关系模型介绍
周末无事水文章,期末备考的总结资料第二章关系模型介绍 2.1 关系数据的结构关系数据库由表(table)组成,每个表有唯一的名字.一般来说,表中一行代表了一组值之间的一种联系表中一行代表了一组 ...
5种网络IO模型介绍
5种网络IO模型介绍 IO 模型分为以下几种: 阻塞IO 非阻塞IO 信号驱动IO IO多路复用异步IO 前四个为同步IO 1 阻塞IO 一个IO操作需要两步: 等待数据和拷贝数据. blockin ...
经典Wide Deep模型介绍及tensorflow 2代码实现
Wide & Deep模型介绍目标: 内容: 一. 模型介绍二. 推荐系统架构三. Wide部分四. Deep部分五. Wide和Deep一起训练六. 系统实现 (1)数据生成阶段 ...
学习笔记(36):Python网络编程并发编程-IO模型介绍
立即学习:https://edu.csdn.net/course/play/24458/296460?utm_source=blogtoedu I/O模型介绍:I/O模型表示处于等待状态的模型,如套接 ...

DeepFM模型介绍

DeepFM实践

场景

FM模型

DeepFM模型

代码实践

DeepFM模型介绍相关推荐

最新文章

热门文章