1-前序，从wide&deep说起

wide&deep由wide侧与deep侧一起使用发挥了两者综合的优势，wide侧是由低级特征交叉（cross-product）而得到的人工特征，与LR无差别，这种特征可能需要较多时间来进行组合，而且泛化性很低，可以认为是一个记忆网络，但很好解释；而deep侧则将特征进行embedding后concat作为dnn网络的输入，这种特征的交叉的方式显得更为高级，毕竟神经元全连接加上relu这种非线性激活函数，不足的是，当user-item交互是稀疏的时候可能推出相关性较小的item。因而，wide&deep一起使用就会弥补两者的不足，同时也能兼顾两者的优点，这很奈斯！！

For Recommendation in Deep learning QQ Group 277356808

For deep learning QQ Second Group 629530787

I'm here waiting for you

2，wide&deep中的基本概念与deepFM的异同点

2.1两个概念：memorization，generalization

前者是记忆，根据以往item历史推出相关的item，这是很直观的，后者是泛化，根据相关特征转化，探索历史中从未出现或很少出现的特征，这就增加了item的多样性。

特征交叉是什么？共现特征对AND，这就是说，其他的情况只能是0，比如，买了啤酒和尿不湿就是共现特征对，此时为1，只买啤酒或只买尿不湿，都是0。cross-product不会生成训练集中没有的，除非你穷举所有的特征对（特征组合，这个除非是我说的）啥意思？人工构造的特征组合肯定比不上全连接的这种特征交叉组合，很少有人穷举这些特征组合，这很费劲，而且效果也不一定好。因而，wide这部分完全可以改成自动学习，自动交叉的方式，比如FM，DNN，wide&deep中有了DNN，因此没有必要两个DNN（双塔，也不是，四不像），因而只剩下FM了，

2.2FM是啥？为啥FM不需要特征工程

从数据上来说，FM可能有多个field的数据，比如cate类型及连续值类型，前者one-hot编码作为表达，后者直接就是数字表达（或离散化后one-hot编码），流程如图下：

field中的特征如上所述，可以是cate类型（one-hot编码后），也可以是数值类型（不需编码），这是sparse 特征层，将其中不为0的进行embedding作为embedding层，且不为0的部分（其实是xi）与wi（在训练中学习）进行相乘后经Norm 后相加，也即FM表达式的第一项（一阶项），embedding层两两进行inner product（这就潜在要求embedding size应当一致），得到2阶项，也就是FM的第2项，这个两两取内积就是我上面提到的（穷尽了两两特征对），因而FM效果肯定要比wide好。1阶项与2阶项之和相加得到最终的yFM。其中的weight -1 就是指直接相加，权值为1。

2.3细节问题，为何只对上述的非0项进行embedding？

这是因为，0项与隐向量V相乘后都是0，而唯独非0项才有值，因而embedding 其实就是V，如下图所示：0与1对应于2阶项中的xi

2.4 wide是如何计算的，cross-product 与 inner-product有啥区别？

这部分就是如下图的LR，对于binary或者其他特征，取cross-product相当于是取AND（上述已经提到），其实就是特征共现对，y=wx+b，sigmoid为激活函数，其中输入的x为原始数据（数值型或离散型）或者经cross-product处理后的特征（可以交叉，也可以不交叉），交叉则增加了非线性。最终将wide部分的y与deep部分的y相加后才经过sigmoid激活。inner-product则就是内积，很好理解。

参考deepFM paper

参考wide&deep paper

愿我们终有重逢之时，

而你还记得我们曾经讨论的话题。

deepFM排序模型与widedeep的差异相关推荐

推荐排序模型2—— wideDeep及python（DeepCTR）实现
wide&Deep模型重点指出了Memorization和Generalization的概念,这个是从人类的认知学习过程中演化来的.人类的大脑很复杂,它可以记忆(memorize)下每天发生的 ...
深度排序模型在淘宝直播的演进与应用
分享嘉宾:纪志辉阿里巴巴算法专家编辑整理:李春雷出品平台:DataFunTalk 导读:淘宝直播近两年在排序模型上进行了持续的迭代优化和演进落地,在多目标学习.跨场景迁移.召回匹配.大促GMV ...
排序模型（learning to rank）发展史（偏推荐系统
前言「排序」是一个非常业务化的任务,其实践场景也多为搜索.广告.推荐,被用于解决排序任务的模型也被人一统称作了「排序模型」,但其实「排序模型」也是「普通模型」,只不过或多或少在业务层面针对排序做了一 ...
FM,FMM,deepFFM模型总结,深度排序模型
微博团队张俊林 https://zhuanlan.zhihu.com/p/67795161 如果你是 liblinear.libfm.libffm 的用户,那么现在 xLearn 将会是你更好的选 h ...
互联网大厂面试官：推荐系统最经典的排序模型有哪些？你了解多少？
互联网大厂面试官:推荐系统最经典的排序模型有哪些?你了解多少? 提示:最近系统性地学习推荐系统的课程.我们以小红书的场景为例,讲工业界的推荐系统. 我只讲工业界实际有用的技术.说实话,工业界的技术 ...
头条项目推荐的相关技术(十)：排序模型进阶与总结
1. 写在前面这里是有关于一个头条推荐项目的学习笔记,主要是整理工业上的推荐系统用到的一些常用技术, 这是第八篇, 上一篇文章介绍了一些深度学习和TensorFlow框架相关的知识, 有了这些知识, ...
CSCNN：新一代京东电商广告排序模型
分享嘉宾:刘鹄京东算法工程师编辑整理:李沛欣出品平台:DataFunTalk 导读:随着电商平台对图像信息的大量引入,通过图像分析来进行广告点击率判断就成了新的趋势.本次分享的主题为CSCNN ...
分类模型与排序模型在推荐系统中的异同分析
出品社区:DataFunTalk 前言推荐系统是驱动内容分发的引擎,而个性化则是推荐系统的核心思想.分类模型和排序模型是业界常用的两种个性化建模方式.本文探讨两种方法的异同点,总结如下: 分类模型回 ...
长文剖析经典论文，揭晓 Facebook 广告排序模型！
作者 | 梁唐来源 | TechFlow(ID:techflow2019) 头图 | CSDN 下载自东方IC 今天我们来剖析一篇经典的论文:Practial Lessons from Predi ...

deepFM排序模型与widedeep的差异

For Recommendation in Deep learning QQ Group 277356808

For deep learning QQ Second Group 629530787

愿我们终有重逢之时，

而你还记得我们曾经讨论的话题。

deepFM排序模型与widedeep的差异相关推荐

最新文章

热门文章