内容总结

召回中，一般的训练方式分为三种：point-wise、pair-wise、list-wise。RecHub中用参数mode来指定训练方式，每一种不同的训练方式也对应不同的Loss。对应的三种训练方式可以参考下图，其中a表示user的embedding，b+表示正样本的embedding，b-表示负样本的embedding。
- 前面两行是指pointwise即图例看待每个正负样本，使用二分类交叉熵
- pairwise：每次选择一个正样本和一个负样本，使用Hinge loss或者BPR loss损失函数
- listwise：每次选择一个正样本和多个负样本，使用softmax loss函数，其实就是多分类问题（如下图最下面的CrossEntropyLoss函数）
召回中样本的选择：
- 正样本：用户点击的物品
- 负样本：没有被召回的；召回但是被排序淘汰的；曝光但是未点击的
微软DSSM奠定的基本思想：
- 离线使用cosine优化相似度
- 在线使用ANN向量化召回
- 首次提出随机负采样

【PyTorch基础教程30】DSSM双塔模型（线上召回 | 模型更新）相关推荐

【Pytorch基础教程33】算法模型部署（MLFlow/ONNX/tf serving）
内容概况服务器上训练好模型后,需要将模型部署到线上,接受请求.完成推理并且返回结果. 保存模型结构和参数最简单的是torch.save保存为checkpoint,但一般用于训练时记录过程,训练中断可 ...
深度学习之Pytorch基础教程！
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货作者:李祖贤,Datawhale高校群成员,深圳大学随着深度学习的发展 ...
【深度学习】深度学习之Pytorch基础教程！
作者:李祖贤,Datawhale高校群成员,深圳大学随着深度学习的发展,深度学习框架开始大量的出现.尤其是近两年,Google.Facebook.Microsoft等巨头都围绕深度学习重点投资了一系 ...
Pytorch基础教程（1）：人工智能与Pytorch简介
Pytorch基础教程(1) :人工智能与Pytorch简介 1.人工智能简介人工智能是新一轮科技革命和产业变革的重要驱动力量,其发挥作用的广度和深度堪比历次工业革命.蒸汽革命成就了英国,电气和信息 ...
`web3d模型线上展厅（一）
大家好,我是遂海枫林.最近呢又准备活跃起来了. 最近主要研究了下3D相机迅速搭建web线上模型的一个项目. 项目缺口由于疫情,线上学习,线上工作,线上研究已经成为了大众接纳和处理事务最主要的方式,计 ...
konfig:采用ConfigMap实现线上配置热更新
前言利用kubernetes部署应用越来越流行,而运行在kubernetes中的服务需要的各种各样的配置如何才能实现热更新?难道需要在kubernetes中再部署zookeeper或者etcd之类的 ...
【Pytorch基础教程31】YoutubeDNN模型解析
学习总结 youtubeDNN即一个用softmax loss损失函数训练,且训练模式为list-wise sample的经典DSSM双塔模型. 在YouTubeDNN中可以发现召回是作为一个多分类任 ...
【PyTorch基础教程29】DIN模型
学习总结推荐系统排序部分中的损失函数大部分都是二分类的交叉熵损失函数,但是召回的模型很多都不是.召回模型那块常见的还有sampled softmax损失函数: 模型训练时,在seed设置固定时模型的 ...
【Pytorch基础教程36】基于Ernie预训练模型和Bert的新闻分类
文章目录一.新闻分类任务 1.1 中文数据集 1.2 数据特点 1.3 跑起代码二. 预训练语言模型ERNIE 2.1 ERNIE模型结构 2.2 bert模型结构三.项目代码 1. bert模 ...

【PyTorch基础教程30】DSSM双塔模型（线上召回 | 模型更新）

内容总结

【PyTorch基础教程30】DSSM双塔模型（线上召回 | 模型更新）相关推荐

最新文章

热门文章