头条召回算法-深度检索

文章重点：路径优化中，loss是怎么算的？是怎么优化的(em算法)？线上是怎么用的(beam search)

论文链接：https://arxiv.org/pdf/2007.07203.pdf

ppt介绍链接(百度网盘)：暂停

一些基础的介绍可以看下面两篇文章：字节跳动Deep Retrieval召回模型笔记_abcdefg90876的博客-CSDN博客

大规模推荐Deep Retrieval - 知乎

1：ANN算法介绍

ann搜索算法（Approximate Nearest Neighbor） - 合唱团abc - 博客园

下面主要是讲解KD树、矢量量化方法这两个知识点

KD树简介 - 知乎

ANN 之 Product Quantization - 知乎

ann搜索算法（Approximate Nearest Neighbor） - 合唱团abc - 博客园

2：MIPS算法介绍(Maximum Inner Product Search)

最近邻搜索(NN)、最大内积搜索（MIPS）与(A)LSH算法 - 知乎

3: 深度召回DR算法 Deep Retrieval

D层，每层K个节点（每个节点就是一个候选item，K应该是全部item数量）

第一个累加N是N个item，第二个累加J是J个path(每个item在J个path中)

下面有个em算法讲解的好的视频(在优酷上也能搜到)：18分钟理解EM算法https://m.baidu.com/video/page?pd=video_page&nid=11346746330445539320&sign=17985137081996769464&word=em%E4%BC%98%E5%8C%96%E7%AE%97%E6%B3%95+%E8%A7%86%E9%A2%91&oword=em%E4%BC%98%E5%8C%96%E7%AE%97%E6%B3%95+%E8%A7%86%E9%A2%91&atn=index&frsrcid=5377&ext=%7B%22jsy%22%3A1%7D&top=%7B%22sfhs%22%3A1%2C%22_hold%22%3A2%7D&sl=4&trace=8767025049303041722&isBdboxShare=1&isBdboxShare=1

EM算法详解 - 知乎

(1) 上面的p(xi, zi | Θ)，zi是个隐变量，和xi在一起可以这样理解，xi是身高175.5 同时带着zi=0.3的概率可能，任何一个样本都带着这个概率

上面的那些 i 代表第 i 个样本

Qi(zi)是第i个样本的隐变量的概率分布

(2) 将 p(xi, zi | Θ) / Qi(zi) 看做一个整体，Qi(zi) 因为概率分布，所以累加起来为1，相当于对这个整体求平均，就可以用到 Jensen不等式进行化简

了解了em算法后，用em来优化上面的目标函数，主要讲解E M两步

头条召回算法-深度检索相关推荐

字节跳动高伟豪：端到端深度召回算法
分享嘉宾:高伟豪博士字节跳动研究科学家导读:传统的召回算法一般基于双塔结构并加以approximately nearest neighbor search (ANN) 或者maximum inn ...
字节跳动端到端深度学习召回算法
来源:DataFunTalk 本文约2600字,建议阅读5分钟本文为你介绍字节跳动AML Team在大规模推荐中构建的可学习的索引结构. [ 导读 ] 传统的召回算法一般基于双塔结构并加以appro ...
深度召回算法在字节跳动推荐系统的应用实践
今天给大家带来字节跳动高伟豪所做的分享<深度召回算法在字节跳动推荐系统的应用实践.pdf>.关注推荐算法.深度召回.召回算法等的伙伴别错过了(到小程序中省时查报告中搜索"推荐&q ...
3分钟了解今日头条推荐算法原理
今日头条的内容分发算法一直颇神秘低调.自12年开发运营起进四次改版,从未透露核心内容. 2018年1月,今日头条资深算法架构师曹欢欢博士,终于首次公开今日头条的算法原理,以期推动整个行业问诊算法.建言 ...
【推荐系统】今日头条推荐算法原理全文详解
如今,算法分发已经逐步成为信息平台.搜索引擎.浏览器.社交软件等几乎所有软件的标配,但同时也开始面临各种不同的质疑.挑战与误解. 2018年1月,今日头条资深算法架构师曹欢欢博士,首次公开今日头条的算 ...
今日头条推荐算法详解（PDF下载）
源 | AI研习社编辑 | 昱良内容较长点击阅读原文即可下载今日头条资深算法架构师曹欢欢: 本次分享将主要介绍今日头条推荐系统概览以及内容分析.用户标签.评估分析,内容安全等原理. 一. ...
QQ音乐推荐召回算法的探索与实践
文章目录一.业务介绍 1.业务介绍 2. QQ音乐推荐场景特点 3. QQ音乐推荐解决方案二.融合音乐知识图谱召回三.序列与多兴趣召回 3.1 空间和时间建模方案 3.2 多兴趣提取方案 3.3 ...
一些经典的召回算法模型
1. Airbnb论文:Real-time Personalization using Embeddings for SearchRanking at Airbnb Embedding 向量最终能表达 ...
推荐系统实战第02课召回算法和业界最佳实践Part1
推荐系统实战第02课召回算法和业界最佳实践Part1 推荐系统的 Match 模块介绍 Match 算法典型应⽤ Collaborative Filtering 算法介绍基于共现关系的 Collab ...

头条召回算法-深度检索

头条召回算法-深度检索相关推荐

最新文章

热门文章