第1节：推荐系统介绍
什么是推荐系统呢？
- 高度总结：来了就别想走了，抖音一刷一整天，微博越刷越过瘾
好产品都推荐的好
- 大数据时代也带来了一些问题，信息太多了，到底哪个是我需要的？
- 话题很多，感兴趣的却很少，这就需要推荐系统来登场了
- 抖音越刷越是自己喜欢的东西（导致不敢让别人别我抖音了）
- 京东越买越想买（导致不敢乱搜索了，只是个段子。。。）
推荐系统无处不在
- 你可能感兴趣的，你可能喜欢的
- 越是大厂，推荐做的越好
- 用户的行为决定了推荐的内容
- 千人千面，所有人的推荐都不一样
为什么需要推荐系统
- 卖的好的就那几种商品，其他的不要了？
- 80%的销售来自20%的热门商品
- 要想提高整体收益，得把长尾商品推出去
- 通过用户行为来进行个性化推荐
推荐系统发展
- 亚马逊1998年就开始用了，只不过那时候还是简单的协同过滤
- 2006年Netflix（在线视频）竞赛一炮走红
- 2015年开始深度学习崛起，推荐也随之改变
- 今天已经百花齐放，各大论文层出不穷
推荐系统应用领域
- 广告都是钱，地图也得回回本，到哪了都有一堆推荐！
- 不仅仅是推荐产品，还打辅助，帮助完成各种决策
- 为什么她会成为可能认识的人?
- 图模型能做的事情实在太多啦，万物互联
- 知识图谱也是做好产品必备技能
- 个性化推荐，优化用户体验，海量数据中快速定位，精准营销
推荐系统的目标
- Relevance：推荐的东西起码得相关才行
- Novelty：新颖的才好，推的得是人家没有的
- Serendipity：跟处对象一样一样的，机缘
- Diversity：多样性，换着花样玩才好
如何评价推荐系统效果
- 其实最主要的还是用户满意度，各种数学公式只是辅助判断
- 常规的计算损失： （T是测试集）
- TopK推荐： （用户相关商品集与推荐商品集的交集）
- 覆盖率：挖掘长尾；多样性：覆盖不同领域；实时性：刚买了房子赶紧推装修
推荐系统里的常用词
- Item：商品，例如要从拼多多买的9.9包邮的拖鞋
- Embedding：隐向量，例如对用户商品评分矩阵进行分解
- 召回：粗略计算要返回结果，例如先从100W商品中取比较可能的100个
- 打分：要排名得有一个统一的标准；重排：最终结果排序
推荐系统经典流程
- 离线+近线+在线（召回+粗排+精排）
- 离线通常跑较大的模型与算法，先得到当前数据的大致结果，一定时间更新一次
- 粗排通常会跟着用户走，用户做了什么事，推荐结果也会随之更新
- 在线模块需要根据业务规则来返回最终呈现结果
推荐系统难点与挑战
- 需要更广泛的收集用户标签并画像
- 人是善变的，随着时间的推移，兴趣也会改变
- 根据固定画像数据，推荐结果可不能固定不变
- 特征工程如何构建一直是一个大难题
- 冷启动怎么办，包括用户冷启动与商品冷启动
- 新用户来了，不知道他啥样怎么办
- 商品倒是好办，属性相对固定
- 解决方法比较多，例如直接推荐销冠
涉及技术点分析
- Embedding方向：如何更好的表示数据，肯定不用one-hot
- 隐向量的方法在推荐中几乎无处不用，例如常见的FM及其DeepFM算法
- NLP方向：如何基于文本数据来进行推荐？
- 文本处理方法比较多，LDA,词向量,矩阵分解等套路都能用得上
- 知识图谱方向：现在这么火的技术点，推荐中肯定也用到了
- 数据越多，越能体现出知识图谱的强大
- CV方向：卷积与图卷积，图像与视频数据也是用户行为中的体现
- 卷积不仅仅能应用在图像/视频数据中，矩阵数据都可以尝试
- 特征工程与深度学习方向：如何更好的利用这么多信息？深度学习天生优胜！
- 数据维度大，稀疏度高一直都是一个大难题，与深度学习结合能更简单
为什么需要深度学习
- 宏观：传统人工特征工程难度较大，深度学习可以把特征做的更好
- 本质：end2end的架构让模型训练起来更容易，项目做起来更简单！
- 深度学习更适合NLP与图像数据，符合当下用户行为数据
- 但凡看到深度学习，第一感觉应该是这件事做起来没那么麻烦了
第1节：推荐系统介绍相关推荐
- 《敏捷迭代开发：管理者指南》—第2章2.14节推荐读物
本节书摘来自异步社区<敏捷迭代开发:管理者指南>一书中的第2章2.14节推荐读物,作者[美]Craig Larman,更多章节内容可以访问云栖社区"异步社区"公众号查看 ...
- 个性化电商广告推荐系统介绍
一 个性化电商广告推荐系统介绍 1.1 数据集介绍 Ali_Display_Ad_Click是阿里巴巴提供的一个淘宝展示广告点击率预估数据集 数据集来源:天池竞赛 原始样本骨架raw_sample 淘 ...
- 推荐系统系列一：推荐系统介绍
下面内容转自大数据与人工智能微信公众号,由于网络上推荐系统的相关学习资料太多太杂,东拼西凑学习很难摸出门道,同时我也在学习推荐系统,因此我将该系列内容摘录到我的博客,方便大家直接在博客中查看,大家一起 ...
- 《精通Android 5 多媒体开发》——第1章，第1.1节智能手机系统介绍
本节书摘来自异步社区<精通Android 5 多媒体开发>一书中的第1章,第1.1节1.1 智能手机系统介绍,作者 王石磊,更多章节内容可以访问云栖社区"异步社区"公众 ...
- 推荐系统介绍（优势、流程、模型、工具、挑战、价值）
本文介绍推荐系统基础知识,涵盖以下内容: 一.什么是推荐系统? 二.使用推荐系统的好处 三.推荐系统的构建流程 四.推荐系统相关模型 五.推荐系统开发工具(Python工具库) 六.构建推荐系统的挑战 ...
- python推介系统方法_基于AutoRec 的推荐系统介绍与python实现
本文要介绍的模型是2015年由澳大利亚国立大学提出的AutoRec.它将自编码器(AutoEncoder) 的思想和协同过滤结合,提出了一种但隐藏层的神经网络推荐model.因为简洁的网络结构和清晰易 ...
- [机器学习]推荐系统介绍
目录 1 前言 2 个性化推荐系统概述 3 个性化推荐系统的常用算法 3.1协同过滤推荐 3.1基于关联规则的推荐 4 个性化推荐系统的技术改进 1 前言 互联网的高速发展,促进了各行各业的发展,也为 ...
- 2016 Youtube 推荐系统介绍
目录 概述 由于工作的原因需要学习推荐系统,找到了Deep Neural Networks for YouTube Recommendations这篇文章, 作者来自于Google.发现很多大公司基于 ...
- JAVA分布式医疗云平台系统开发实战第一节 open-his系统介绍
Open-his 支付系统 1.目的 ...
最新文章
- mysql探活_MYSQL探索
- 前苹果副总裁：20-40-60法则
- python生成pdf文档_使用Python生成pdf文件
- 视频版权检测算法
- 关闭多个activity
- 03-0006 Python批量查询手机归属地
- 选中Excel单元格自动导入多个Excel worksheets
- LODOP打印分页出现空白页
- 机器学习-验证策略总结【交叉验证、验证集方法】
- linux下执行.sh文件的方法和语法
- Java课设 2048小游戏
- OUC_2022年夏季《移动软件开发》实验报告-实验2
- 20155220 吴思其 《网络攻防》 Exp1 PC平台逆向破解(5)M
- 用3句话像老太太讲清楚什么是数据库
- 51job爬虫-xpath
- 跨境电商竞争格局头部化，中小平台如何突围？
- 知道公司抢“坑位”是什么意思吗？
- 学会python如何利用业余时间赚外快？分享几个接私单途径，分分钟月入3K+
- 阿里悄悄启动教育新基建
- 国密消息鉴别码学习笔记 ——含GB/T 15852和HMAC（第2章 基于分组密码的MAC）