[推荐系统]欧氏距离和余弦相似度
两者相同的地方,就是在机器学习中都可以用来计算相似度,但是两者的含义有很大差别,以我的理解就是:
前者是看成坐标系中两个点,来计算两点之间的距离;
后者是看成坐标系中两个向量,来计算两向量之间的夹角。
前者因为是点,所以一般指位置上的差别,即距离;
后者因为是向量,所以一般指方向上的差别,即所成夹角。
如下图所示:
数据项A和B在坐标图中当做点时,两者相似度为距离dist(A,B),可通过欧氏距离(也叫欧几里得距离)公式计算:
当做向量时,两者相似度为cosθ,可通过余弦公式计算:
假设||A||、||B||表示向量A、B的2范数,例如向量[1,2,3]的2范数为:
√(1²+2²+3²) = √14
numpy中提供了范数的计算工具:linalg.norm()
所以计算cosθ起来非常方便(假定A、B均为列向量):
- num = float(A.T * B) #若为行向量则 A * B.T
- denom = linalg.norm(A) * linalg.norm(B)
- cos = num / denom #余弦值
- sim = 0.5 + 0.5 * cos #归一化
因为有了linalg.norm(),欧氏距离公式实现起来更为方便:
- dist = linalg.norm(A - B)
- sim = 1.0 / (1.0 + dist) #归一化
关于归一化:
因为余弦值的范围是 [-1,+1] ,相似度计算时一般需要把值归一化到 [0,1],一般通过如下方式:
sim = 0.5 + 0.5 * cosθ
若在欧氏距离公式中,取值范围会很大,一般通过如下方式归一化:
sim = 1 / (1 + dist(X,Y))
说完了原理,简单扯下实际意义,举个栗子吧:
例如某T恤从100块降到了50块(A(100,50)),某西装从1000块降到了500块(B(1000,500))
那么T恤和西装都是降价了50%,两者的价格变动趋势一致,余弦相似度为最大值,即两者有很高的变化趋势相似度
但是从商品价格本身的角度来说,两者相差了好几百块的差距,欧氏距离较大,即两者有较低的价格相似度
-- EOF --
[推荐系统]欧氏距离和余弦相似度相关推荐
- 余弦相似度和欧氏距离_欧氏距离和余弦相似度
余弦相似度和欧氏距离 Photo by Markus Winkler on Unsplash Markus Winkler在Unsplash上拍摄的照片 This is a quick and str ...
- 相似度度量:欧氏距离与余弦相似度(Similarity Measurement Euclidean Distance Cosine Similarity)...
在<机器学习---文本特征提取之词袋模型(Machine Learning Text Feature Extraction Bag of Words)>一文中,我们通过计算文本特征向量之间 ...
- 【转】自然语言处理:文本相似度计算(欧氏距离、余弦相似度、编辑距离、杰卡德相似度)
文本相似度,顾名思义是指两个文本(文章)之间的相似度,在搜索引擎.推荐系统.论文鉴定.机器翻译.自动应答.命名实体识别.拼写纠错等领域有广泛的应用. 与之相对应的,还有一个概念--文本距离--指的是两 ...
- 自然语言处理:文本相似度计算(欧氏距离、余弦相似度、编辑距离、杰卡德相似度)
文本相似度,顾名思义是指两个文本(文章)之间的相似度,在搜索引擎.推荐系统.论文鉴定.机器翻译.自动应答.命名实体识别.拼写纠错等领域有广泛的应用. 与之相对应的,还有一个概念--文本距离--指的是两 ...
- 对比欧氏距离与余弦相似度
欧式距离 欧氏距离就是我们平常所说的距离,如果是平面上的两个点和 ,那么 A 与 B 的欧式距离就是:如果是三维空间中的两个点 和 ,那么 A 与 B 的欧式距离就是:如果推广到高维空间,公式可以 ...
- 欧氏距离、余弦相似度、Jaccard相似度、皮尔逊的Python代码与实例
首先是一段计算4个相似度的Python代码. 需要注意的是,进行归一化操作后,4个函数取值范围都是0-1,而且都是数值越大表示相似性越高,数值为1代表完全相似. import numpy as npd ...
- 欧氏距离和余弦相似度的前世今缘
前几天在一场报告中和同事聊到了高维向量的距离度量,大家讨论的点是:欧氏距离在高维下效果会非常差,那有没有其他更有效的方法? 当时第一时间想到了余弦相似度,印象中在文本相似度(文本匹配)度量中就是用的余 ...
- 关于欧氏距离和余弦相似度的使用场景
最近在做"判断两段文本的语义相似度"的事情,实验中用doc2vec做文本向量化,用余弦值衡量文本相似度. ## 那么为什么选用余弦呢? 如向量的维度是3,有三段文本a.b.c,文本 ...
- 相似度计算——欧氏距离、汉明距离、余弦相似度
计算图像间的相似性可以使用欧氏距离.余弦相似度/作为度量,前者强调点的思想,后者注重线的思想. 欧氏距离 欧式距离/Euclidean Distance即n维空间中两个点之间的实际距离.已知两个点A= ...
最新文章
- 将BYTE[] 输出到edit控件中
- 编写和布置一个List Event Receivers(下)
- 4.11-固件映像包 (FIP)
- 关于类的非静态函数指针成员变量
- php 购物车案例教程,php初步实现购物车功能的实例分析
- Java后台POST请求以application/x-www-form-urlencoded;charset=utf-8格式
- Android权限详解
- python类型检查_python【数据类型检查】
- 我已经不用 try catch 处理异常了!太辣鸡了!
- allatori混淆工具_Java 代码混淆工具 Allatori
- 这届618:商家全渠道作战,天猫仍是主场
- centos系统 -官网下载mysql
- 关于 Windows 不断报 脚本错误 当前页面的脚本发生错误 警告窗口的解决办法
- 王兴:为什么中国的To B企业都活得这么惨?(演讲全文)
- java推送叮叮消息,叮叮叮!请及时签收入门学习Java导航路线
- 学好英语的42个经典要诀
- idea Failed to clean project Failed to delete target
- Linux六种进程状态R、S、D、T、Z、X
- 【BZOJ4372】—烁烁的游戏(动态点分治)
- 2.12父子进程通过匿名管道通信
热门文章
- 审计工作计算机保密,浅谈做好审计保密工作
- 怎么去拥有一道彩虹,怎么去拥抱一夏天的风
- c++运算符重载与输入输出流重载
- CNN中文垃圾邮件分类(二)
- 企业家社会责任与饲料行业发展浅析
- stm32f103c8t6连接DHT11温湿度模块 采集温湿度并在数码管显示
- unity音效管理器
- 黑客攻击-木马免杀之PE文件
- 巨杉Tech | SequoiaDB数据域及存储规划
- Error:The above error occurred in one of your React components及A component suspended while respondi