多种相似度计算的python实现
前言
在机器学习中有很多地方要计算相似度,比如聚类分析和协同过滤。计算相似度的有许多方法,其中有欧几里德距离(欧式距离)、曼哈顿距离、Jaccard系数和皮尔逊相关度等等。我们这里把一些常用的相似度计算方法,用python进行实现以下。大家都是初学者,我认为把公式先写下来,然后再写代码去实现比较好。
欧几里德距离(欧式距离)
几个数据集之间的相似度一般是基于每对对象间的距离计算。最常用的当然是欧几里德距离,其公式为:
#-*-coding:utf-8 -*-#计算欧几里德距离:
def euclidean(p,q):
#如果两数据集数目不同,计算两者之间都对应有的数
same = 0
for i in p:if i in q:same +=1#计算欧几里德距离,并将其标准化
e = sum([(p[i] - q[i])**2 for i in range(same)])
return 1/(1+e**.5)
我们用数据集可以去算一下:
p = [1,3,2,3,4,3]
q = [1,3,4,3,2,3,4,3]
print euclidean(p,q)
得出结果是:0.261203874964
皮尔逊相关度
几个数据集中出现异常值的时候,欧几里德距离就不如皮尔逊相关度‘稳定’,它会在出现偏差时倾向于给出更好的结果。其公式为:
-*-coding:utf-8 -*-#计算皮尔逊相关度:
def pearson(p,q):
#只计算两者共同有的same = 0for i in p:if i in q:same +=1n = same#分别求p,q的和sumx = sum([p[i] for i in range(n)])sumy = sum([q[i] for i in range(n)])#分别求出p,q的平方和sumxsq = sum([p[i]**2 for i in range(n)])sumysq = sum([q[i]**2 for i in range(n)])#求出p,q的乘积和sumxy = sum([p[i]*q[i] for i in range(n)])# print sumxy#求出pearson相关系数up = sumxy - sumx*sumy/ndown = ((sumxsq - pow(sumxsq,2)/n)*(sumysq - pow(sumysq,2)/n))**.5#若down为零则不能计算,return 0if down == 0 :return 0r = up/downreturn r
用同样的数据集去计算:
p = [1,3,2,3,4,3]
q = [1,3,4,3,2,3,4,3]
print pearson(p,q)
得出结果是:0.00595238095238
曼哈顿距离
曼哈顿距离是另一种相似度计算方法,不是经常需要,但是我们仍然学会如何用python去实现,其公式为:
#-*-coding:utf-8 -*-#计算曼哈顿距离:
def manhattan(p,q):
#只计算两者共同有的same = 0for i in p:if i in q:same += 1
#计算曼哈顿距离n = samevals = range(n)distance = sum(abs(p[i] - q[i]) for i in vals)return distance
用以上的数据集去计算:
p = [1,3,2,3,4,3]
q = [1,3,4,3,2,3,4,3]
print manhattan(p,q)
得出结果为4
小结
这里只讲述了三种相似度的计算方法,事实上还有很多种,由于我也是刚学,其他的方法还不是很了解,以后碰到了再补上。一般情况下,这三种方法是最常用的,足够我们使用了。
多种相似度计算的python实现相关推荐
- python 拼音相似度_多种相似度计算的python实现
前言 在机器学习中有很多地方要计算相似度,比如聚类分析和协同过滤.计算相似度的有许多方法,其中有欧几里德距离(欧式距离).曼哈顿距离.Jaccard系数和皮尔逊相关度等等.我们这里把一些常用的相似度计 ...
- 各种相似度计算的python实现
来源:本文转载地址 (注:相对转载代码 做了一些改动) 前言 在数据挖掘中有很多地方要计算相似度,比如聚类分析和协同过滤.计算相似度的有许多方法,其中有欧几里德距离.曼哈顿距离.Jaccard系数和皮 ...
- python 复杂数据相似度计算_Opencv python图像处理-图像相似度计算
一.相关概念 1. 一般我们人区分谁是谁,给物品分类,都是通过各种特征去辨别的,比如黑长直.大白腿.樱桃唇.瓜子脸.王麻子脸上有麻子,隔壁老王和儿子很像,但是儿子下巴涨了一颗痣和他妈一模一样,让你确定 ...
- 文本匹配相似度计算---多种距离算法 ,多种相似度计算算法,一看就懂
常见的距离算法和相似度(相关系数)计算方法 1.常见的距离算法 1.1欧几里得距离(Euclidean Distance) 欧氏距离是最易于理解的一种距离计算方法,源自欧氏空间中两点间的距离公式. ( ...
- 关于相似度计算方法的python实现
关于相似度计算方法的python实现 参考 各种相似度计算的python实现 [KNN]基于numpy的曼哈顿距离实现 余弦距离介绍 欧氏距离,曼哈顿距离:计算两个向量间的相似程度,值越小,相似度越高 ...
- python 图像识别_python图像识别之图片相似度计算
作者 | a1131825850疯子 来源 | Python爬虫scrapy 原文 | python图像识别---------图片相似度计算 1.背景 要识别两张图片是否相似,首先我们可能会区分这两张 ...
- ML:文本、图像等数值化数据相似度计算之余弦相似度计算三种python代码实现
ML:文本.图像等数值化数据相似度计算之余弦相似度计算三种python代码实现 目录 相似度计算之余弦相似度计算 输出结果 三种python代码实现
- Python简单实现基于VSM的余弦相似度计算
在知识图谱构建阶段的实体对齐和属性值决策.判断一篇文章是否是你喜欢的文章.比较两篇文章的相似性等实例中,都涉及到了向量空间模型(Vector Space Model,简称VSM)和余弦相似度计算相关知 ...
- 文本相似度计算python lda_如何识别“答非所问”?使用gensim进行文本相似度计算...
在文本处理中,比如商品评论挖掘,有时需要了解每个评论分别和商品的描述之间的相似度,以此衡量评论的客观性. 评论和商品描述的相似度越高,说明评论的用语比较官方,不带太多感情色彩,比较注重描述商品的属性和 ...
最新文章
- 清华朱军团队包揽三项冠军 | NIPS 2017对抗样本攻防竞赛总结(附学习资料)
- linux小白-基础命令-useradd
- dedecms后台左侧菜单空白不显示怎么处理
- python 计时_python怎么实现计时
- Eclipse 皮肤
- 专栏推荐丨Oracle Database 21c 专栏
- python解释器有多大_python解释器到底是什么?
- windows xp 屏幕保护程序_小礼物:3D Windows XP 屏幕保护程序
- Redis命令 - sortedSet
- linux软盘镜像下载,Linux系统各发行版镜像下载(持续更新)
- 直流电机双闭环调速系统matlab,双闭环直流调速系统的课程设计(MATLAB仿真).pdf
- HashMap底层数据结构详解
- Unity网络——断线重连
- 为您详解在ChemDraw中进行3D建模的方法
- 压缩图片和改变图片图形
- 华为MAC-VLAN举例
- Python性能优化
- 【Java】渐变头像生成-代码实现
- 第三天-01-批处理文件
- Be awesome