一、计算文本的相似度简介

计算两个文本间的相似度在NLP领域中的应用非常广，包括：搜索引擎、问答系统、聊天机器人、文本分类等。

计算两个文本之间（我们用向量s1、s2来表示）的相似度有很多种方法，这里主要介绍两种方法**“欧式距离”和“余弦相似度”**。（这里假设向量s1 = (x1,x2,x3)、s2 = (y1,y2,y3)）

欧式距离是指在N维空间中两个点之间的真实距离，或者向量的自然长度（即该点到原点的距离）。“两个向量间”距离越小，相似度越大；距离越大，相似度越小。公式：

但是，欧氏距离有一个缺点，即“没有考虑向量的方向”；而余弦相似度“即考虑向量的方向，又考虑向量的大小”。

余弦相似度是指在一个向量空间中，将两个向量夹角间的余弦值作为衡量两个个体之间差异的大小。“两个向量间”余弦值越接近1（夹角趋于0），相似度越大；余弦值越接近于0（夹角趋于90度），相似度越小。公式：

二、举例

(注：这里的向量采用词频统计的方式)

词典为：[我们，又，去，爬山，今天，你们，昨天，跑步]

s1: “我们今天去爬山” = [1，0，1，1，1，0，0，0]
s2: “你们昨天跑步” = [0，0，0，0，0，1，1，1]
s3: “你们又去爬山又去跑步” = [0，2，2，1，0，1，0，1]

欧式距离计算：

余弦相似度计算：

NLP基础 - 计算文本的相似度相关推荐

文本相似度php,分析php计算文本字符串相似度函数similar_text()的原理
PHP有个计算两个文本字符串相似度的函数similar_text(),可以得出一个百分比来表示两个字符串的相似程度.效果如下: similar_text('aaaa', 'aaaa', $percen ...
文本比较算法Ⅲ——计算文本的相似度
在"文本比较算法Ⅰ--LD算法"中,介绍了编辑距离的计算. 在"文本比较算法Ⅱ--Needleman/Wunsch算法"中,介绍了最长公共子串的计算. 在给定的 ...
从0到1，了解NLP中的文本相似度
本文由云+社区发表作者:netkiddy 导语 AI在2018年应该是互联网界最火的名词,没有之一.时间来到了9102年,也是项目相关,涉及到了一些AI写作相关的功能,为客户生成一些素材文章.但是, ...
从0到1，了解NLP中的文本相似度 1
导语 AI在2018年应该是互联网界最火的名词,没有之一.时间来到了9102年,也是项目相关,涉及到了一些AI写作相关的功能,为客户生成一些素材文章.但是,AI并不一定最懂你,客户对于AI写出来的文章 ...
Java实现余弦定理计算文本相似度
相似度度量(Similarity),即计算个体间的相似程度,相似度度量的值越小,说明个体间相似度越小,相似度的值越大说明个体差异越大. 对于多个不同的文本或者短文本对话消息要来计算他们之间的相似度如何 ...
Java实现标题相似度计算，文本内容相似度匹配，Java通过SimHash计算标题文本内容相似度
目录一.前言二.关于SimHash 补充知识一).什么是海明距离二).海明距离的应用三).什么是编辑距离三.SimHash算法的几何意义和原理一).SimHash算法的几何意义二). ...
python汉明距离_simhash+汉明距离计算文本相似度
****由于最近需要做大规模的文本相似度的计算,所以用到了simhash+汉明距离来快速计算文本的相似度.** **simhash的原理如下图:其中的weight采用的是jieba的tf-idf的结果 ...
浅谈文本的相似度问题
今天要研究的问题是如何计算两个文本的相似度.正如上篇文章描述,计算文本的相似度在工程中有着重要的应用, 比如文本去重,搜索引擎网页判重,论文的反抄袭,ACM竞赛中反作弊等等. 上篇文章介绍的SimHa ...
NLP——计算文本相似度的常用算法
文章目录一.绪论二.余弦相似度 2.1 余弦相似度定义 2.2 计算相似度步骤 2.3 举例 2.4 改进方式 2.5 代码三.TF-IDF计算 3.1 TF.IDE.TF-IDF的计算方法 3 ...

NLP基础 - 计算文本的相似度

NLP基础 - 计算文本的相似度

一、计算文本的相似度简介

二、举例

NLP基础 - 计算文本的相似度相关推荐

最新文章

热门文章