Shingling算法-简单说

什么是Shingling算法

shingling算法用于计算两个文档的相似度，例如，用于网页去重。维基百科对w-shingling的定义如下：

In natural language processing a w-shingling is a set of unique "shingles"—contiguous subsequences of tokens in a document —that can be used to gauge the similarity of two documents. The w denotes the number of tokens in each shingle in the set.

维基百科用一个浅显的例子讲解了shingling算法的原理。比如，一个文档

   "a rose is a rose is a rose"

分词后的词汇(token，语汇单元)集合是

   (a,rose,is,a,rose,is, a, rose)

那么w=4的4-shingling就是集合:

   { (a,rose,is,a), (rose,is,a,rose), (is,a,rose,is), (a,rose,is,a), (rose,is,a,rose) }

去掉重复的子集合：

   { (a,rose,is,a), (rose,is,a,rose), (is,a,rose,is) }

给定shingle的大小,两个文档A和B的相似度 r 定义为:

   r(A,B)=|S(A)∩S(B)| / |S(A)∪S(B)|

其中|A|表示集合A的大小。

因此,相似度是介于0和1之间的一个数值，且r(A,A)=1,即一个文档和它自身 100%相似。

Shingling算法-简单说相关推荐

shingling算法——提取特征，m个hash函数做指纹计算，针对特征hash后变成m维向量，最后利用union-find算法计算相似性...
shingling算法用于计算两个文档的相似度,例如,用于网页去重.维基百科对w-shingling的定义如下: In natural language processing a w-shinglin ...
网页重复度检测——shingling算法
1 前言最简单的检测重复网页的方法就是对每一个网页计算用指纹生成算法出一个简洁的"指纹".接着,当两个网页的"指纹"一样时,我们就进一步地去比对它们的网页内容 ...
数据结构与算法--简单栈实现及其应用
栈栈(Stack)是一种限制插入和删除只能在一个位置上进行的表,改位置是表的末端,叫做栈顶top.栈的基本操作有push (进栈)pop(出栈) 栈又叫做LIFO(后进先出)表,下图展示普通push ...
深度学习中反向传播算法简单推导笔记
反向传播算法简单推导笔记 1.全连接神经网络该结构的前向传播可以写成: z(1)=W(1)x+b(1)z^{(1)} = W^{(1)}x+b^{(1)}z(1)=W(1)x+b(1) a(1)=σ ...
python分类算法的应用_Python基于sklearn库的分类算法简单应用示例
Python基于sklearn库的分类算法简单应用示例来源:中文源码网浏览: 次日期:2018年9月2日 [下载文档: Python基于sklearn库的分类算法简单应用示例.tx ...
python分类算法的应用_Python使用sklearn库实现的各种分类算法简单应用小结
本文实例讲述了Python使用sklearn库实现的各种分类算法简单应用.分享给大家供大家参考,具体如下: KNN from sklearn.neighbors import KNeighborsCl ...
Karplus-Strong 算法简单介绍和实现
Karplus-Strong 算法简单介绍和实现本文为Coursera数字信号处理课程第一周内容,对相关课程刚兴趣的同学,请参看这里为了有更好的交互性,本文所有代码均上传至Microsoft Az ...
c语言写拼图游戏算法,[原创]拼图游戏移动算法,简单易懂
[原创]拼图游戏移动算法,简单易懂这是我第一次发表关于算法的贴子, 希望大家支持下原理:判断用户点击的按扭的X或Y坐标是否与移动按扭相同, 并且移动按扭的X,Y坐标是否与用户点击按扭相邻. 拼图游 ...
摄像头Optical Center检测算法简单实现
摄像头Optical Center检测算法简单实现光线通过透镜时,都会产生偏折,使光线传播方向发生变化:但透镜上有一点,任意方向的光线通过该点时,光线的传播方向不变,即出射方向和入射方向相互平行,这 ...

Shingling算法-简单说

什么是Shingling算法

Shingling算法-简单说相关推荐

最新文章

热门文章