经典检索模型——向量空间模型（VSM）的简单理解

2024-06-23 04:35:41

笔者在课后作业中遇到了向量空间模型的概念题，对课堂重温后有了一些简单的理解，在此分享。

向量空间模型（VSM）

向量空间模型（Vector Space Model，VSM），是基于代数的一种常用模型。向量空间模型试图克服布尔模型的缺陷，它采用非布尔向量来表示文档和查询，采用非二值实数表示相似度，这样输出结果就可以按照文档和查询的相似程度来进行排序了，客观上实现了部分匹配。

采用向量空间模型最明显的效果就是能提供排序的结果集，这个结果集比通过布尔模型得到的结果集要合理得多，从某种意义上说，能更好地匹配用户的信息需求。

TF-IDF方法

在相似度量上常用TF-IDF权重方法：
TF 因子 (term frequency, 词频)，文档dj中的词ki出现的频率。

IDF因子 (inverse document frequency ,逆向文件频率)，文档集合中词ki出现的频率的倒数。

课后问题问及了TF的归一化与IDF取对数的目的，解答这个需要首先理解TF-IDF的含义：
① TF代表了一个词项在一篇文档中的“重要性”，和它在该文档中出现的次数成正比（局部），和它在文档集合中涉及文档的个数成反比（全局）；
② IDF可以区别两个文档对同一个查询的相关程度，共有词（频）越多，则相关程度应该越高（同一性强）；如果一个共有词在文档集合中出现得很普遍，则由它反映的相关程度应该越低（区分性差）。

因此，TF（词频）经常会被归一化（一般是词频除以文章总词数），目的是防止它偏向长的文档。因为同一个词语，在长的文档中要比短的文档具有更高的词频，从而淡化它的重要性。
而IDF（逆向文件频率）取对数是为了降低IDF相对于TF的效果。

向量空间模型的假设前提

另一个问题是VSM模型所隐含的假设条件，这个假设条件就是词与词（特征项）之间的不相关性。
首先向量空间模型通常用多个特征项（关键词）来作为向量维度，为了保证维度不过大，特征项需要满足相互之间的独立不相关，这也导致了向量空间模型无法进行语义、语境相关的判断。向量空间模型的缺点也就在于关键词之间的线性无关的假说前提。

经典检索模型——向量空间模型（VSM）的简单理解相关推荐

文档查询匹配的方法:布尔模型,向量空间模型
文档查询匹配的方法:布尔模型,向量空间模型文档表示:词袋方法Bag-of-Words Approach • 在 IR 中表示文档(和查询)的传统方法: 记录出现的单词(术语; 通常,加上每个文档中的 ...
向量空间模型——计算文本（英文）相似度
http://blog.chinaunix.net/uid-26548237-id-3541783.html 1.向量空间模型向量空间模型作为向量的标识符,是一个用来表示文本文件的代数模型.它应用于 ...
向量空间模型(VSM)在文档相似度计算上的简单介绍
向量空间模型(VSM:Vector space model)是最常用的相似度计算模型,在自然语言处理中有着广泛的应用,这里简单介绍一下其在进行文档间相似度计算时的原理. 假设共有十个词:w1,w2 ...
vsm java_向量空间模型(VSM)在文档相似度计算上的简单介绍
C#实现在: 向量空间模型(VSM:Vector space model)是最常用的相似度计算模型,在自然语言处理中有着广泛的应用,这里简单介绍一下其在进行文档间相似度计算时的原理. 假设共有十个词: ...
文本特征抽取的向量空间模型（VSM）和TF/IDF方法
文本特征抽取两组小说,一组是爱情的,另一组是科幻的.我们能否用支持向量机训练一个模型,用来识别小说类型呢? 这个并不容易.因为支持向量机这类机器学习算法只能接受数学里面的向量作为输入.如果用它来做文 ...
NLP --- 文本分类（向量空间模型（Vector Space Model）VSM）
本节主要介绍文本分类中的一种算法即向量空间模型,这个算法很经典,包含文本预处理.特征选择.特征权值计算.分类算法.这是VSM的几个主要步骤,在宗老师的书里都有详细的讲解,这里也会进行深入的讲解,浅显易 ...
【转载】向量空间模型VSM及余弦计算
向量空间模型VSM及余弦计算向量空间模型的基本思想是把文档简化为以特征项(关键词)的权重为分量的N维向量表示. 这个模型假设词与词间不相关(这个前提造成这个模型无法进行语义相关的判断,向量空间模型的 ...
向量空间模型原理(VSM)
VSM概念介绍 VSM概念简单来说,就是把对文本内容的处理简化为向量空间中的向量运算,并且它以空间上的相似度表达语义的相似度,直观易懂.当文档被表示为文档空间的向量,就可以通过计算向量之间的相似性来 ...
向量空间模型(VSM)--用于计算文本相似度
向量空间模型将文档映射为一个特征向量V(d)=(t1,ω1(d):-:tn, ωn(d)),其中ti(i=1,2, -,n)为一列互不雷同的词条项,ωi(d)为ti在d中的权值, 一般被定义为ti在d ...

最新文章

热门文章