情报工程模型算法摘抄

《面向专业领域的情报工程技术研究与实现》刘耀

工程化系统化思维下的情报工程应该具备以下功能：海量数据的获取和处理；构建专业化情报研究，科技评价等深层次解决方案

相似度模型

Word2Vec模型是Google公司在2013年开放 Word2Vec模型这一款用于训练词向量的软件工具。Word2Vec模型也叫Word Embeddings，中文名“词向量”，作用就是将自然语言中的字词转为计算机可以理解的稠密向量（Dense Vector），即根据给定的语料库，通过优化后的训练模型快速有效地将一个词语表达成向量形式，为自然语言处理领域的应用研究提供了新的工具。Word2Vec模型依赖Skip-Gram模型或连续词袋（CBOW模型）来建立神经词嵌入。Word2Vec模型作为神经概论语言模型的输入，其本身其实是神经概率模型的副产品，是为了通过神经网络学习某个语言模型而产生的中间效果（权重矩阵）

Doc2Vec模型是2014年Mikolov在Word2Vec模型基础上提出的一种用来计算长文本的工具。它是一种无监督算法，用于从不同长度的文本片段（如句子，段落及文档）中获取固定长度的特征表示。该算法通过一个密集的向量来表示每个文档，不需要特定任务的单词权重函数调整，也不需要依赖分析树，这个向量被训练来预测文档中的词。Word2Vec模型只是基于词的维度进行“语义分析”的，并不具有上下文的“语义分析”能力。因此在Word2Vec模型的基础上增加一个段落向量，该方法是Doc2Vec模型

LDA模型 2003年，Blei等人提出隐含狄利克雷（Latent Dirichlet Allocation, LDA）模型，可以针对一些模型或者算法无法显示内部或者文件的内部统计结构等缺点，很好地应对并进行分析，使得用户可以高效率、高准确度地掌握信息的内容。而且隐含狄利克雷模型的参数数量不会与文献集的增长成正比增长趋势，具有良好的泛化能力。LDA模型是一个具有文档层、隐藏主题层及特征词层的三层贝叶斯模型。其中一个集合中的每个项目都被建模成一组主题上的有限混合。同样，每个主题都会被建模为一组潜在主题概率的无限组合。在文本建模的背景下，主题概率提供了文档的明确表示。

概率模型与算法

CRF模型条件随机场（Conditional Random Fields, CRF）模型用于解决自然语言处理中的序列标注问题。作为一种概率模型，承袭了隐马尔可夫模型HMM（随机变量状态和输出的转换概率问题）和最大熵模型ME（满足特征约束的最优分布）的思想，对若干随机变量的联合分布进行统计建模。线性CRF模型是一个最大化条件概率的无向图判别模型，通过对特征函数的线性组合进行评分，并对评分函数进行全局统一化处理，最后根据最大熵思想求得标注序列的最优解。

TF-IDF算法（Term Frequency-Inverse Document Frequency, 词频-逆向文件频率）算法是一种用于信息检索与文本挖掘的常用加权技术。TF-IDF算法是一种统计方法，用以评估一个字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库里出现的频率成反比下降。TF-IDF算法的重要思想是：如果某个单词在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。

BM25算法全称是Okapi BM25，是由罗伯逊等人提出的一种基于概率检索模型的算法，常常被用来做检索的相似度计算。主要思想是：对用户输入的检索词Query进行解析，得到解析后的语素q(i)。然后对于检索词Query的一篇结果文档D，计算每个语素q(i)与文档D的相似度得分。最终将q(i)对于文档D的相似度的加权求和，以得到检索词Query与文档D的相似度总分。

排序算法

PageRank算法又称网页排名、谷歌左侧排名，是一种由搜索引擎根据网页之间相互的超链接计算的技术，而作为网页排名的要素之一，以Google公司创办人Larry Page的姓来命名。Google用它来体现网页的相关性和重要性，在搜索引擎优化操作中经常被用来评估网页优化的成效因素之一。PageRank算法的排名方式是通过类似投票表决的方式来实现的，哪个网页获得的得分（权重）比较大，那么网页的价值就越高，每个被指向的网页都会获得来自指向它网页的权值，最终将所有指向它的网页的权值相加之后就是被指向网页的权重值。

TextRank算法是一种用于文本的基于图的排序算法。其基本思想来源于谷歌的PageRank算法，通过把文本分割成若干组成单元（单词，句子）并建立图模型，利用投票机制对文本中的重要成分进行排序，仅利用单篇文档本身的信息即可实现关键词提取、文摘。和LDA、HMM等模型不同，TextRank算法不需要事先对多篇文档进行学习训练，因其简捷有效而得到广泛应用

视频图像处理模型与算法

感知哈希算法 （Perceptual Hashing），是多媒体数据集到感知摘要集的一类单向映射，即将具有相同感知内容的多媒体数字表示唯一的映射为一段数字摘要，并满足感知鲁棒性（Robust）和安全性。感知哈希为多媒体内容识别、检索、认证等信息服务方式提供安全可靠的技术支撑。

FAST角点检测算法 （Features from Accelerated Segment Test）由Edwrd Rosten和Tom Drummond在2006年首先提出，是近年来倍受关注的基于模板和机器学习的角点检测算法。FAST角点定义是若某像素点与其周围领域内足够多的像素点处于不同的区域，则该像素点可能为角点。也就是某些属性与众不同，考虑灰度图像，即若该点的灰度值比其周围领域内足够多的像素点的灰度值大或者小，则该点可能为角点。

直方图比较法 直方图是图像的一种描述形式，对图像中像素的分布进行了图示，可以对图像的灰度、亮度或颜色划分为多个等级，对每个等级下的像素个数给出统计。颜色直方图比较通过比较相邻两帧的颜色直方图的差异，来判定镜头是否产生变化。

情报工程模型算法摘抄相关推荐

谷歌大规模机器学习：模型训练、特征工程和算法选择 (32PPT下载)
本文转自:http://mp.weixin.qq.com/s/Xe3g2OSkE3BpIC2wdt5J-A 谷歌大规模机器学习:模型训练.特征工程和算法选择 (32PPT下载) 2017-01-26 ...
交互式多模型算法IMM——机动目标跟踪中的应用
机动目标跟踪--交互式多模型算法IMM 原创不易,路过的各位大佬请点个赞 WX: ZB823618313 机动目标跟踪--交互式多模型算法IMM 机动目标跟踪--交互式多模型算法IMM 1. 对机动目 ...
matlab klobuchar模型,区域似大地水准面精化模型算法的优选
区域似大地水准面精化模型算法的优选第20卷第1期 2011年2月 ENGINEERING 测绘工程 Vol.20l.1OFSURVEYINGANDMAPPING Feb.,2011 区域似大地 ...
自然语言处理NLP星空智能对话机器人系列：第21章：基于Bayesian Theory的MRC文本理解基础经典模型算法详解
自然语言处理NLP星空智能对话机器人系列: 第21章:基于Bayesian Theory的MRC文本理解基础经典模型算法详解 1,Bayesian prior在模型训练时候对Weight控制.训练速度 ...
2018-3-6 （论文—网络评论中非结构信息应用于研究）笔记-----论文中的特征抽取的模型算法
整体的流程网络评论预处理------------------->>>>>>利用相关性特征得到网络评论特征抽取的模型算法特征提取算法模型: 论文46 马尔科夫链( ...
一步步教你轻松学朴素贝叶斯模型算法理论篇1
一步步教你轻松学朴素贝叶斯模型理论篇1 (白宁超2018年9月3日17:51:32) 导读:朴素贝叶斯模型是机器学习常用的模型算法之一,其在文本分类方面简单易行,且取得不错的分类效果.所以很受欢迎,对 ...
在隧道内放置多个地感线圈，车辆通过时、对通过的相邻两个线圈的脉冲信号数据进行实时采集，首先利用云模型算法，计算得到车速的估计值
1.简介与仿真结论在隧道内放置多个地感线圈(间距相同),车辆通过时.对通过的相邻两个线圈(或单线圈)的脉冲信号数据进行实时采集,首先利用云模型算法(正向云与逆向云算法结合)或其他,计算得到车速的估计 ...
ML之DT(树模型)：DT(树模型算法)算法的简介、代码定义、案例应用之详细攻略
ML之DT(树模型):DT(树模型算法)算法的简介.代码定义.案例应用之详细攻略目录树模型 1.A brief history of forests 2.树模型的复杂度 3.树模型的目标函数
【CV秋季划】模型算法与落地很重要，如何循序渐进地学习好？
好的模型结构是深度学习成功的关键因素之一,不仅是非常重要的学术研究方向,在工业界实践中也是模型是否能上线的关键.对各类底层深度学习模型设计和优化技术理解的深度是决定我们能否在深度学习项目中游刃有余的关 ...

情报工程模型算法摘抄

情报工程模型算法摘抄相关推荐

最新文章

热门文章