读《数学之美》第四章谈谈分词

中文分词其实有点像古代的句读（dou），韩愈的《师说》中就有：“彼童子之师，授之书而习其句读者也”。古人文章是没有标点符号的，行文一气呵成。如果不懂离经断句，就很难理解古文的意思。从某种程度上，句读就类似今天要讲的中文分词。

北京航空航天大学的梁南元教授提出了查字典的方法

查字典的方法就是把句子从左到右扫描一遍，遇到字典里有的词就标示出来，遇到不认识的字串就分割为单字词。如果分割出的词与后面的字不会组成更长的词，那么分割点就最终确定了。这种最简单的方法可以解决七八层以上的分词问题，在不太复杂的前提下，取得了还算满意的效果。

20世纪80年代哈尔滨工业大学的王晓龙博士将查字典的方法理论化，发展成最少词数的分词理论，即一句话应该分成数量最少的词串。但是并非所有最长匹配都是正确的，语言的歧义性是分词的最大难题。

1990年清华电子工程系的郭进博士率先使用统计语言模型成功解决分词二义性问题，将汉语分词错误率降低了一个数量级。最为简单的思考是有N中分词所得，统计各种分词结果出现的概率，选择最大概率的分词结果作为最好的分词方法。这里有一个实现技巧，如果穷举所有分词结果，显然会导致计算量大增。因此，可以看成一个动态规划问题，利用维特比算法快速找到最佳分词。这样就可以构造分词器：输入字串，输出分词字串，中间需要词典和语言模型作为辅助。

清华大学郭茂松教授解决了没有词典时的分词问题；香港科技大学吴德凯教授较早将中文分词方法用于英文词组的分割，并将英文词组和中文词组在机器翻译时对应起来。

另外，对于平板电脑和智能手机的出现，英文手写体中的分词常常是需要的，因此，中文分词方法可以帮助判别英语单词的边界。

衡量分词的结果可以采用分词的一致性；人工分词产生的原因主要在于人们对词的颗粒度认识问题。解决办法可以构建一个基本词表和复合词表，不断丰富完善复合词表，会将分词器的明显错误得以改进。

************************

2015-8-7

转载于:https://www.cnblogs.com/huty/p/8519263.html

读《数学之美》第四章谈谈分词相关推荐

数学之美十四谈谈数学模型的重要性
数学之美十四谈谈数学模型的重要性 [注:一直关注数学之美系列的读者可能已经发现,我们对任何问题总是在找相应的准确的数学模型.为了说明模型的重要性,今年七月份我在 Google 中国内部讲课时用了整 ...
数学之美第3章统计语言模型
数学之美第3章统计语言模型回顾一下: 前面两章都是基础知识,告诉我们自然语言的起源基础,和一些发展过程遇到的问题,第二章告诉我们规则:理解自然语言(即分析语句和获取语义)这种处理方法不可能实现智 ...
浅读西瓜书（第四章）
浅读西瓜书(第四章) 4.1基本流程决策树,顾名思义,肯定与做决策有关.实际上决策树既可以做决策也可以做回归.在我们生活中其实也经常用到决策树的模型.比如猜数字的游戏.给出一个数字,猜想者猜测一 ...
《数学之美》——第九章个人笔记
数学之美最近在读<数学之美>这本书,做一下个人笔记.看的是PDF,看完后会买一本的哦!版权意识还是有的. ps:图片文字都是这本书中的内容,侵权立删.会有点自己的理解. 第九章图 ...
《数学之美》——第一章个人笔记
数学之美最近在读<数学之美>这本书,做一下个人笔记.看的是PDF,看完后会买一本的哦!版权意识还是有的. ps:图片文字都是这本书中的内容,侵权立删.会有点自己的理解. 第一章文 ...
《数学之美》选章精读
曾经花了一个月的时间阅读受推荐的书籍<数学之美>,对基于统计的自然语言处理的历史作一个大致的了解,每周精读一章,做下了一些粗略的笔记,算是有个交代吧. 第9章-图论和网络爬虫概念图论起 ...
《数学之美》第4章谈谈分词
1 中文分词方法的演变可以利用语言模型进行自然语言处理,而这些语言模型是建立在词的基础上的,因为词是表达语义的最小单位. 分词方法:查字典,北航梁南元教授提出.可以解决七八成以上的问题. 20世纪8 ...
AI - 深度学习之美十四章-概念摘要（8~14）
原文链接:https://yq.aliyun.com/topic/111 本文是对原文内容中部分概念的摘取记录,可能有轻微改动,但不影响原文表达. 08 - BP算法双向传,链式求导最缠绵反向传播( ...
《数学之美》第一章读后感
第一章分别讲述了早期信息的传播,文字和数字的发展,文字和语言背后的数学三个部分. 我从中了解到了信息传递,不论是早期的远古社会,还是如今快速发展的互联网时代,其规律都是异曲同工的.比如信息传播的模型都 ...

读《数学之美》第四章谈谈分词

读《数学之美》第四章谈谈分词相关推荐

最新文章

热门文章

读《数学之美》第四章 谈谈分词

读《数学之美》第四章 谈谈分词相关推荐

最新文章

热门文章

读《数学之美》第四章谈谈分词

读《数学之美》第四章谈谈分词相关推荐