对英文文章进行分句，要确保数字中的小数点不被分开最简便的方法-附代码

查了许多资料，采用分词库与正则表达式都没有办法进行完美分句。

比如：名字有这样的Mr.A.W、Mr.等，采用正则可以分，但是有错误的。如果结尾只是一个字母A.,会与下一句的词分成一句中。

那么怎么解决呢？

对于句子中的名字，数据集中几乎没有连字的名字，因此只考虑数字，不要将小数点当成句号分开

思路：其实对于a.b这样的数字，考虑若句点的前面和后面都为数字的情况，会发生问题。

比如：This is $3.0 is no good这样的话3.0不会分开，但实际上这是两句话

因此只考虑句点后接数字的情况，一般以数字开头的句子很少，如果有的话修改正则为

'\?|\!|(?<!\d)\.(?!\d)'即可。

代码及结果：

import re
sen='i likh 4.2 vvv.Him with tf?And he qweq nnmj.kkk jjuug.'
p = re.split('\?|\!|\.(?!\d)',sen)
print(p[:-1])#['i likh 4.2 vvv', 'Him with tf', 'And he qweq nnmj', 'kkk jjuug']这里去掉最后一个的原因是每次分句总会多出一个空的来

即：print(p)# ['i likh 4.2 vvv', 'Him with tf', 'And he qweq nnmj', 'kkk jjuug',[]]

对英文文章进行分句，要确保数字中的小数点不被分开最简便的方法-附代码相关推荐

分析一个文本（英文文章）（300k—500k）中的词出现的频率，并且把频率最高的10个词打印出来。...
最近老师出一个题目:分析一个文本(英文文章)(300k-500k)中的词出现的频率,并且把频率最高的10个词打印出来. 要分析每个词的频率,肯定要先把每个单词读出来并存储起来,用数据库存肯定是没那个必 ...
TensorFlow手写数字识别与一步一步实现卷积神经网络（附代码实战）
编译 | fendouai 编辑 | 安可 [导读]:本篇文章将说明 TensorFlow 手写数字识别与一步一步实现卷积神经网络.欢迎大家点击上方蓝字关注我们的公众号:深度学习与计算机视觉. 手写数 ...
数字图像处理Matlab-图像的滤波处理与图像空间变换（附代码）
目录 1.Objectives: 2．Experiment Content: 3.Experiment Principle: 4．Experiment Steps Result and Conlusi ...
一篇经典的TCP/IP基础知识英文文章
一篇经典的TCP/IP基础知识英文文章 INTRODUCTION When you configure the TCP/IP protocol on a Microsoft Windows compu ...
python统计单词个数算法_统计一篇英文文章单词个数，取出出现频次前10的单词（Python实现）...
题目: 用python实现统计一篇英文文章内每个单词的出现频率,并返回出现频率最高的前10个单词及其出现次数. 常规解法怎么判定单词? 1 不是字母的特殊字符作为分隔符分割字符串 (避免特殊字符的处 ...
split函数python统计英文单词_统计一篇英文文章单词个数，取出出现频次前10的单词（Python实现）...
题目: 用python实现统计一篇英文文章内每个单词的出现频率,并返回出现频率最高的前10个单词及其出现次数. 常规解法怎么判定单词? 1 不是字母的特殊字符作为分隔符分割字符串 (避免特殊字符的处 ...
英文文章写作｜文献管理｜阅读文献｜引用文献｜国内文章
目录英文文章写作 1.阅读10篇文献,总结100个常用句型和常用短语 2.找3-5篇技术路线和统计方法与你的课题接近的文章,精读 3.针对论文的每一部分,尤其是某种具体方法.要讨论的某一具体方面,各 ...
C语言统计文章单词出现的次数,统计英文文章中单词出现频率
/* 运行此程序之前要将写有单词的英文文章以.txt格式保存在d:\word.txt */ #include #include #include #include #include #include ...
【C语言】英文文章出现次数最多的单词
问题描述: 在当前目录中存在文件名为"case14.in"的文本文件,其内容为一篇英文文章(以EOF作为结束标志).现要求读取该文本文件内容,统计文章中每个单词出现的次数,并输出出 ...
摄氏度符号英文计算机语言,英文文章里摄氏度符号打法
最近写文章发现word插入符号时选择Times New Roman字体时没有°C这一符号,倒是中文字体一般都有℃这一符号,如果用搜狗输入法,还可以输入"sheshidu",第五个一 ...

对英文文章进行分句，要确保数字中的小数点不被分开最简便的方法-附代码

对英文文章进行分句，要确保数字中的小数点不被分开最简便的方法-附代码相关推荐

最新文章

热门文章