Python:使用pycorrector处理错字、纠正
简介:pycorrector是一个开源的中文文本纠错工具。支持中文音似、形似、语法错误纠正,python3开发。pycorrector实现了Kenlm、ConvSeq2Seq、BERT、MacBERT、ELECTRA、ERNIE、Transformer等多种模型的文本纠错,并在SigHAN数据集评估各模型的效果。
历史攻略:
AI语音测试点
Python:2行代码实现文字转语音
项目开源地址:
https://github.com/shibing624/pycorrector
安装:
pip install -U pycorrector
案例1:文本纠错
# -*- coding: utf-8 -*-
# time: 2023/02/18 11:26
# file: demo1.py
# 公众号: 玩转测试开发import pycorrectormessage = "机七学习是人工智能领遇最能体现智能的一个分知"
corrected_sent, detail = pycorrector.message(mes)
print(corrected_sent, detail)
运行结果:
(base) [root@ci4vyvxi572ysx2s write]# python demo1.py
2023-02-18 11:53:18.515 | DEBUG | pycorrector.detector:_initialize_detector:89 - Loaded language model: /root/.pycorrector/datasets/zh_giga.no_cna_cmn.prune01244.klm
机器学习是人工智能领域最能体现智能的一个分知 [('机七', '机器', 0, 2), ('领遇', '领域', 9, 11)]
案例2:成语、专名纠错
# -*- coding: utf-8 -*-
# time: 2023/02/18 11:26
# file: demo2.py
# 公众号: 玩转测试开发
import syssys.path.append("..")
from pycorrector.proper_corrector import ProperCorrectorm = ProperCorrector()
x = ['报应接中迩来','今天在拼哆哆上买了点苹果',
]for i in x:print(i, ' -> ', m.proper_correct(i))
运行结果:
(base) [root@ci4vyvxi572ysx2s write]# python demo2.py
报应接中迩来 -> ('报应接踵而来', [('接中迩来', '接踵而来', 2, 6)])
今天在拼哆哆上买了点苹果 -> ('今天在拼多多上买了点苹果', [('拼哆哆', '拼多多', 3, 6)])
案例3:英文拼写纠错
# -*- coding: utf-8 -*-
# time: 2023/02/18 11:26
# file: demo3.py
# 公众号: 玩转测试开发
import pycorrectorsent = "what happending? how to speling it, can you gorrect it?"
corrected_text, details = pycorrector.en_correct(sent)
print(sent, '=>', corrected_text)
print(details)
运行结果:
(base) [root@ci4vyvxi572ysx2s write]# python demo3.py
2023-02-18 11:59:02.620 | DEBUG | pycorrector.en_spell:_init:39 - load en spell data: /root/miniconda3/lib/python3.9/site-packages/pycorrector/data/en/en.json.gz, size: 30120
what happending? how to speling it, can you gorrect it? => what happening? how to spelling it, can you correct it?
[('happending', 'happening', 5, 15), ('speling', 'spelling', 24, 31), ('gorrect', 'correct', 44, 51)]
更多使用技巧详见官方文档。
Python:使用pycorrector处理错字、纠正相关推荐
- python拼写_用 Python 27 行实现拼写纠正
用 Python 27 行实现拼写纠正 徐宥翻译过一次,但是后来 Norvig 又更新了代码. 首先,这不是一个工业级的拼写纠正器,是 Peter Norvig(Director of Researc ...
- 文本纠错pycorrector
原文链接:https://blog.csdn.net/javastart/article/details/107428483 这一段时间再研究身份证和面单识别项目,总发现一些识别准确率问题,在想办法提 ...
- [文本纠错] pycorrector框架测试
pycorrector:https://github.com/shibing624/pycorrector pycorrector 中文文本纠错工具.音似.形似错字(或变体字)纠正,可用于中文拼音.笔 ...
- 中文纠错Pycorrector是如何收获2000 Star的?
(导语) 计算机行业发展至今,"开源"已逐渐成为技术茁壮成长最肥沃的土壤.而在中国,企业开源热闹非常,个人开源也方兴未艾.尽管个人开源困难重重,还是有一些开发者仍然在努力做着这样& ...
- 中文文本纠错神器Pycorrector是如何收获2000 Star的?
点击左上方蓝字关注我们 计算机行业发展至今,"开源"已逐渐成为技术茁壮成长最肥沃的土壤.而在中国,企业开源热闹非常,个人开源也方兴未艾.尽管运营一个个人开源项目需要耗费大量时间精力 ...
- idea的jsp如何显示语法高亮_如何啃下Python学习中的三块硬骨头?
Python 根式字 [51CTO.com快译]众所周知,作为一门开源的高级编程语言,Python的用途十分广泛.它可以被用于不同的应用场景中,包括:开发基于桌面和Web的应用程序,分析访问数据,开发 ...
- Python 有名为poetry.txt的文件,删除第三行内容
Python 删除txt文件的第三行内容 文章目录 Python 删除txt文件的第三行内容 前言 很逗的答案 正文 一.利用计数器,算出第几行进行删除 二.利用TXT内容的 \n 换行符,将文件内容 ...
- 从零开始运营微信公众号
微信公众号我是正式从2022年2月份开始做的,定位是免费资源公众号分享.那时候公众号的粉丝还很少,大多都是身边朋友关注的,可以说黏性用户根本没有. 在2022年9月份的现在,我做公众号慢慢摸索到了一点 ...
- 【论文阅读】Spelling Error Correction with Soft-Masked BERT
文章目录 论文内容 摘要(Abstract) 1. 介绍(Introduction) 2. 方法(Our Approach) 2.1 问题和思路(Problem and Motivation) 2.2 ...
最新文章
- zabbix web前端取值同后端取值不一致
- win7 telnet命令无法使用
- springsecurity不拦截某个接口_SpringSecurity 默认表单登录页展示流程源码
- linux开机和登陆欢迎信息
- android 双层饼图_python:给表格加上双层饼图,让同事的图表黯然失色
- python循环语句for计数_Bash For循环(递增计数)与for循环用法详解
- 在网络上提供资源的计算机,在计算机网络中通常把提供并管理共享资源的计算机称为...
- 二次开发-如何在PHPEMS-发送短信验证码(以easy-sms为例)
- Mac启动Apache之后访问localhost提示403 Forbidden
- 11.文件与文件系统的压缩与打包
- 【2018】面试复习大纲
- 无法删除文件:无法读源文件或磁盘
- html中qq咨询的代码,QQ样式的在线客服代码
- 高拍仪二次开发(多浏览器,BS,Web)样例
- android 最好的gtd软件,这9款高质量APP让你工作效率提高50%!
- pytorch is not compiled with NCCL supoort
- 《刻意练习》--读后感1
- HDMI转MIPIDSI芯片,东芝TC358870
- 王者荣耀使用什么编程语言开发的?
- kal8linux密码,KAL1 LINUX 官方文档之arm上的ka1i---树莓派全盘加密
热门文章
- Tesla FSD 自动驾驶软件升级版本说明书解析三(Beta v10.13 Release Notes)
- 斐波那契数列C语言详解
- ANTLR4入门(二):图示说明eclipse Antlr4IDE插件的安装及语法测试过程
- 【周易AIPU 仿真】R329 NASNet模型仿真测试
- 【SpringBoot框架篇】4.集成jta-atomikos实现分布式事务
- 基于MatLab的PCA降维人脸识别系统(超详细解说)
- Flutter 动态化 | Flutter + Dart 三端一体化动态化平台实践
- 固定资产管理系统,让企业的固定资产管理事半功倍
- 二十世纪最伟大的十个算法
- “大数据成就大电商”主题沙龙在京召开