统计拼音字母使用频率 python

样本来源：《人民日报》

工具：python 2.7.10

环境：windows

先贴上结果：

字母“i”使用频率最高，达到了13.5%；

“n”的使用频率次之，为12.9%；

最低的是“v”，即汉语拼音中的“yu”，使用频率为0.19%。

其中 q 与 t ，m 与 r 差别较小，分别差0.01%和0.04%

下面是详细步骤：

1.取样：

用python编了个爬虫，把《人民日报上》半年的新闻标题和正文抓取下来，共287w个汉字。

这是python爬虫的源码：

需要注意的是《人民日报》中每篇文章的链接由两部分组成，但在每篇新闻页面的源代码中只有后半部分，所以需要我们将它与前半部分合在一起，所以代码中有url_base和url_org。

得到的样本如下：

这个样本里有大量的数字和英文字母，我们稍微处理一下，把里面的中文找出来

正则表达式中 \x80-\xff 是UTF-8编码中，汉字和标点的集

得到的结果是这样的：

2.把汉字转化为拼音字母：

在这感谢 "超江_" 大家请移步到 http://blog.csdn.net/g19920917/article/details/42963659

安装他的 xpinyin库后，运行如下代码

得到的结果：

提取字母：

结果：

3.统计拼音字母使用频数和频率

运行结果：

得到的数据在excel中稍微整理一下就能得到文章开头的结果。

以上是不严谨的统计分析，仅供参考

统计拼音字母使用频率 python相关推荐

《贝叶斯思维：统计建模的Python学习法》——1.8　讨论
本节书摘来异步社区<贝叶斯思维:统计建模的Python学习法>一书中的第1章,第1.8节,作者:[美]Allen B. Downey,更多章节内容可以访问云栖社区"异步社区&qu ...
SCCM2007 R2统计软件使用频率，SCCM系列之七
用软件计数统计软件使用频率<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" ...
python朴素贝叶斯分布对数据的要求_统计学习方法与Python实现（三）——朴素贝叶斯法...
统计学习方法与Python实现(三)--朴素贝叶斯法 1.定义朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法. 对于给定的训练数据集,首先基于特征条件独立假设学习输入输出的联合概率分布.然 ...
《贝叶斯思维：统计建模的Python学习法》——2.5　封装框架
本节书摘来异步社区<贝叶斯思维:统计建模的Python学习法>一书中的第2章,第2.5节,作者:[美]Allen B. Downey,更多章节内容可以访问云栖社区"异步社区&qu ...
用python统计字母个数_python统计字母个数 python 统计文本中字母个数
python 统计文本中字母个数作业文件等有人回答小编再发,之前发文件被屏蔽了明明转身就有一个温馨的港湾,却偏偏还要去追逐那无望的孤船. l = 0with open('file.txt', 'r' ...
《贝叶斯思维：统计建模的Python学习法》——2.3　贝叶斯框架
本节书摘来异步社区<贝叶斯思维:统计建模的Python学习法>一书中的第2章,第2.3节,作者:[美]Allen B. Downey,更多章节内容可以访问云栖社区"异步社区&qu ...
缺失数据em算法python_重磅！李航《统计学习方法》Python 代码更新，适应第二版！...
重磅!李航<统计学习方法>Python 代码更新,适应第二版! 点击上方"AI有道",选择"星标"公众号重磅干货,第一时间送达李航的<统计 ...
字母使用频率统计c 语言编程,C语言统计字母使用频率
与<C语言统计字母使用频率>相关的范文实验一一.实验名称:替代密码和置换密码的实现二.实验目的:通过编程实现替代密码算法和置换密码算法,加深对古典密码体系的了解,为以后深入学习密码学 ...
面向过程给出《贝叶斯思维：统计建模的Python学习法》——二维彩球问题学习代码
背景给出读<艾伯特贝叶斯思维:统计建模的Python学习法.pdf>的时候,写的代码,以面向过程的方式给出. 本章彩弹问题,求似然度的时候,假设已知隐藏点时,射手等概率从各个角度射击. ...

统计拼音字母使用频率 python

统计拼音字母使用频率 python相关推荐

最新文章

热门文章