前言

实现快速统计网站所有页面的文本字数，需要具备两个条件：
1.获取该网站的所有页面的html文件
2.提取html文件中的文本内容
实现如上两个条件，这里我们需要用到两个工具WinHTTrack Website Copier和python

一、WinHTTrack Website Copier是什么？

WinHTTrack Website Copier是一款离线浏览工具，使用它可以很容易地做站点镜像，可以将你指定的网站完整地保存到本地硬盘，能递归创建与源网站完全一样的组织结构，离线镜像创建后，你可以在断网的情况下任意浏览这个网站的所有内容。

二、WinHTTrack Website Copier使用步骤

打开WinHTTrack Website Copier，下一步
“Project name”可以使用网站名称命名，“base path”选择一个路径用来保存下载的文件，点击“下一步”。
在“web addresses”中输入当前网站的URL地址。
点击“Set options”按钮，在“Scan Rules”选项的文本框中根据需要添加相应的规则，这里我添加的是
-.css -.js
-.gif -.jpg -.jpeg -.png -.tif -.bmp
-.zip -.tar -.tgz -.gz -.rar -.z -.exe
-.mov -.mpg -.mpeg -.avi -.asf -.mp3 -.mp2 -.rm -.wav -.vob -.qt -.vid -.ac3 -.wma -.wmv
在“Limits”选项中，“Maximum mirroring depth”根据需要进行设置，这里我设置的数值为10
在“Links”选项中，勾选“Get HTML files first!”选项，点击“下一步”选择“完成”即可开始下载。
需要实现的功能是统计整站网页的字数，因此我们这里只需要下载html文件即可。html文件所在位置为：[base path][Project name][Project name]，该路径下的index.html和index文件夹下的所有文件为整站中的所有html。

三、什么是Python?

Python 是一种解释型、面向对象、动态数据类型的高级程序设计语言。
版本：Python3。

四、Python实现的功能

如下代码实现的主要功能是解析下载到的html文件，将html文件中的文本内容进行提取，并按照字符长度计算文本字数。

# -*- coding: utf-8 -*-import os
import re
from lxml import etreedef traverse_file(read_path, save_path):"""遍历目录下所有文件:param read_path: 读取文件路径:param save_path: 存储结果路径:return:"""for base_path, folder_list, file_list in os.walk(read_path):print('开始遍历{}目录下的html文件'.format(base_path))for file_name in file_list:file_path = os.path.join(base_path, file_name)file_ext = file_path.rsplit('.', maxsplit=1)if file_ext[1] == 'html':  # 判断文件是否为htmlwith open(file_path, 'rb') as f:data = f.read().decode('utf-8', 'ignore')html = etree.HTML(data)pending_html = html.xpath("//body//*[not(self::style)]")  # 不提取style标签中的内容pending_text = pending_html[0].xpath(" //body//*[not(self::script)]/text()")  # 不提取script标签中的内容text = ''.join(pending_text)text_new = text.replace(' ', '')result = text_new.replace('\n', '')print('该网站文本字数为：', len(result))with open(save_path, 'a', encoding='utf-8') as f:f.write(result)def main():# 读取html文件路径read_path = r'D:\data\..'# 结果文件存储目录save_path = r'D:\result\...\result.txt'traverse_file(read_path, save_path)if __name__ == '__main__':main()

如何快速统计网站所有页面的文本字数相关推荐

如何统计网站各页面一天内的 PV 和 UV？
大数据开发最常统计的需求可能就是 PV.UV.PV 全拼 PageView,即页面访问量,用户每次对网站的访问均被记录,按照访问量进行累计,假如用户对同一页面访问了 5 次,那该页面的 PV 就应该加 ...
网站页面浏览次数代码mysql_php统计网站/html页面浏览访问次数程序
本文章来给大这介绍了php自己写的一些常用的网站统计代码写法,用无数据库的与使用数据库及html静态页面浏览资次数统计代码,大家可进入参考. 实例1 直接使用txt文件进行统计的代码代码如下复制代 ...
查找窗口隐藏了怎么办_如何快速查找网站管理页面
很多时候,对任何URL进行扫描以查找其漏洞时,渗透测试者或安全研究人员都会尝试查找管理页面(" admin",控制面板或登录名). 登陆任何网站的任何管理页面是任何网站的严重漏洞. ...
使用百度统计功能快速统计网站的访问情况
在网站建设完成后,很多人都希望统计到网站的访问情况,如访问了哪个页面.页面停留时间.访问者的IP地址以及访问设备.访问者所在的省份区域.访问来源等诸多信息,要实现这种功能可以自行编写代码,从http请 ...
php统计网站 / html页面浏览访问次数程序
本文章来给大这介绍了php自己写的一些常用的网站统计代码写法,用无数据库的与使用数据库及html静态页面浏览资次数统计代码,大家可进入参考. 实例1 直接使用txt文件进行统计的代码 <?php ...
巧妙使用Firebug插件，快速监控网站打开缓慢的原因
巧妙使用Firebug插件,快速监控网站打开缓慢的原因原文巧妙使用Firebug插件,快速监控网站打开缓慢的原因很多用户会问,我的网站首页才50KB,打开网页用了近60秒才打开?如何解释? 用户 ...
揭秘!如何快速提高网站权重-关键词百度指数叠加
简介:如何快速提高网站权重 ?一看标题相信可能很多人就会说标题档.忽悠人的,因为网站优化没有捷径.的确,木木也说过做推广优化没有快速的方法,想要排名就得脚踏实地.但是下面要说的方法确实可以快速提 ...
(视频) 《快速创建网站》3.4 网站改版3分钟搞定－ WordPress主题安装和备份
本文是<快速创建网站>系列的第8篇,如果你还没有看过之前的内容,建议你点击以下目录中的章节先阅读其他内容再回到本文. 访问本系列目录,请点击:http://devopshub.cn/tag ...
宝塔绑定域名访问不了_千字长文教你使用宝塔面板快速搭建网站
本文将教大家使用宝塔面板快速搭建网站,云服务器购买以及域名注册部分请自行上网搜索了解,亦可留言联系小编进行咨询.如果是和下方一样本地搭建演示的话,则不需要付费购买域名和主机.宝塔面板的是 ...

如何快速统计网站所有页面的文本字数

文章目录

前言

一、WinHTTrack Website Copier是什么？

二、WinHTTrack Website Copier使用步骤

三、什么是Python?

四、Python实现的功能

如何快速统计网站所有页面的文本字数相关推荐

最新文章

热门文章