应急管理部网站爬取重特大事故督办信息并进行数据清洗
应急管理部网站爬取重特大事故督办信息并进行数据清洗
- 引言
- 1 Robots协议
- 2 网站请求初试
- 3 外层信息的获取
- 3.1 网页规律查找
- 3.2 完善获取url的函数
- 3.3 请求外层信息
- 4 内层数据获取
- 4.1 封装获取具体url链接的函数
- 4.2 封装获取具体内容的函数
- 4.3 启动爬虫
- 4.4 最后异常处理
- 5 数据清洗
- 6 全部代码
- 6.1爬虫代码
- 6.2 数据清洗代码
- 代码仅供参考，不涉及商用和恶意破坏网络环境
手动反爬虫： 原博地址
知识梳理不易，请尊重劳动成果，文章仅发布在CSDN网站上，在其他网站看到该博文均属于未经作者授权的恶意爬取信息
如若转载，请标明出处，谢谢
引言
想要找一些数据，然后翻到了应急管理部的网站了，接着就是查看一下里面的公开信息，其中有个板块是“事故查处”，默认列出“事故挂牌督办情况”的信息，共有30页，翻开一下，发现里面有着每起事故的通告，如下。于是就有了爬爬看的想法
1 Robots协议
爬虫之前，对于政府网站，还是要尊重一下是否有相关的爬虫协议，这里就是以“应急管理网”首页和数据所在的页面查看robots协议，搜索结果如下，可以发现并没有设置相关的反爬规定，爬取的数据一共只有448条，并不会造成大量的网络冲击，那么接下来就开始一步步爬虫测试
2 网站请求初试
还是直接使用爬虫框架来进行网页请求的试错，看看是否能够返回自己想要的数据，代码如下（注意headers里面的内容根据自己浏览器返回的内容填写）
import requests
import time
import re
import os
import pandas as pd
from bs4 import BeautifulSoupdef get_url():passdef get_data():passdef get_contents():passif __name__ == '__main__':url = 'http://www.mem.gov.cn/gk/sgcc/sggpdbqk/'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36','Referer': 'https://www.mem.gov.cn/gk/sgcc/sggpdbqk/index.shtml','Cookie': 'e50c=1602040171,1603518059,1603883178; Hm_lpvt_7c3492d683dc7a90fd44bf8bfd57e50c=1603883919'}html = requests.get(url,headers=headers)html.encoding = html.apparent_encodingprint(html.text)
输出结果为：（通过请求试探，发现可以得到我们需要的数据，那么接下来就填写函数中的内容就可以了）
3 外层信息的获取
3.1 网页规律查找
如果要想获得448条数据，那么数据分散在30个网页上，就需要依次遍历找到所有页面对应的网址。获取外层信息就是指获取包含数据的翻页网址的url信息，还是熟悉的步骤，先找几页网址的url看看规律，比如这里查找第1,2,3,4页，网址如下：
u1 = 'http://www.mem.gov.cn/gk/sgcc/sggpdbqk/'
u2 = 'http://www.mem.gov.cn/gk/sgcc/sggpdbqk/index_1.shtml'
u3 = 'http://www.mem.gov.cn/gk/sgcc/sggpdbqk/index_2.shtml'
u4 = 'http://www.mem.gov.cn/gk/sgcc/sggpdbqk/index_3.shtml'
显然这个第2页往后url都是有规律的，按照之前的经验，是不是第一页的也是可以使用相同的规律呢（也就是添加后缀index_0.shtml），于是就可以测试一下，将第一个网址改成相同规律的网址再次进行请求，请求结果如下：（说明这次的第一个网页并不支持以往的规律，因此就需要单独进行处理）
3.2 完善获取url的函数
模板中的第一个函数就是用来获取所有的url，然后将包含全部信息的url都放置在列表中返回，既然第一页不支持普遍的规律，就单独赋予列表变量，然后再处理接下来的网页url，代码如下：
def get_url():urllst = []urllst.append('https://www.mem.gov.cn/gk/sgcc/sggpdbqk/index.shtml')urllst.extend([f'https://www.mem.gov.cn/gk/sgcc/sggpdbqk/index_{i}.shtml' for i in range(1,30)])return urllst
输出结果为：（一共30页，最后的urllst列表中也有20个元素，与网页的url相对应）
3.3 请求外层信息
这时候就以获取第一页中的信息为例，直接在页面中右键进入源代码界面，找到页面中想要爬取内容所在的位置，推荐的方式就是复制网页的内容，然后再打开源代码界面后按住ctrl + f快捷键调出查找选框，然后把复制的结果输入到查找选框中，就可以自动定位到元素位置，如下:
那么通过定位元素发现，可以获得的信息有通告的时间、具体的标题名称还有这个通告的具体的详情网址链接。关于标题和时间都是很好提取，但是关于具体的url链接却有一定的难度，比如截图中一共5条数据中，就有3中不同的网址格式且都缺少前缀，然后把这三种不同链接打开后对应的具体的网址如下，而剩下的链接也都是属于这三类（下面打开的是第1,2,4条链接，网址直接复制在浏览器上均可正常打开）
href1 = 'http://www.mem.gov.cn/gk/tzgg/202006/t20200617_353972.shtml'
href2 = 'http://www.mem.gov.cn/gk/tzgg/tz/202001/t20200103_343066.shtml'
href3 = 'http://www.mem.gov.cn/gk/sgcc/sggpdbqk/2019_gpdb/201912/t20191216_342337.shtml'
因此这里就需要单独封装一个函数，来处理url链接的问题，为了保证获取数据的同步性，先将所有的url链接都使用一个变量名代替，之后另外封装一个函数，传递这个变量返回处理后具体的url链接，代码如下
def get_data(url):html = requests.get(url,headers = headers)html.encoding = html.apparent_encodingpattern = re.compile(r'<a href="(.*?)" title="" target="_blank" >(.*?)<span>(.*?)</span></a>')infos = re.findall(pattern,html.text)data_ls = []for info in infos:dic = {}dic['tilte'] = info[1]dic['time'] = info[2]url_ = info[0]detail_url = filter_url(url_) #这里直接把简化的url传递到函数中进行处理dic['detail_url'] = detail_url #最后获得的就是详细的url地址了dic['contents'] = get_contents(detail_url)data_ls.append(dic)return data_ls
获得详细url地址后就可以进入内层的网页中获取通告的具体内容了，如下界面所示，获取具体内容的方式也是同理，由于上一步通过函数返回了具体的detail_url，那么使用这个detail_url传入获取内容的函数就能够获取想要的内容了
4 内层数据获取
4.1 封装获取具体url链接的函数
上面已经使用了filter_url(url_)，那么接下来完善这个函数中的内容即可。代码如下：
def filter_url(url_):if '..' in url_:base_path = url_.split('./')[-1]detail_url = os.path.join('https://www.mem.gov.cn/gk/',base_path)else:base_path = url_.split('./')[-1]detail_url = os.path.join('https://www.mem.gov.cn/gk/sgcc/sggpdbqk/',base_path)return detail_url
代码解析：可以发现有三种url链接的形式，那么就一一进行击破，首先第一类的url链接中包含的是有’…‘的，那么进行存在与否判断就可以提取到这类url链接；第二类和第三类在尝试的过程中发现使用’./'进行切分时候这两类的url链接就直接获取了，因此也就实现了完整url的获取，最后返回detail_url，作为具体内容获取的依据
4.2 封装获取具体内容的函数
上面使用的是 get_contents(detail_url)函数，这里直接在函数中填写内容即可，主要是请求页面和找寻目标数据的过程。但是这里发现有一个问题，就是如果直接在源代码网页中进行数据的正则匹配，难度有点大，所以就采用了bs4解析界面后在用正则进行数据的提取，同时剔除掉无关的数据，获取到相对干净的数据，代码如下
def get_contents(detail_url):html = requests.get(detail_url,headers = headers)html.encoding = html.apparent_encodingsoup = BeautifulSoup(html.text,'lxml')contents = soup.find('div', class_="zhenwen_neir").textcontents = re.sub(r'\s+','',contents) #这一步替换掉一些符号contents = re.sub(r"jQuery.*?打开当前页面",",",contents) #这一步是把最后面的二维码信息给替换掉return contents
4.3 启动爬虫
还是习惯的方式，先用urllst里面的第一个网页进行数据的尝试获取
urllst = get_urls()for url in urllst[:1]:print(get_data(url))
输出结果为：（试错无误后，就可以进行全部网页数据的爬取了，为了防止报错，建议使用随机时间处理和异常报错处理）
4.4 最后异常处理
前面已经完成了对第一页数据的获取，那么接下来就可以实现全部的数据的获取，代码如下
urllst = get_urls()
success_ls = []
error_ls = []
print('正在爬取........\n')
for u in urllst:print(u)try:success_ls.extend(get_data(u))print('已经爬取{}条数据'.format(len(success_ls)))time.sleep(3)print('爬累了，休息3秒吧......')except Exception as e:print('爬取失败，目标网址为：',u)error_ls.append(u)
df = pd.DataFrame(success_ls)
df.to_excel('挂牌督办详情.xlsx',index = False)
输出结果为：（最后的全部的数据都获取成功）
5 数据清洗
这一步在爬虫的时候也进行了相关的操作，比如网页中最后二维码的清除和特殊字符，主要是因为这类数据清洗比较方便，就在爬取数据的时候顺带解决了，那么接下来就是要获取文章中具体的事故名称，如下
关于复杂信息的提取，最好的方式（个人觉得）还是在爬取全部数据之后进行提取，这样方便即时调整提取策略，不然在爬虫的时候进行提取就会每测试一次策略就进行一次爬虫，结果会大大的占用程序的运行时间，所以还是建议复杂字段数据的处理放在爬虫后面，这样可以提高程序的运行效率和任务的成功率。代码如下，具体的思路就是找到共同点，发现几乎所有的网页公布的信息中都有“对…事故进行…”字样，故就可依此进行查找，如果匹配成功就进行数据提取，不成功就用空值替代，最后把前面的代词给替换掉就可以实现事故名称的提取，完成数据清洗。
import pandas as pd
import re
import numpy as np
def f(s):x = re.search(r'对(.*?事故)', s)if x:s = x.group(1)else:s = np.nanreturn s
data = pd.read_excel('挂牌督办详情.xlsx')
data['name'] = data.contents.map(f)
data['name'] = data['name'].str.replace(r'[你省|你区|你市]','')
data.to_excel('filter_1.xlsx',index = False)
数据清洗的过程就是找规律的过程，还有就是对于正则提取文字能力的考验，针对于获取结果的不同设定不同的提取规则。
6 全部代码
6.1爬虫代码
（注意自己设置headers）
import requests
import time
import re
import os
import pandas as pd
from bs4 import BeautifulSoupdef get_urls():urllst = []urllst.append('https://www.mem.gov.cn/gk/sgcc/sggpdbqk/index.shtml')urllst.extend([f'https://www.mem.gov.cn/gk/sgcc/sggpdbqk/index_{i}.shtml' for i in range(1,30)])return urllstdef get_data(url):html = requests.get(url,headers = headers)html.encoding = html.apparent_encodingpattern = re.compile(r'<a href="(.*?)" title="" target="_blank" >(.*?)<span>(.*?)</span></a>')infos = re.findall(pattern,html.text)data_ls = []for info in infos:dic = {}dic['tilte'] = info[1]dic['time'] = info[2]url_ = info[0]detail_url = filter_url(url_)dic['detail_url'] = detail_urldic['contents'] = get_contents(detail_url)data_ls.append(dic)return data_lsdef filter_url(url_):if '..' in url_:base_path = url_.split('./')[-1]detail_url = os.path.join('https://www.mem.gov.cn/gk/',base_path)else:base_path = url_.split('./')[-1]detail_url = os.path.join('https://www.mem.gov.cn/gk/sgcc/sggpdbqk/',base_path)return detail_urldef get_contents(detail_url):html = requests.get(detail_url,headers = headers)html.encoding = html.apparent_encodingsoup = BeautifulSoup(html.text,'lxml')contents = soup.find('div', class_="zhenwen_neir").textcontents = re.sub(r'\s+','',contents)contents = re.sub(r"jQuery.*?打开当前页面",",",contents)return contentsif __name__ == '__main__':headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36','Referer': 'https://www.mem.gov.cn/gk/sgcc/sggpdbqk/index.shtml','Cookie': '1602040171,1603518059,1603883178; Hm_lpvt_7c3492d683dc7a90fd44bf8bfd57e50c=1603883919'}urllst = get_urls()success_ls = []error_ls = []print('正在爬取........\n')for u in urllst:print(u)try:success_ls.extend(get_data(u))print('已经爬取{}条数据'.format(len(success_ls)))time.sleep(3)print('爬累了，休息3秒吧......')except Exception as e:print('爬取失败，目标网址为：',u)error_ls.append(u)df = pd.DataFrame(success_ls)df.to_excel('挂牌督办详情34.xlsx',index = False)
执行结果如下，进行前两页数据的爬取展示
6.2 数据清洗代码
import pandas as pd
import re
import numpy as np
def f(s):x = re.search(r'对(.*?事故)', s)if x:s = x.group(1)else:s = np.nanreturn s
data = pd.read_excel('挂牌督办详情.xlsx')
data['name'] = data.contents.map(f)
data['name'] = data['name'].str.replace(r'[你省|你区|你市]','')
data.to_excel('filter_1.xlsx',index = False)
输出结果为：（几乎全部进行提取出来，只有三条未成功）
代码仅供参考，不涉及商用和恶意破坏网络环境
应急管理部网站爬取重特大事故督办信息并进行数据清洗相关推荐
- 爬虫入门经典(二十四) | 爬取当当网图书信息并进行数据清洗
大家好,我是不温卜火,是一名计算机学院大数据专业大三的学生,昵称来源于成语-不温不火,本意是希望自己性情温和.作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己 ...
- 网站爬取工具_浅析阻碍网站内容被蜘蛛抓取的原因有哪些？
众所周知,在搜索引擎中存在的蜘蛛其实就是一段代码,这段代码通过在各个网站爬取,以便于网站内容能够被搜索引擎收录.不过一般蜘蛛爬取是按照一定规则进行的,如果网站中出现了一些爬取障碍,那么蜘蛛爬取就会被打 ...
- 网站爬取工具_Python项目：结合Django和爬虫开发小说网站，免安装，无广告
前言 很多喜欢看小说的小伙伴都是是两袖清风的学生党,沉迷小说,不能自拔.奈何囊中甚是羞涩,没有money去看正版小说,但是往往这些免费的小说网站或者小说软件,随之而来的是大量的广告. Python嘛, ...
- Python之 - 使用Scrapy建立一个网站抓取器，网站爬取Scrapy爬虫教程
Scrapy是一个用于爬行网站以及在数据挖掘.信息处理和历史档案等大量应用范围内抽取结构化数据的应用程序框架,广泛用于工业. 在本文中我们将建立一个从Hacker News爬取数据的爬虫,并将数据按我 ...
- 爬虫漫游指南：HTTP/2 网站爬取
爬虫漫游指南 HTTP/2 网站爬取 最近写爬虫的时候遇到了一个用HTTP 2.0协议的网站,requests那套老经验在它身上不好用了,得专门针对HTTP 2.0进行开发. 因为与HTTP 1.x的 ...
- 基于webmagic的种子网站爬取
代码地址如下: http://www.demodashi.com/demo/12175.html 1. 概述 因为无聊,闲来没事做,故突发奇想,爬个种子,顺便学习爬虫.本文将介绍使用Spring/My ...
- 5分钟掌握智联招聘网站爬取并保存到MongoDB数据库
前言 本次主题分两篇文章来介绍: 一.数据采集 二.数据分析 第一篇先来介绍数据采集,即用python爬取网站数据. 1 运行环境和python库 先说下运行环境: python3.5 windows ...
- 从下厨房网站爬取热门菜谱清单，内含：菜名、原材料、详细烹饪流程的 URL。
介绍: 从下厨房网站爬取热门菜谱清单,内含:菜名.原材料.详细烹饪流程的 URL. 思路一:先去爬取所有的最小父级标签<div class ="info pure-u"> ...
- python爬虫代码1000行-几行Python代码爬取3000+上市公司的信息
几行Python代码爬取3000+上市公司的信息 来源:中文源码网 浏览: 次 日期:2019年11月5日 [下载文档: 几行Python代码爬取3000+上市公司的信息.txt ] (友情提示:右键 ...
最新文章
- Linux上隐藏进程名（初级版)
- 独家 | 一文读懂随机森林的解释和实现（附python代码）
- 艾伟也谈项目管理，说说我们项目组的考核
- 深度探索C++ 对象模型(3)-默认构造函数Default Constructor
- Ubuntu 18.04 卡死
- php获取当前整点时间_8.PHP的日期和时间
- flutter获取Android照片地址,Flutter项目安卓配置启动图片
- [js] axios拦截器原理是什么？
- 探索 Pexpect
- Maven实战---两个war包的调用
- windows 搜索文件
- 梳理一下自己的技术关注面[转]
- php位置,php – 如何有效地找到一个给定位置附近最近的位置
- Local Binary Patterns LBP算法
- 双霖度盘下载器（第三方百度网盘不限速下载工具）
- pano2vr怎么制作漫游_全景图如何制作？Pano2VR制作FLASH全景图图文教程(附Pano2VR下载)...
- 2020考研数学一大纲之完全解析（四）
- excel计算数据的差和的公式和方法、相关系数、绝对误差
- MATLAB解方程组相关方法
- 无人机停机坪是什么？有哪些作用？无人机自动巡检如何实现？