python爬虫------从丁香园疫情首页提取世界各国的疫情数据

菜鸟自学python记录

初级爬虫学习（在B站上看的“黑马程序员180分钟轻松获取疫情数据，Python爬虫入门课”，此次是自己跟着写的简易代码）

import requests
from bs4 import BeautifulSoup
import re
import json
# 请求，获取需要解析的文本
response = requests.get('https://ncov.dxy.cn/ncovh5/view/pneumonia')
home_page = response.content.decode()
# 从HTML中提取数据
soup = BeautifulSoup(home_page,'lxml')#lxml为解析器
scrip = soup.find(id="getListByCountryTypeService2true")
# 输出为json格式
text = scrip.text
# 从json中使用正则解析提取世界各国的疫情信息
json_str = re.findall(r'\[.+\]',text)[0]
#将json格式转换为python文件
data = json.loads(json_str)
# 打开文件，并写入，json文件命名为spider.json
with open('D:/python/spider.json','w',encoding='utf-8') as fp:# 将python文件存入json文件中json.dump(data,fp,ensure_ascii=False)

查找id标签的过程截图

最后json结果部分截图

python爬虫------从丁香园疫情首页提取世界各国的疫情数据相关推荐

python爬虫实战1：1980~2020年世界各国GDP数据获取
以下内容均为个人理解,如有错误,请评论留言,会尽快修改,谢谢!!! 1980~2020年世界各国GDP数据获取数据爬取的过程 1.单页爬取 2.单页数据提取爬虫完整代码结果展示: 数据爬取的过程 ...
Python爬虫之XPath基础教程：用代码抓取网页数据
Python爬虫之XPath基础教程:用代码抓取网页数据在网络时代,网页数据是获取信息和进行分析的最重要的来源之一.Python的爬虫技术让我们可以轻松抓取网页数据,并进行数据处理.XPath是一种 ...
Python爬虫系列之爬取某奢侈品小程序店铺商品数据
Python爬虫系列之爬取某奢侈品小程序店铺商品数据小程序爬虫接单.app爬虫接单.网页爬虫接单.接口定制.网站开发.小程序开发> 点击这里联系我们 < 微信请扫描下方二维码代码仅供学 ...
python爬取丁香园首页疫情json数据，尝试存入mysql数据库
新手练python爬虫 # -*- coding:utf-8 -*- """ 作者:孙敏日期:2022年01月01日 """ import ...
Python爬虫：从m3u8文件里提取小视频的正确操作
文章目录前言 1. HLS协议与m3u8文件 2. 第三方库----m3u8 3. 合成mp4文件 4. 完整代码 5. 结束语前言在网上爬取的小视频(.ts格式)打不开怎么搞?使用IDM下 ...
Python爬虫（三）：scrapy提取数据之CSS提取器
scrapy提取数据的三种方法:CSS.XPATH.RE. 这里学习一下怎么使用CSS提取器提取有用的数据.参考自http://www.scrapyd.cn/doc/. 这里需要有一定的CSS基本,下 ...
[Python 爬虫] 使用 Scrapy 爬取新浪微博用户信息（三） —— 数据的持久化——使用MongoDB存储爬取的数据
上一篇:[Python 爬虫] 使用 Scrapy 爬取新浪微博用户信息(二) -- 编写一个基本的 Spider 爬取微博用户信息在上一篇博客中,我们已经新建了一个爬虫应用,并简单实现了爬取一位微 ...
python爬虫，2020年《财富》中国500强排行榜数据爬取源码
一个简单的demo,python爬虫,其实是以前的存货,很久很久没有写爬虫了,渣渣更渣了啊! 爬取财富中文网,2020年<财富>中国500强排行榜相关数据,数据都在网页源码里,结构也比较清 ...
python爬虫之Scrapy框架原理及操作实例详解、股票数据Scrapy爬虫
爬虫框架 -scrapy.pyspider.crawley等 Scrapy框架 1.scrapy框架介绍 -https://doc.scrapy.org/en/latest/ -http://scra ...

python爬虫------从丁香园疫情首页提取世界各国的疫情数据

python爬虫------从丁香园疫情首页提取世界各国的疫情数据相关推荐

最新文章

热门文章