jupyter笔记本

交互性强,可以代码块执行

一、数据爬取

网站:实时更新:新冠肺炎疫情最新动态

1. 导入所需库

#导入库
import time
import json
import requests
import pandas as pd

2. 时间戳:实时获取数据

time.time()   #时间戳

3. 模拟浏览器发送请求,接受相应

html = requests.get(url)
html.text

4.  网页解析,提取数据

data = json.loads(html.json()['data'])  #类型转换
data

5. 提取所需数据

data = json.loads(html.json()['data'])  #类型转换
china_data = data['statisGradeCityDetail']data_set = []for i in china_data:data_dict={}#地区名称data_dict['city']=i['city']#疫情数据#新增确诊data_dict['nowConfirm']=i['nowConfirm']data_dict['confirmAdd']=i['confirmAdd']data_dict['confirm']=i['confirm']data_dict['heal']=i['heal']data_dict['dead']=i['dead']data_set.append(data_dict)

6. 可视化表格数据

df = pd.DataFrame(data_set)
df

7. 保存数据到本地

##4. 保存数据
df.to_csv(r'G:\国内疫情数据.csv',encoding='utf-8-sig')

python数据爬取疫情实时数据相关推荐

  1. Python爬虫爬取疫情数据并可视化展示

    这篇文章主要介绍了Python利用爬虫爬取疫情数据并进行可视化的展示,文中的示例代码讲解清晰,对工作或学习有一定的价值,需要的朋友可以参考一下.编程资料点击领取 目录 知识点 开发环境 爬虫完整代码 ...

  2. python 爬虫爬取疫情数据,爬虫思路和技术你全都有哈(一)

    python 爬虫爬取疫情数据,爬虫思路和技术你全都有哈(二.数据清洗及存储) 爬起疫情数据,有两个网址: 1.百度:链接 2.丁香园疫情:链接 在这两个中,丁香园的爬虫相对简单一点,所以今天就展示一 ...

  3. python 爬虫爬取疫情数据,爬虫思路和技术你全都有哈(二)

    上一章: python 爬虫爬取疫情数据,爬虫思路和技术你全都有哈(一.爬虫思路及代码) 第三步:数据清洗 清洗数据很简单,就是数据太乱的话,就得花些时间,所以一定要有一个好的方法,才能避免在清洗数据 ...

  4. python+appium爬取微信运动数据,并分析好友的日常步数情况

    python+appium爬取微信运动数据,并分析好友的日常步数情况 声明:仅供技术交流,请勿用于非法用途,如有其它非法用途造成损失,和本博客无关 目录 python+appium爬取微信运动数据,并 ...

  5. python为啥爬取数据会有重复_利用Python来爬取“吃鸡”数据,为什么别人能吃鸡?...

    原标题:利用Python来爬取"吃鸡"数据,为什么别人能吃鸡? 首先,神装镇楼 背景 最近老板爱上了吃鸡(手游:全军出击),经常拉着我们开黑,只能放弃午休的时间,陪老板在沙漠里奔波 ...

  6. python 爬虫 表格,python爬虫爬取网页表格数据

    用python爬取网页表格数据,供大家参考,具体内容如下 from bs4 import BeautifulSoup import requests import csv import bs4 #检查 ...

  7. Python+Selenium爬取新浪微博评论数据

    Python+Selenium爬取指定新浪微博的数据 微博分析 微博端类型 选择爬取对象 Ajax动态加载数据分析 Python实现代码 微博分析 微博端类型 首先找到一个待爬取的微博,需要注意的是, ...

  8. Selenium实战之Python+Selenium爬取京东商品数据

    实战目标:爬取京东商品信息,包括商品的标题.链接.价格.评价数量. 代码核心在于这几个部分: 其一:使用元素定位来获取页面上指定需要抓取的关键字: 其二:将页面上定位得到的数据永久存储到本地文件中. ...

  9. python爬取网页代码-python爬虫爬取网页所有数据详细教程

    Python爬虫可通过查找一个或多个域的所有 URL 从 Web 收集数据.Python 有几个流行的网络爬虫库和框架.大家熟知的就是python爬取网页数据,对于没有编程技术的普通人来说,怎么才能快 ...

最新文章

  1. UA PHYS515A 电磁理论V 电磁波与辐射11 简单辐射问题 电偶极子的辐射
  2. HBase数据存储格式
  3. python的字符串定界符可以使用_使用Template格式化Python字符串的方法
  4. java同时满足语句_关于控制语句,下列哪些说法符合《阿里巴巴Java开发手册》:...
  5. 【CodeForces - 289E 】Polo the Penguin and XOR operation (数学,异或,贪心)
  6. 以知识图谱为例,模型思维:简化世界的人工智能模型
  7. OXite 微软一款基于asp.net mvc架构的blog内容管理系统
  8. 浅析:18个影响网站流量下降的原因!
  9. linux命令补遗 - 1
  10. CPT CPC CPA CPM 广告投放了解
  11. excel+if函数+android,Excel中if函数多重条件的使用
  12. 肇事逃逸人会受到什么处罚
  13. 智力测验题(面试用)
  14. Linux内核态调用用户态函数
  15. RPG游戏Demo学习笔记一
  16. OpenCV 源码中分水岭算法 watershed 函数源码注解
  17. 记录一次前途迷茫的选择
  18. Kafka完美解决:Error while executing topic command:Replication factor: 1 larger than available brokers:0
  19. idea如何更改编辑器字体大小和框字体大小
  20. 下载保存的图片背景由透明变为黑色问题解决

热门文章

  1. A1097 Deduplication on a Linked List
  2. python使用turtle库画出大写的字母z_Python绘图turtle库
  3. python操作题库及答案_中国大学慕课mooc2020用Python玩转数据题库及答案
  4. 如何为元组中的每个元素命名,提高程序可读性
  5. 压力测试到底测什么?压力测试方案是什么?
  6. 文字生成绘画用什么软件好?
  7. uni-app view组件基本使用
  8. 链路聚合_网络技术纯干货之带宽翻倍——链路聚合LACP
  9. Mongodb集群搭建的三种方式
  10. 淘宝天猫京东商城对接流程分享(一)