气象数据爬取（全国温室数据系统）爬虫及逻辑回归

明确爬虫需求

爬取网站：全国温室数据系统

爬取字段：平均气温相对湿度风速日照时数

已知字段：代谢率h 吸收情况a 高度角cos∂ 单位照射R

计算字段：温湿指数风寒指数着衣指数综合指数

甘肃省2000-2019年夏季6.7.8月的数据利用气温，风速，日照时数，相对湿度对温湿指数，风寒指数，着衣指数，旅游气候舒适度进行计算。

diqu={"马鬃山":"52323","鼎新":"52446","敦煌":"52418","玉门镇":"52436","张掖":"52652","永昌":"52674","民勤":"52681","环县":"53821","平凉":"53915"}

# coding=gbk
import requests
import os# Getfile类的代码引用自https://blog.51cto.com/eddy72/2106091?cid=732015
class Getfile:  # 下载文件def __init__(self, url):self.url = urlself.header_flag = False  # 当为True时，设置header，断点续传def downfile(self, filename):self.headers = {}self.mode = 'wb'if os.path.exists(filename) and self.header_flag:self.headers = {'Range': 'bytes=%d-' % os.path.getsize(filename)}self.mode = 'ab'self.r = requests.get(self.url, stream=True, headers=self.headers)with open(filename, self.mode) as code:for chunk in self.r.iter_content(chunk_size=1024):  # 边下载边存硬盘code.write(chunk)def single_download(paras):# 确认访问地址url2 = "http://data.sheshiyuanyi.com/WeatherData/php/downloadWeatherData.php"# 请求头header = {"User-Agent": "Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 78.0.3904.108Safari / 537.36"}requests.get(url2, headers=header, params=paras)filename = "{0}_{1}_{2}_{3}.xlsx".format(paras["staNum"], paras["subIndex"], paras["year"], paras["month"])down_url = "http://data.sheshiyuanyi.com/WeatherData/datafile/{0}".format(filename)temp = Getfile(url=down_url)temp.downfile(filename)#根据网站结构if __name__ == "__main__":# 确定请求参数in_paras = {"action": "one","staNum": "52943","index": "air_temperature","subIndex": "max_tem","year": 2005,"month": 0}single_download(paras=in_paras)print("Completed: {0}_{1}_{2}_{3}.xlsx".format(in_paras["staNum"], in_paras["subIndex"], in_paras["year"], in_paras["month"]))

气象数据爬取（全国温室数据系统）爬虫及逻辑回归相关推荐

python实现数据爬取——糗事百科爬虫项目
python实现数据爬取--糗事百科爬虫项目 # urllib.request 请求模块 import urllib.request # re 模块使 Python 语言拥有全部的正则表达式功能. i ...
yelp纽约地区数据爬取。使用feapder爬虫框架
yelp纽约地区数据爬取.使用feapder爬虫框架本文使用了国内作者的一款feapder轻量级开源爬虫框架.进行yelp站点数据抓取. 第一部分为根据开放api获取店铺信息. 第二部分为根据商店i ...
汽车用户消费投诉数据爬取分析（Python爬虫）
多线程爬虫代码 """ name:汽车用户消费投诉_品牌url爬取,已完成 author:zhangxiaoyu """ import _t ...
全国历史天气查询/历史天气预报查询——全国各月份数据爬取
全国历史天气查询/历史天气预报查询--全国各月份数据爬取效果图1 目标爬取数据图2 最终实验效果实验效果:最终可将官网已有的数据进行爬取整理,共363个城市,从2011年1月--至今数据已上 ...
Python爬虫-CSDN博客排行榜数据爬取
文章目录前言网络爬虫搜索引擎爬虫应用谨防违法爬虫实战网页分析编写代码运行效果反爬技术前言开始接触 CTF 网络安全比赛发现不会写 Python 脚本的话简直寸步难行--故丢弃 ...
python手机端下载-Python3,x：如何进行手机APP的数据爬取
Python3,x:如何进行手机APP的数据爬取一.简介平时我们的爬虫多是针对网页的,但是随着手机端APP应用数量的增多,相应的爬取需求也就越来越多,因此手机端APP的数据爬取对于一名爬虫工程师来 ...
python怎样获得手机软件app数据_如何进行手机APP的数据爬取？
平时我们的爬虫多是针对网页的,但是随着手机端APP应用数量的增多,相应的爬取需求也就越来越多,因此手机端APP的数据爬取对于一名爬虫工程师来说是一项必备的技能.我们知道,网页爬取的时候我经常使用F12 ...
使用python进行股票数据爬取中的时间限制和策略
股票数据爬取中的时间限制和策略在进行股票数据爬取时,时间限制和策略是非常重要的考虑因素.本文将介绍两个与此相关的函数:is_trade_day()和stock_work_day(). is_trad ...
Python数据爬取
文章目录一.数据爬取介绍 1.数据采集 2.常用数据爬取工具二.Scrapy爬虫框架 1.安装配置Scrapy框架 2.Debug爬虫工程 3.Scrapy框架组成 4.Scrapy返回爬取页面数 ...

气象数据爬取（全国温室数据系统）爬虫及逻辑回归

明确爬虫需求

气象数据爬取（全国温室数据系统）爬虫及逻辑回归相关推荐

最新文章

热门文章