爬取天气网城市气温变化

这是我们要爬取的结果:

import matplotlib.pyplot as plt
import pandas as pd
import numpy as np
import requests
import csv
import re
if __name__ == "__main__":headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'}url = "https://www.tianqi.com/xian/30/"#指定urlhh = requests.get(url=url,headers=headers).text#text类型img = re.findall(r'<span class="fl">(.*?)</span>', hh, re.M|re.S)#利用正则表达式爬取日期print(img)x = re.findall(r'<span class="fr">(.*?)</span>', hh, re.M|re.S)#爬取星期print(x)q = re.findall(r'<span>(\d+)</span>', hh, re.M|re.S)#爬取最高气温和最低气温for i in range(len(q)):q[i] = q[i] + "℃"#循环给每个数字加上摄氏度print(q)j = []o = []for i in range(len(q)-2):#这里因为是爬取的是30天的最高与最低气温共60个,这里显示的是62个,所以要减2if i%2 == 0:o.append(q[i])#将最高气温与最低气温分在两个列表里else:j.append(q[i])w = re.findall(r'<div class="weaul_z">(.*?)<',hh,re.M|re.S)for i in w:if i == '':w.remove('')#去除天气列表中的空字符print(w)e = re.findall(r'<div class="weaul_s">(.*?)</div>',hh,re.M|re.S)print(e)with open("天气.csv", 'w',encoding='utf-8',newline='') as fp:fp1 = csv.writer(fp)fp1.writerow(['日期','星期','最低温','最高温','天气','风向','风级'])for i in range(len(img)):fp1.writerow([img[i],x[i],o[i],j[i],w[i],e[i]])#以上边的形式储存在文件里print("爬取成功!!!")
plt.style.use('ggplot')#进行气温数据可视化
x = img
yMax = []
yMin = []
again = re.findall(r'<span>(\d+)</span>', hh, re.M|re.S)#在爬取一次只含有字符数字的列表
for i in range(len(again)-2):if i % 2 == 0:yMin.append(int(again[i]))#将数据整数化else:yMax.append(int(again[i]))
fig = plt.figure()
ax1 = fig.add_subplot(1,1,1)
plt.plot(x,yMin,'b-',rotation=0,label='最低气温')
plt.plot(x,yMax,'r-',rotation=0,label='最高气温')
ax1.xaxis.set_ticks_position('bottom')
ax1.yaxis.set_ticks_position('left')
plt.xlabel("日期")
plt.ylabel("气温(单位:℃)")
fig.suptitle("西安市近期天气温度变化",fontsize=11)
plt.ylim(min(yMin)-1,max(yMax)+1)
plt.legend(loc='best')
plt.savefig("WeatherData.png",dpi=400,bbox_inches='tight')
plt.show()

将数据放在excel表格中(这里的24号是因为我是24号爬取的),嘿嘿

结果如下图所示:

爬取天气网城市气温变化相关推荐

python爬取历史天气数据并保存_Python爬取天气网历史天气数据
我的第一篇博客,哈哈哈,记录一下我的Python进阶之路! 今天写了一个简单的爬虫. 使用python的requests 和BeautifulSoup模块,Python 2.7.12可在命令行中直接使 ...
[python爬虫]爬取天气网全国所有县市的天气数据
[python爬虫]爬取天气网全国所有县市的天气数据访问URL 解析数据保存数据所要用到的库 import requests from lxml import etree import xlwt ...
Python爬取天气网历史天气数据
我的第一篇博客,哈哈哈,记录一下我的Python进阶之路! 今天写了一个简单的爬虫. 使用Python的requests 和BeautifulSoup模块,Python 2.7.12可在命令行中直接使 ...
python爬取天气数据的header_[python爬虫]爬取天气网全国所有县市的天气数据
def get_data(url): html = ask_url(url) base_url = 'http://www.weather.com.cn' province_name = []# 省份 ...
python爬取天气数据山东_Python爬取天气预报数据，并存入到本地EXCEL中-Go语言中文社区...
近期忙里偷闲,搞了几天python爬虫,基本可以实现常规网络数据的爬取,比如糗事百科.豆瓣影评.NBA数据.股票数据.天气预报等的爬取,整体过程其实比较简单,有一些HTML+CSS+DOM树等知识就很 ...
Python入门(安装)——第一个爬虫程序（爬取山东各城市天气信息）
Python爬虫原来可以这么简单,前两天有个朋友让我帮她看一下爬取天气的一段程序有什么问题,这段程序是用Python写的,只是以前听说Python爬虫很厉害,但是不知道自己怎么会没有时间开始.刚好我也 ...
python爬取天气数据山东_Python的学习《山东省各城市天气爬取》
Python+scrapy爬取山东各城市天气预报 1.在命令提示符环境使用pip install scrapy命令安装Python扩展库scrapy,详见Python使用Scrapy爬虫框架爬取天涯社 ...
Python爬取天气数据及可视化分析！
来源丨Python之王 Python爬取天气数据及可视化分析说在前面天气预报我们每天都会关注,我们可以根据未来的天气增减衣物.安排出行,每天的气温.风速风向.相对湿度.空气质量等成为关注的焦点.本 ...
Python爬取天气数据及可视化分析（附源码）
大家好,我是辰哥(文末送书) 天气预报我们每天都会关注,我们可以根据未来的天气增减衣物.安排出行,每天的气温.风速风向.相对湿度.空气质量等成为关注的焦点.本次使用python中requests和Be ...

爬取天气网城市气温变化

爬取天气网城市气温变化相关推荐

最新文章

热门文章