Python爬虫练习：爬取美元历史汇率

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

以上文章来源于小鹏友的数据分析之路，作者小鹏友

网址：https://chl.cn/?lishi

界面：

可以看出，网站上有2006至今的历史汇率数据。点击进“2020-9-30”入下个界面：

进入新的网页后，可以看到本人需要的爬取的数据：人民币兑美元汇率（其它汇率留给大家自主爬取）。

对比两个时间（2020-9-30和2020-9-29）的网页url，发现只有id不同，而且只差1，说明可以根据id号递增来循环爬取不同日期的汇率。

https://chl.cn/?id=7511 #2020-9-29https://chl.cn/?id=7512 #2020-9-30

接下来，解析人民币兑美元汇率（中间价）的源码：

第一，在chrome打开该网址，选择一个日期点击进入，然后按F12，鼠标点击右上角的箭头，再把箭头移动到需要爬取的汇率上，观察右边的源码，鼠标再次移动到对应的源码上，右键->edit as HTML，就可以看到具体的源码了。

第二，可以用re库，正则匹配出需要的内容：

https://chl.cn/?id=7511 #2020-9-29
https://chl.cn/?id=7512 #2020-9-30

上述代码匹配到的内容如下（以2020-9-30为例）。可以看出，美元汇率存放在list[0]中（其它部分汇率也可以匹配得到）。

用以下代码可以进一步匹配到2020-9-30的美元汇率6.8101

最后，就是实实在在地敲代码去爬了。如果爬取2016年至今每天的汇率数据，时间会有点久，所以本文就只爬取了2019年5月6日（即id=5001）至今的汇率数据，效果如下：

全部代码：

import pandas as pd
import numpy as np
import requests
import re
import time
import datetimedef CHNtime2strtime(CHNtime):'''功能：中文时间转字符串时间传入：一个中文时间，如“2020年9月30号”返回：字符串时间，如“2020-9-30”'''CHNtime_list = re.findall(r'[\u4e00-\u9fa5]+',CHNtime)for i in CHNtime_list:if i != '日':CHNtime = CHNtime.replace(str(i),'-')else:CHNtime = CHNtime.replace(str(i),'')return CHNtimedef diff_days(str_time):   '''功能：计算过去某天时间与今天的天数差，比如“2020-9-29”距离今天（2020-9-30）相差1天传入：一字符串时间，如“2020-9-30”返回：天数差（数值型）'''date_time = datetime.datetime.strptime(str_time,'%Y-%m-%d')now_time = datetime.datetime.now()diff_time = now_time - date_timedays = diff_time.daysreturn dayst = [] # 时间
dollar = [] # 美元i = 5000 # 本文从id=5001（即2019-5-6）开始爬取while True:  # 设置死循环i += 1    # 循环一次，id+1# 请求头headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; \Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}# 网址url = 'https://chl.cn/?id={}'.format(str(i))# 请求响应r = requests.get(url,headers=headers)r.encoding = "utf-8"s = r.texttry:  #设置抛出异常，因为有些id，如id=7001，网页就不存在rate_list = re.findall(r'<td><a href=".*?">(.*?)</a>/人民币</td><td>(.*?)</td>',s)tt = re.findall(r'<h1>(.*?)汇率</h1>',s)[0] #日期strtime = CHNtime2strtime(tt) #中文时间转字符串时间t.append(datetime.datetime.strptime(strtime,'%Y-%m-%d'))dollar.append(rate_list[0][1]) #美元days = diff_days(strtime) # 计算天数差print(tt,'爬取成功！')print('当天距离现在相差：',days,'天')if days == 0: #死循环终止条件：天数差为0时，即代表爬取到今天breakexcept:# 如果爬取的url不存在，那么时间与汇率就用控制代替t.append(np.nan)dollar.append(np.nan)print('id = ',i,' ',np.nan)time.sleep(0.2) #为了防止爬取的速度过快，设置睡眠时间为0.2sdf = pd.DataFrame() # 生产一个DataFrame用来存放数据
df['time'] = t
df['人民币兑美元汇率'] = dollar
df.dropna(inplace=True) # 将缺失值删去
df.to_excel('历史人民币兑美元汇率.xlsx',index=False) #在目前文件夹上生成excel文件
print('历史人民币兑美元汇率.xlsx 文件生成成功！')

Python爬虫练习：爬取美元历史汇率相关推荐

python中美元人汇率_Python爬虫练习：爬取美元历史汇率
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 以上文章来源于小鹏友的数据分析之路,作者小鹏友网址:https://chl. ...
Python爬虫项目实例——爬取上海市历史天气数据
爬天气的网站为2345天气王 URL:http://tianqi.2345.com/ 历史天气:http://tianqi.2345.com/wea_history/58465.htm 58465是城 ...
python爬虫实战-爬取微信公众号所有历史文章 - (00) 概述
http://efonfighting.imwork.net 欢迎关注微信公众号"一番码客"获取免费下载服务与源码,并及时接收最新文章推送. 最近几年随着人工智能和大数据的兴起,p ...
python爬虫能爬取微信密码吗_爬虫如何爬取微信公众号文章
下篇文章:python爬虫如何爬取微信公众号文章(二) 下下篇连接python爬虫如何实现每天爬取微信公众号的推送文章因为最近在法院实习,需要一些公众号的数据,然后做成网页展示出来便于查看,之前我倒 ...
python爬取ajax动态内容肯德基门店,Python爬虫如何爬取KFC地址
随着人们生活水平的提高,肯德基这类的快餐消费的十分火爆,成为小朋友和年轻人的最爱,我们到一个地方想要找到肯德基店面,会根据导航获取肯德基地址,那你知道我们也可以使用python爬虫获取KFC地址吗?我 ...
python爬取网页表格数据匹配,python爬虫——数据爬取和具体解析
标签:pattern div mat txt 保存关于 json result with open 关于正则表达式的更多用法,可参考链接:https://blog.c ...
Python爬虫：爬取instagram，破解js加密参数
Python爬虫:爬取instagram,破解js加密参数 instagram 是国外非常流行的一款社交网站,类似的还有像facebook.twitter,这些社交网站对于掌握时事热点.电商数据来源和 ...
python爬取豆瓣电影top250_用Python爬虫实现爬取豆瓣电影Top250
用Python爬虫实现爬取豆瓣电影Top250 #爬取豆瓣电影Top250 #250个电影 ,分为10个页显示,1页有25个电影 import urllib.request from bs4 imp ...
python爬取b站视频封面_学习笔记(4)[Python爬虫]：爬取B站搜索界面的所有视频的封面...
学习笔记(4)[Python爬虫]:爬取B站搜索界面的所有视频的封面 import os import requests import re import json from bs4 import B ...

Python爬虫练习：爬取美元历史汇率

Python爬虫练习：爬取美元历史汇率相关推荐

最新文章

热门文章