python爬虫：英为财情爬取美国十年期国债收益率

from bs4 import BeautifulSoup as bs
from time import sleep
import re
import pandas as pd
from selenium.webdriver.common.by import By
import undetected_chromedriver.v2 as uc
browser = uc.Chrome()
browser.get('具体网址')

sleep(6)

#browser.maximize_window()
sleep(5)
browser.find_element(by=By.XPATH,value='//*[@id="widget"]').click()

sleep(5)
browser.find_element(by=By.XPATH,value = '//*[@id="startDate"]').clear()
browser.find_element(by=By.XPATH,value ='//*[@id="startDate"]').send_keys('2019/01/01')

sleep(2)
browser.find_element(by=By.XPATH,value ='//*[@id="endDate"]').clear()
browser.find_element(by=By.XPATH,value ='//*[@id="endDate"]').send_keys('2020/10/29')

sleep(2)
browser.find_element(by=By.XPATH,value = '//*[@id="applyBtn"]').click()
sleep(8)

print(browser.current_url)
print(browser.page_source)
a= browser.page_source
soup = bs(a,"lxml")
content = soup.find('div',id="results_box").find_all('tbody')[0].find_all('tr')

resultdf = pd.DataFrame({'date': [],
'close': [],
'open': [],
'high': [],
'low': []})
for tr in content:
td = tr.find_all('td')
date = re.findall(r'<td[^>]*>(.*?)</td>',str(td[0]),re.I | re.M)[0]
resultdf=resultdf.append(pd.DataFrame({'date':[date],
'close':[float(td[1].get("data-real-value"))],
'open':[float(td[2].get("data-real-value"))],
'high':[float(td[3].get("data-real-value"))],
'low':[float(td[4].get("data-real-value"))]}),ignore_index=True)

python爬虫：英为财情爬取美国十年期国债收益率相关推荐

从入门到入土：Python爬虫学习|实例练手|爬取百度翻译|Selenium出击|绕过反爬机制|
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
从入门到入土：Python爬虫学习|实例练手|爬取猫眼榜单|Xpath定位标签爬取|代码
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
从入门到入土：Python爬虫学习|实例练手|爬取新浪新闻搜索指定内容|Xpath定位标签爬取|代码注释详解
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
从入门到入土：Python爬虫学习|实例练手|爬取百度产品列表|Xpath定位标签爬取|代码注释详解
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
Python 爬虫实战，模拟登陆爬取数据
Python 爬虫实战,模拟登陆爬取数据从0记录爬取某网站上的资源连接: 模拟登陆爬取数据保存到本地结果演示: 源网站展示: 爬到的本地文件展示: 环境准备: python环境安装略安装r ...
Python爬虫利用18行代码爬取虎牙上百张小姐姐图片
Python爬虫利用18行代码爬取虎牙上百张小姐姐图片下面开始上代码需要用到的库 import request #页面请求 import time #用于时间延迟 import re #正则表达式 ...
Python爬虫笔记（3）- 爬取丁香园留言
Python爬虫笔记(3)- 爬取丁香园留言爬取丁香园留言:主要用到了模拟登录爬取丁香园留言:主要用到了模拟登录 import requests, json, re, random,time fr ...
Python爬虫--笔趣阁小说爬取
Python爬虫–笔趣阁小说爬取爬虫用到的插件 import requests from lxml import etree 小说目录页以小说"我有百万技能点"为例,在笔趣阁搜 ...
python爬虫之股票数据定向爬取
python爬虫之股票数据定向爬取功能描述目标:获取上交所和深交所所有股票的名称和交易的信息输出:保存到文件中技术路线:requests-bs4-re 前期分析选取原则:股票的信息静态存在H ...
python爬虫初学实战——免登录爬取easyicon里的vip图标（2）
python爬虫初学实战-免登录爬取easyicon里的vip图标(2) 实验日期:2020-08-09 tips:没看过前面(1)的可以康康,指路 -> 爬取easyicon里的png图标成 ...

python爬虫：英为财情爬取美国十年期国债收益率

python爬虫：英为财情爬取美国十年期国债收益率相关推荐

最新文章

热门文章