使用python进行股票数据爬取中的时间限制和策略
股票数据爬取中的时间限制和策略
在进行股票数据爬取时,时间限制和策略是非常重要的考虑因素。本文将介绍两个与此相关的函数:is_trade_day()
和stock_work_day()
。
is_trade_day()
函数
def is_trade_day(date): if is_workday(date):if date.isoweekday() < 6:return Truereturn False
该函数用于判断给定的日期是否为股票交易日。首先调用外部库is_workday()
检查该日期是否为工作日,如果是则根据星期数判断该日期是否为交易日,返回一个布尔值。
这个函数可以帮助我们确定一个日期是否需要进行股票数据爬取。例如,如果给定的日期不是交易日,则无需进行爬取。
stock_work_day()
函数
def stock_work_day(group_name = None):if group_name == None: data_temp = time.strftime('%Y-%m-%d', time.localtime())data = datetime.datetime.strptime(data_temp, '%Y-%m-%d').date()if stock_parse.is_trade_day(data) == False:print("非交易日期")return Trueelif datetime.datetime.now().hour < 9 or datetime.datetime.now().hour > 15:print("非交易时间")return Trueelse:print("交易时间,开始进行数据获取")return Trueelse: days_num = 1while stock_parse.is_trade_day(datedays.gettomorrow(days=days_num)) == False:days_num = days_num + 1return str(datedays.gettomorrow(days=days_num))[-2:]
该函数提供了两个功能,一个是判断当前是否为交易时间,另一个是获取下一个工作日的组名。
当group_name
参数为None
时,该函数会通过time
库获取当前日期,并使用datetime
库将其转化为日期格式。然后使用外部库stock_parse.is_trade_day()
判断该日期是否为交易日,如果是则判断当前时间是否在交易时间范围内(9:00-15:00),如果不是则返回True
,否则返回False
。
当group_name
参数不为None
时,该函数会使用datedays.gettomorrow()
获取下一个工作日的日期,并通过循环向后查找下一个交易日。最后返回下一个交易日的日期的组名。
这个函数可以帮助我们控制爬取数据的时间,在交易时间范围内并且是交易日才进行数据爬取,避免无用的数据爬取和浪费资源。
结论
股票数据爬取中的时间限制和策略是十分重要的,我们可以通过使用is_trade_day()
和stock_work_day()
函数来实现时间限制和策略控制。这些函数可以帮助我们确定一个日期是否需要进行股票数据爬取,以及在交易时间范围内并且是交易日才进行数据爬取,从而提高爬虫的效率和稳定性。
推荐一个股票自动化处理脚本:https://blog.csdn.net/Fei_Yang_YF/article/details/129832565?spm=1001.2014.3001.5501
使用python进行股票数据爬取中的时间限制和策略相关推荐
- 基于python的数据爬取与分析_基于Python的网站数据爬取与分析的技术实现策略
欧阳元东 摘要:Python为网页数据爬取和数据分析提供了很多工具包.基于Python的BeautifulSoup可以快速高效地爬取网站数据,Pandas工具能方便灵活地清洗分析数据,调用Python ...
- python如何爬虫股票数据_简单爬虫:东方财富网股票数据爬取(python_017)
需求:将东方财富网行情中心的股票数据爬取下来,包括上证指数.深圳指数.上证A股.深圳A股.新股.中小板.创业板 等 一.目标站点分析 东方财富网的行情中心页面包含了所有股票信息.在左侧的菜单栏中包含了 ...
- 爬虫项目3 - 股票数据爬取
爬虫项目3 - 股票数据爬取 步骤 步骤 爬取股票名和股票列表,使用gucheng网进行爬取,网址: https://hq.gucheng.com/gpdmylb.html import reques ...
- Python爬虫——Ajax数据爬取
前言 有时候我们在用requests抓取页面的时候,得到的结果可能和在浏览器中看到的不一样,在浏览器中可以看到正常显示的页面数据,但使用requests得到的结果并没有.这是因为在requests获得 ...
- python爬虫之数据爬取项目实例
python爬虫之数据爬取项目实例 一.scrapy数据爬取 (一)前期准备 (二)目标: (三)步骤: 1.创建项目: 2.创建爬虫: 3.打开项目: 4.创建启动程序: 5.编写爬虫: 6.启动测 ...
- 每日一练:Python国内疫情数据爬取与地图绘制
Python 国内疫情数据爬取与地图绘制 效果图 累计确诊疫情地图绘制 ① 时时数据抓取 ② 获取省份疫情数据 ③ 视觉配置项分段颜色数据设置 ④ 累计确诊疫情地图绘制 现存确诊疫情地图绘制 ① 获取 ...
- python爬取股票图_python 股票数据爬取(两种方法)
股票HTML网页分析: 东方财富网可以看到股票信息: http://quote.eastmoney.com/stocklist.html 查看源代码: R001(201008)R004(201010) ...
- python 股票数据爬取(两种方法)
股票HTML网页分析: 东方财富网可以看到股票信息: http://quote.eastmoney.com/stocklist.html 查看源代码: <li><a target=& ...
- 股票数据爬取常用库及方法
编写股票程序用到的库 pandas_datareader: 是一个远程获取金融数据的python工具,一个第三方库 urllib:可以以get和post的方式抓取网络数据,标准库 pandas:包含标 ...
最新文章
- 关于学习Python的一点学习总结(53)
- Python-anaconda-Spyder使用matplotlib画图无法显示报错解决:Figures now render in the Plots pane by default. To mak
- .net分布式系统架构的思路
- 用安卓手机解锁目标检测模型YOLOv5,识别速度不过几十毫秒!
- 使用Camel从WildFly 8向WebLogic 12发送JMS消息
- python数据分析简答题_Python数据分析与数据可视化-中国大学mooc-试题题目及答案...
- 【英语学习】【WOTD】veritable 释义/词源/示例
- C++ 在一个类中用指针的形式申请堆内存构造出另一个类并访问私有成员变量(包括智能指针版本)
- 日历php 价格 库存,jQuery web 组件 后台日历价格、库存设置的代码
- 腾讯封杀linux/mac QQ
- string的operate+=
- 手动导入第三方工程/类库
- 2013年3月份计算机二级c语言最新上机题库(搜索关键字版),20133月份计算机二级C语言上机题库(十分强大).doc...
- java学生信息管理系统源码(java学生管理系统 )
- 本地与远程服务器之间的文件传输
- 如何在oracle导入dmp,如何在oracle中导入导出dmp文件
- 计算机辅助工程试卷,《计算机辅助工程软件(UG)》试卷10–2答.doc
- Qt 笔锋 钢笔 压力值
- 微信java精简版低内存_微信精简版低内存apk-微信精简版2019下载v7.0.6 安卓版-腾牛安卓网...
- 《面试技巧-招聘篇》课程笔记
热门文章
- coarse-to-fine(4) meta-learning
- 数据库实验一---图书管理的数据库建立
- HTML 制作九宫格
- 判断设备联网状态(Python)
- Android自定义组合控件---教你如何自定义下拉刷新和左滑删除
- 成人考什么证书比较实用又好考
- HaaS轻应用(JavaScript)快速开始 @HaaS100
- ping: mirrors.aliyun.com: Temporary failure in name resolution
- WPS两次变身:超级会员+超级表格,完美逆袭,这次再也不输office
- 稀有 | GXF Stat 一次统计物种的Gene/mRNA/Exon/Intron/CDS/UTR...信息