ajax 代码 查询股票联想,Ajax-hook获取秒级股票详细数据
Ajax-hook获取秒级股票详细数据
分析数据
首先看看有哪些数据可以获取:
网站:雪球网,随便打开一只股票。
可以发现,在工作日期间,每隔几秒都会有这么多xhr请求。看看里面有一些什么数据:
仔细研究可以发现,基本上页面上的数据都可以找到,除了实时的ticks数据,还有什么五档盘口,成交明细等等。大概这个页面的数据都可以,有兴趣就去慢慢对应吧(代码里应该有相关映射)。
实现思路与代码
按照正常逻辑,我们只要去不断的请求这些接口就可以获取到数据了,而且这些数据基本上没有什么加密(就是没有。。)。但是,我们还要考虑网络请求延迟的问题,要是你的网络不好,有可能出现卡顿的情况,导致数据缺失。而且,我们通常是要同时请求几千只股票,每只股票都有好几个接口。
那现在我们可以尝试用另外一种方式来获取数据,既然都是xhr请求,那么就能不能hook到数据,然后自动发给我们的接口,被动式的接收数据呢?
这里有一个神奇的项目:https://github.com/wendux/Ajax-hook
话不多说,上关键Python代码。
1. 开启数据接收接口
用flask开启一个专门接收数据的接口,后续可以对数据进行处理,清洗保存数据。
@app.route('/receiver/', methods=['POST'])
def receive():
"""接收前端hook后的数据"""
content = json.loads(request.data)
print(content)
# 数据处理,清洗保存
return jsonify({'status': True})
2. 监听xhr请求
利用Ajax-hook监听相关xhr请求,然后利用axios发送数据到我们的接口。
ah.proxy({
//请求成功后进入
onResponse: (response, handler) => {
if (response.config.url.search("history") !== -1) {
axios.post('http://127.0.0.1:5000/receiver/', {
url: window.location.href,
data: response.response
});
console.log(response.response);
handler.next(response)
}
}
});
3. 打开监听页面
利用webdriver打开要监听的页面,注入相关JS。
browser = webdriver.Chrome()
browser.get('https://xueqiu.com/S/SH代码')
# 打开页面,注入相关js
browser.execute_script(open('hook.js', encoding='utf8').read())
4. 结果与思考
最终我们接口会接收到和正常页面相同的xhr请求数据,后续我们可以对这些数据做进一步处理。
实现过程很简单,但是这种方法有一个很致命的问题,就是要利用webdriver,要知道,启动浏览器是很耗资源的。当然,我们也可以优化,可以同时开启很多窗口和标签页,可以放在docker容器内等等。
但是如果我不缺资源的话,我为什么不能采取分布式爬虫呢?
各有利弊,只能说提供了一种思路吧,不管有用没用,了解一下,原来还可以这样的,挺有意思的。
5. 代码
有需要的可以去这个仓库里面找一下:https://github.com/downdawn/JSreverse
- END -
ajax 代码 查询股票联想,Ajax-hook获取秒级股票详细数据相关推荐
- 获取秒级股票详细数据——Ajax-hook
获取秒级股票详细数据--Ajax-hook 1.分析数据 首先看看有哪些数据可以获取 网站:雪球网,随便打开一只股票 可以发现,在工作日期间,每隔几秒都会有这么多xhr请求. 看看里面有一些什么数据. ...
- python获取时间秒数_Python获取秒级时间戳与毫秒级时间戳
1.获取秒级时间戳与毫秒级时间戳.微秒级时间戳 import time import datetime t = time.time() print (t) #原始时间数据 print (int(t)) ...
- python获取时间戳毫秒级_Python获取秒级时间戳与毫秒级时间戳
1.获取秒级时间戳与毫秒级时间戳.微秒级时间戳 import time import datetime t = time.time() print (t) #原始时间数据 print (int(t)) ...
- Python获取秒级时间戳与毫秒级时间戳
协调世界时 又称世界统一时间.世界标准时间.国际协调时间,简称UTC. 在计算机中,时间实际上是用数字表示的.我们把1970年1月1日 00:00:00 UTC+00:00时区的时刻称为epoch t ...
- Python获取秒级时间戳与毫秒级时间戳的方法
1.获取秒级时间戳与毫秒级时间戳.微秒级时间戳 import time import datetimet = time.time()print (t) #原始时间数据 print (int(t)) # ...
- ajax代码编程题,关于AJAX管家代码的几个基本问题
//Why are we calling/redefining the xmlHttp variable? 我们不是. // Why define it as createXmlHttpRequest ...
- ajax 代码 查询股票联想,互联网金融爬虫怎么写-第三课 雪球网股票爬虫(ajax分析)...
大家好啊,话说好久没有出来活动了,组织上安排写代码写了很久,终于又被放出来写教程了,感谢大家一直的支持和厚爱,我会一如既往的帮助大家完成爬虫工程师从入门到放弃的升华. 好,Previous on 系 ...
- Python 技术篇-使用time库获取秒级时间戳、毫秒级时间戳实例演示
time.time() 可以获取时间戳. 秒级时间戳就是把它的小数部分四舍五入去掉,转化成整数. 毫秒级时间戳就是取小数点后的四位,四舍五入一下. import timetime_stamp = ti ...
- ajax要不要入口函数,Ajax - SegmentFault 思否
** Ajax 技术应用 1.Ajax 简介 1.1Ajax 是什么? Ajax (Asynchronous JavaScript and XML) 是一种Web应用技术,可以借助客户端脚本(java ...
最新文章
- 通俗讲解操作系统的中断
- NSURLConnection 实现webView显示HTTPS页面
- 2021高考萧山二中成绩查询,萧山中学2018高考成绩
- 学习动态性能表(20)--v$waitstat
- mysql分库分表方案之sharding-jdbc使用(非demo示例)
- 走近华为“天才少年”钟钊:入职两年两度突破业界学界极限
- python I/O 对象
- java url dns_JAVA反序列化-ysoserial-URLDNS
- win10新建管理员账户_电脑技巧|Win10家庭版如何开启超级管理员账户
- mysql自学完整_MySQL自学篇_MySQL
- 威纶触摸屏宏指令编程,字符串相关函数介绍与使用...
- 用python写数字出现的次数_python – 计算每个数字的出现次数
- 关于O、Θ、Ω、o、ω等数学符号
- 【笔记】用函数实现折半查找
- narwal机器人_Narwal云鲸扫地机器人自清洗加压拖,省心省力省时
- 局部线性嵌入(Locally Linear Embedding,简称LLE)
- 【SQL server】基础入门0——理论部分
- 从Linux内核角度看中间人攻击(ARP欺骗)并利用Python scapy实现
- 单片机中的浮点数转换成串口可打印格式
- 游戏应用出海本地化策略,巴西篇
热门文章
- HTML链接(详细)与分割线(部分)
- ESPRESSIF ESP32 开发环境搭建
- 4. 系统调用执行过程分析
- 【CSS】文字溢出问题 ( 强制文本在一行中显示 | 隐藏文本的超出部分 | 使用省略号代替文本超出部分 )
- 实验组和对照组的样本量一定要“均衡”才行?
- 程序员职场五问——认清职业发展的本质
- 无线芯片组的全球与中国市场2022-2028年:技术、参与者、趋势、市场规模及占有率研究报告
- 32.2.4 启动Atlas
- ipv4: inet初始化过程
- 2007我们的铁路春运