用 Python 爬取股票实时数据！轻轻松松实现财富自由！
今天我们一起来学习一个 Python 爬虫实战案例，我们的目标网站就是东方财富网，废话不多说，开搞
网站分析
东方财富网地址如下
http://quote.eastmoney.com/center/gridlist.html#hs_a_board
我们通过点击该网站的下一页发现，网页内容有变化，但是网站的 URL 却不变，也就是说这里使用了 Ajax 技术，动态从服务器拉取数据，这种方式的好处是可以在不重新加载整幅网页的情况下更新部分数据，减轻网络负荷，加快页面加载速度。
我们通过 F12 来查看网络请求情况，可以很容易的发现，网页上的数据都是通过如下地址请求的
http://38.push2.eastmoney.com/api/qt/clist/get?cb=jQuery112409036039385296142_1658838397275&pn=3&pz=20&po=1&np=1&ut=bd1d9ddb04089700cf9c27f6f7426281&fltt=2&invt=2&wbp2u=|0|0|0|web&fid=f3&fs=m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23,m:0+t:81+s:2048&fields=f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f20,f21,f23,f24,f25,f22,f11,f62,f128,f136,f115,f152&_=1658838404848
接下来我们多请求几次，来观察该地址的变化情况，发现其中的pn参数代表这页数，于是，我们可以通过修改&pn=后面的数字来访问不同页面对应的数据
import requestsjson_url = "http://48.push2.eastmoney.com/api/qt/clist/get?cb=jQuery112402508937289440778_1658838703304&pn=1&pz=20&po=1&np=1&ut=bd1d9ddb04089700cf9c27f6f7426281&fltt=2&invt=2&wbp2u=|0|0|0|web&fid=f3&fs=m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23,m:0+t:81+s:2048&fields=f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f20,f21,f23,f24,f25,f22,f11,f62,f128,f136,f115,f152&_=1658838703305"res = requests.get(json_url)
数据处理
接下来我们观察返回的数据，可以看出数据并不是标准的 json 数据
于是我们先进行 json 化
result = res.text.split("jQuery112402508937289440778_1658838703304")[1].split("(")[1].split(");")[0]result_json = json.loads(result)result_json
Output:
这样数据就整齐多了，所有的股票数据都在data.diff下面，我们只需要编写解析函数即可
返回各参数对应含义：
- f2：最新价
- f3：涨跌幅
- f4：涨跌额
- f5：成交量（手）
- f6：成交额
- f7：振幅
- f8：换手率
- f9：市盈率
- f10：量比
- f12：股票代码
- f14：股票名称
- f15：最高
- f16：最低
- f17：今开
- f18：昨收
- f22：市净率
先准备一个存储函数
def save_data(data, date): if not os.path.exists(r'stock_data_%s.csv' % date): with open("stock_data_%s.csv" % date, "a+", encoding='utf-8') as f: f.write("股票代码,股票名称,最新价,涨跌幅,涨跌额,成交量（手）,成交额,振幅,换手率,市盈率,量比,最高,最低,今开,昨收,市净率\n") for i in data: Code = i["f12"] Name = i["f14"] Close = i['f2'] ChangePercent = i["f3"] Change = i['f4'] Volume = i['f5'] Amount = i['f6'] Amplitude = i['f7'] TurnoverRate = i['f8'] PERation = i['f9'] VolumeRate = i['f10'] Hign = i['f15'] Low = i['f16'] Open = i['f17'] PreviousClose = i['f18'] PB = i['f22'] row = '{},{},{},{},{},{},{},{},{},{},{},{},{},{},{},{}'.format( Code,Name,Close,ChangePercent,Change,Volume,Amount,Amplitude, TurnoverRate,PERation,VolumeRate,Hign,Low,Open,PreviousClose,PB) f.write(row) f.write('\n') else: ...
然后再把前面处理好的 json 数据传入
stock_data = result_json['data']['diff']save_data(stock_data, '2022-07-28')
这样我们就得到了第一页的股票数据
最后我们只需要循环抓取所有网页即可
for i in range(1, 5):print("抓取网页%s" % str(i))url = "http://48.push2.eastmoney.com/api/qt/clist/get?cb=jQuery112402508937289440778_1658838703304&pn=%s&pz=20&po=1&np=1&ut=bd1d9ddb04089700cf9c27f6f7426281&fltt=2&invt=2&wbp2u=|0|0|0|web&fid=f3&fs=m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23,m:0+t:81+s:2048&fields=f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f20,f21,f23,f24,f25,f22,f11,f62,f128,f136,f115,f152&_=1658838703305" % str(i)res = requests.get(json_url)result = res.text.split("jQuery112402508937289440778_1658838703304")[1].split("(")[1].split(");")[0]result_json = json.loads(result)stock_data = result_json['data']['diff']save_data(stock_data, '2022-07-28')
这样我们就完成了整个股票数据的抓取，喜欢就点个赞吧~
关于Python技术储备
学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，人工智能、机器学习等习教程。带你从零基础系统性的学好Python！
一、Python学习大纲
Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
二、Python必备开发工具
三、入门学习视频
四、实战案例
光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
五、python副业兼职与全职路线
上述这份完整版的Python全套学习资料已经上传CSDN官方，朋友们如果需要可以微信扫描下方CSDN官方认证二维码 即可领取↓↓↓
用 Python 爬取股票实时数据！轻轻松松实现财富自由！相关推荐
- 用 Python 爬取股票实时数据
今天我们一起来学习一个 Python 爬虫实战案例,我们的目标网站就是东方财富网,废话不多说,开搞 网站分析 东方财富网地址如下 http://quote.eastmoney.com/center/g ...
- 实战干货！用 Python 爬取股票实时数据！
今天我们一起来学习一个 Python 爬虫实战案例,我们的目标网站就是东方财富网,废话不多说,开搞 网站分析 东方财富网地址如下 http://quote.eastmoney.com/center/g ...
- python爬取股票大单历史记录_python爬取股票实时数据,python爬虫与股票分析
内容导航: Q1:怎么学python爬取财经信息 本程序使用Python 2.7.6编写,扩展了Python自带的HTMLParser,自动根据预设的股票代码列表,从Yahoo Finance抓取列表 ...
- python爬取股票实时价格_【美股量化00篇】Python获取新浪接口美股实时数据
1.本篇以BABA(阿里巴巴)为例,在浏览器地址栏输入以下url,即可获取个股数据: http://hq.sinajs.cn/list=gb_baba (股票代码必须为小写字母,结果如下图所示) 阿里 ...
- python爬取网页实时数据_使用 Python 爬取网页数据
1. 使用 urllib.request 获取网页 urllib 是 Python 內建的 HTTP 库, 使用 urllib 可以只需要很简单的步骤就能高效采集数据; 配合 Beautiful 等 ...
- 利用python爬取股票实时信息
注:本次实验使用python3.7以及pycharm完成 网络爬虫 所为爬虫就是建立一个与某个网站的连接 通过该连接获取输入流,读取网站内容.实质上就是一个socket的输入输出操作,根据http状态 ...
- python爬取股票数据,以上证指数为例,可以爬取任何股票,保存为temp.csv文件
python爬取股票数据,以上证指数为例,可以爬取任何股票,保存为temp.csv文件 import requests import pandas as pd# market: 0:沪市 1:深市 # ...
- Python爬虫教程-Python爬取股票数据过程详解
这篇文章主要介绍了基于Python爬取股票数据过程详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 基本环境配置 python 3.6 pycha ...
- 通达信接口怎么样抓取股票实时数据？
通达信接口怎么样抓取股票实时数据?股票爬取接口在股票交易中常常使用到的一些辅助工具,股票爬取接口主要是利用l1和l2接口来执行获取股票实时行情数据的原理,将自己需要查询的需求就可以在接口软件上搜索就可 ...
- 如何用python爬取数据_如何使用python爬取知乎数据并做简单分析
原标题:如何使用python爬取知乎数据并做简单分析 一.使用的技术栈: 爬虫:python27 +requests+json+bs4+time 分析工具: ELK套件 开发工具:pycharm 数据 ...
最新文章
- 『Numpy』常用方法记录
- Linux系统使用apt命令安装java
- 视频直播技术详解（0）开篇
- python下各种包的安装
- 常用于评价回归模型优劣的统计量包括( )。_第四十一讲 R-判断回归模型性能的指标...
- 读书笔记(06) - 语法基础 - JavaScript高级程序设计
- javaweb基础(36)_jdbc进行批处理
- [原创]补丁工具V1.6.3
- ajax如何获取复选框中的值_Web自动化测试：页面元素信息（属性）的获取
- Shadow Mapping续
- 计算机科学班会,计算机科学与技术学院20级13班召开“砥砺前行，“计”往开来”主题班会...
- 读取计算机内存卡,手机内存卡无法读取怎么办 读取手机内存卡详细方法【详细步骤】...
- 常用GIS（高清卫星影像、DEM）数据下载
- 苹果cms伪静态常见几种问题解决教程
- 如果当初......
- Ubuntu下使用opencv完成图像程序编程操作
- python并发测试脚本语言_python并发测试脚本
- 智能ABC输入法超酷技巧
- Chef学习之三：Chef基础知识 （转贴）
- T-SQL解析json字符串函数
热门文章