python采集往期股票数据进行分析预测
前言
嗨喽~大家好呀,这里是魔王呐 ❤ ~!
准备工作
既然要去赚马内,咱们首先要获取往期的数据来进行分析,
通过往期的规律来对当前进行预测,准不准我不知道,反正比人预测的准,
不准也不要喷我,咱们是来交流技术的,不是来炒股的。
我们需要使用这些模块,通过pip安装即可。
requests: 爬虫数据请求模块
pyecharts: 数据分析 可视化模块
pandas: 数据分析 可视化模块里面的设置模块(图表样式)
后续使用的其它的模块都是Python自带的,不需要安装,直接导入使用即可。
基本流程
思路分析
采集什么数据?怎么采集?
首先我们找到数据来源,从network当中去找到数据所在的位置,这一步就不详细讲了。
代码实现
我们想要实现通过爬虫获取到数据,正常情况下有几个步骤:
发送请求
获取数据
解析数据
保存数据
接下来我们来看代码
代码展示
数据采集
导入需要使用的模块
import requests # 数据请求模块
import csv # 表格模块
1、发送请求
通过response模块来访问需要获取数据的地址
(因不可抗原因,网址屏蔽了,完整代码可文末名片领取)
url = 'https://stock.*****.com/v5/stock/screener/quote/list.json?page={page}&size=30&order=desc&orderby=percent&order_by=percent&market=CN&type=sh_sz'
requests.get(url=url)
直接这么进去是不一定能获取到数据,所以需要使用 cookie 来伪装一下,cookie代表着用户身份信息。
当然光cookie是不够的,咱们再加上当前网页的 user-agent
import requests # 第三方模块
import csv# 伪装
headers = {# 用户身份信息'cookie': 's=bq119wflib; device_id=90ec0683f24e4d1dd28a383d87fa03c5; xq_a_token=df4b782b118f7f9cabab6989b39a24cb04685f95; xqat=df4b782b118f7f9cabab6989b39a24cb04685f95; xq_r_token=3ae1ada2a33de0f698daa53fb4e1b61edf335952; xq_id_token=eyJ0eXAiOiJKV1QiLCJhbGciOiJSUzI1NiJ9.eyJ1aWQiOi0xLCJpc3MiOiJ1YyIsImV4cCI6MTY3MjE4Njc1MSwiY3RtIjoxNjcwNTAxMjA5MTEyLCJjaWQiOiJkOWQwbjRBWnVwIn0.iuLASkwB6LkAYhG8X8HE-M7AM0n0QUULimW1C4bmkko-wwnPv8YgdakTC1Ju6TPQLjGhMqHuSXqiWdOqVIjy_OMEj9L_HScDot-7kn63uc2lZbEdGnjyF3sDrqGBCpocuxTTwuSFuQoQ1lL7ZWLYOcvz2pRgCw64I0zLZ9LogQU8rNP-a_1Nc91V8moONFqPWD5Lt3JxqcuyJbmb86OpfJZRycnh1Gjnl0Aj1ltGa4sNGSMXoY2iNM8NB56LLIp9dztEwExiRSWlWZifpl9ERTIIpHFBq6L2lSTRKqXKb0V3McmgwQ1X0_MdNdLAZaLZjSIIcQgBU26T8Z4YBZ39dA; u=511670501221348; Hm_lvt_1db88642e346389874251b5a1eded6e3=1667994737,1670480781,1670501222; Hm_lpvt_1db88642e346389874251b5a1eded6e3=1670501922',# 浏览器的基本信息'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36'
}url = 'https://stock.xueqiu.com/v5/stock/screener/quote/list.json?page={page}&size=30&order=desc&orderby=percent&order_by=percent&market=CN&type=sh_sz'# 1. 发送请求
response = requests.get(url=url, headers=headers)print(response)
伪装加好之后,咱们就能得到一个相应结果,先打印出来看看。
运行后出现 <Response [200]>求请求成功,出现404就是访问不到资源,一般是被反爬了。
所以这时候我们需要加一个 referer 防盗链参数进去
'referer: https:// ****.com/hq'
如果加了还不行,就是自己链接有问题了。
取数据的话 .json 就好了
import requests # 第三方模块
import csv# 伪装
headers = {# 用户身份信息'cookie': 's=bq119wflib; device_id=90ec0683f24e4d1dd28a383d87fa03c5; xq_a_token=df4b782b118f7f9cabab6989b39a24cb04685f95; xqat=df4b782b118f7f9cabab6989b39a24cb04685f95; xq_r_token=3ae1ada2a33de0f698daa53fb4e1b61edf335952; xq_id_token=eyJ0eXAiOiJKV1QiLCJhbGciOiJSUzI1NiJ9.eyJ1aWQiOi0xLCJpc3MiOiJ1YyIsImV4cCI6MTY3MjE4Njc1MSwiY3RtIjoxNjcwNTAxMjA5MTEyLCJjaWQiOiJkOWQwbjRBWnVwIn0.iuLASkwB6LkAYhG8X8HE-M7AM0n0QUULimW1C4bmkko-wwnPv8YgdakTC1Ju6TPQLjGhMqHuSXqiWdOqVIjy_OMEj9L_HScDot-7kn63uc2lZbEdGnjyF3sDrqGBCpocuxTTwuSFuQoQ1lL7ZWLYOcvz2pRgCw64I0zLZ9LogQU8rNP-a_1Nc91V8moONFqPWD5Lt3JxqcuyJbmb86OpfJZRycnh1Gjnl0Aj1ltGa4sNGSMXoY2iNM8NB56LLIp9dztEwExiRSWlWZifpl9ERTIIpHFBq6L2lSTRKqXKb0V3McmgwQ1X0_MdNdLAZaLZjSIIcQgBU26T8Z4YBZ39dA; u=511670501221348; Hm_lvt_1db88642e346389874251b5a1eded6e3=1667994737,1670480781,1670501222; Hm_lpvt_1db88642e346389874251b5a1eded6e3=1670501922',# 防盗链'referer: https:// ******.com/hq'# 浏览器的基本信息'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36'
}url = 'https://stock.****.com/v5/stock/screener/quote/list.json?page={page}&size=30&order=desc&orderby=percent&order_by=percent&market=CN&type=sh_sz'# 1. 发送请求
response = requests.get(url=url, headers=headers)print(response.json())
2、获取数据
什么是json数据?
以 {}/[] 所包裹起来的数据 {“”:“”, “”:“”}
json_data = response.json()
3、解析数据
data_list = json_data['data']['list']
# data_list[0]
# data_list[1]
for i in range(0, len(data_list)):symbol = data_list[i]['symbol']name = data_list[i]['name']current = data_list[i]['current']chg = data_list[i]['chg']percent = data_list[i]['percent']current_year_percent = data_list[i]['current_year_percent']volume = data_list[i]['volume']amount = data_list[i]['amount']turnover_rate = data_list[i]['turnover_rate']pe_ttm = data_list[i]['pe_ttm']dividend_yield = data_list[i]['dividend_yield']market_capital = data_list[i]['market_capital']print(symbol, name, current, chg, percent, current_year_percent, volume, amount, turnover_rate, pe_ttm, dividend_yield, market_capital)
4、保存数据
csv_writer.writerow([symbol, name, current, chg, percent, current_year_percent, volume, amount, turnover_rate, pe_ttm, dividend_yield, market_capital])
爬虫部分就结束了,接下来看数据分析部分,文章不理解,我还录了视频讲解,视频以及完整代码在文末名片自取即可。
数据可视化分析
导入需要使用的模块
import pandas as pd # 做表格数据处理模块
from pyecharts.charts import Bar # 可视化模块
from pyecharts import options as opts # 可视化模块里面的设置模块(图表样式)
读取数据
df = pd.read_csv('股票.csv')
x = list(df['股票名称'].values)
y = list(df['成交量'].values)c = (Bar().add_xaxis(x[:10]).add_yaxis("成交额", y[:10]).set_global_opts(xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(rotate=-15)),title_opts=opts.TitleOpts(title="Bar-旋转X轴标签", subtitle="解决标签名字过长的问题"),).render("成交量图表.html")
完整代码文末名片自取就好了哈~
另我给大家准备了一些资料,包括:
2022最新Python视频教程、Python电子书10个G
(涵盖基础、爬虫、数据分析、web开发、机器学习、人工智能、面试题)、Python学习路线图等等
全部可在文末名片获取哦!
尾语
python采集往期股票数据进行分析预测相关推荐
- 怎么用python爬股票接口对股票数据进行分析
怎么用python爬股票接口对股票数据进行分析 在 Python的QSTK中,是通过 s_datapath 变量,定义相应股票数据所在的文件夹. 具体的股票数据来源,例如沪深.港股等市场,你可以使用免 ...
- 基于大数据的股票数据可视化分析与预测系统
温馨提示:文末有 CSDN 平台官方提供的博主 Wechat / QQ 名片 :) 1. 项目简介 股票市场行情分析与预测是数据分析领域里面的重头戏,其符合大数据的四大特征:交易量大.频率高.数据种类 ...
- 雅虎财经数据python 网络爬虫stock股票 用 Python 通过雅虎财经获取股票数据
yfinance Python Tutorial (2022) - Analyzing Alpha https://www.youtube.com/watch?v=SxIwqdedomg 讲的很详 ...
- 用Python爬取最新股票数据含完整源代码
用Python爬取最新股票数据含完整源代码 抓取目标: url:http://webapi.cninfo.com.cn/#/marketDataDate 数据目标: 获取 证券代码 证券简称 交易日期 ...
- ❤️【Python】精彩解析拉钩网反反爬虫,❤️采集各行业招聘数据,分析行业行情❤️
目录 前言 开始 分析(x0) 分析(x1) 分析(x2) 分析(x3) 分析(x4) 代码 效果 我有话说 前言 emmmmmm, 大家好我叫善念.基本是每天更新一篇Python爬虫实战的文章,不过 ...
- python股票数据简单分析
一.简单说明 1.需求 2.数据 3. 部分结果 画的图 筛选的股票 二.学习收获 1.如何将DataFrame列的object类型转为自己需要float类型? 这里成交量为例子 转为相应float类 ...
- 基于python获取雅虎金融股票数据及相关可视化操作
@TOC 基于python3实现 1.获取数据 1.1单只股票 (1)加载所需的包 import pandas as pd import pandas_datareader.data as web i ...
- Python数据分析实战之股票数据
最近股市比较火.我们就利用这篇文章简单介绍下用 python 对股票数据做个简单的分析.数据集是从1999年到2016年上海证券交易所的1095只股票. 共1000个文件. 我们的分析思路大致如下: ...
- Python采集剧本杀店家数据信息,做可视化演示
前言 哈喽啊,友友们 有喜欢玩桌游或者剧本杀的吗 其实我自己对这个不太感兴趣哈哈,但是也玩过 正好又有朋友约着出去,就是不知道哪家店更值得去 所以趁着还有几天就用python来采集一些 店家的数据信息 ...
最新文章
- 真没想到中国有这么猛的软件,杀伤力太强了!
- python将输出结果写入csv,在Python中将彩色输出写入CSV文件
- 【数理知识】辛矩阵 symplectic
- QG3系统无法创建SAP employee的原因
- Machine Learning(Stanford)| 斯坦福大学机(吴恩达)器学习笔记【汇总】
- yii2 提供接口给java_yii2写api接口步骤
- 为什么要重写hashcode方法和equals方法
- python快速编程入门课本中的名片管理器_python优雅操作-实现名片管理系统
- 我的WCF之旅(10):如何在WCF进行Exception Handling
- 遥感数字图像融合算法简介
- linux实时监测cpu温度,Linux 监控CPU 温度
- android 模拟器加速,android开发怎么设置加速模拟器如真机运行
- 个人网站建设基本步骤解析
- 使用PIE-Engine探寻地球灯光蕴藏的秘密
- 谷歌I/O大会发布语言模型LaMDA2,以及更多打开想象力的落地应用
- 二手房房源信息数据分析项目完整流程
- which在C语言用法,A,B, and C, which ... which指代的是它们三个还是只有C呢?
- linux下twm切换gn,Linux初学(CnetOS7 Linux)之切换命令模式和图形模式的方法
- 解密韦德之膝:康复因再世华佗
- 基于AI排序算法的指数增强策略
热门文章
怎么用python爬股票接口对股票数据进行分析 在 Python的QSTK中,是通过 s_datapath 变量,定义相应股票数据所在的文件夹. 具体的股票数据来源,例如沪深.港股等市场,你可以使用免 ...
温馨提示:文末有 CSDN 平台官方提供的博主 Wechat / QQ 名片 :) 1. 项目简介 股票市场行情分析与预测是数据分析领域里面的重头戏,其符合大数据的四大特征:交易量大.频率高.数据种类 ...
yfinance Python Tutorial (2022) - Analyzing Alpha https://www.youtube.com/watch?v=SxIwqdedomg 讲的很详 ...
用Python爬取最新股票数据含完整源代码 抓取目标: url:http://webapi.cninfo.com.cn/#/marketDataDate 数据目标: 获取 证券代码 证券简称 交易日期 ...
目录 前言 开始 分析(x0) 分析(x1) 分析(x2) 分析(x3) 分析(x4) 代码 效果 我有话说 前言 emmmmmm, 大家好我叫善念.基本是每天更新一篇Python爬虫实战的文章,不过 ...
一.简单说明 1.需求 2.数据 3. 部分结果 画的图 筛选的股票 二.学习收获 1.如何将DataFrame列的object类型转为自己需要float类型? 这里成交量为例子 转为相应float类 ...
@TOC 基于python3实现 1.获取数据 1.1单只股票 (1)加载所需的包 import pandas as pd import pandas_datareader.data as web i ...
最近股市比较火.我们就利用这篇文章简单介绍下用 python 对股票数据做个简单的分析.数据集是从1999年到2016年上海证券交易所的1095只股票. 共1000个文件. 我们的分析思路大致如下: ...
前言 哈喽啊,友友们 有喜欢玩桌游或者剧本杀的吗 其实我自己对这个不太感兴趣哈哈,但是也玩过 正好又有朋友约着出去,就是不知道哪家店更值得去 所以趁着还有几天就用python来采集一些 店家的数据信息 ...