python接收广播_有效处理市场广播数据并使用python进行处理
这似乎是一个广泛的问题,但它是准确的,我想实现,所以请阅读它。
我正在构建一个连接到市场广播的应用程序,并订阅了近200张纸条进行广播。每一个脚本每秒接收一次广播。
现在在应用程序中,我想实现两件事:
收集广播,制作1分钟、5分钟、15分钟蜡烛等。
将某些scrip的直播值与预定义值进行比较。
我试过不同的方法来解决这个问题,但只有一种方法显示出最好的效果。即使这不是期望的结果。
我目前的做法:
main.py----->Process----
|
|
------------
| |
broadcast candle
在
broadcast
我拿到广播,点上1分钟的蜡烛,把它通过
Pipe()
连接到蜡烛。在
candle
问题:
每一个符号/每根蜡烛的形成需要将近一秒钟的时间。我用
pandas
数据帧,用于存储数据,然后
groupby()
形成蜡烛的操作。
没有广播比较的余地。
我想用HDF5来存储数据,用dask来处理数据,但这值得吗?(我从未在HDF5/dask上工作过)。
欢迎提出任何建议。谢谢!
这是我根据所需频率制作蜡烛的代码。
请注意,在我从主数据帧分割scrip数据之后,它会为每个scrip调用。
def __create_minutes_candles(self, data=None, freq=None, latest=True):
start_time = time()
data = data if isinstance(data, pd.DataFrame) else self.__data
if freq and not data.empty:
for _symbol in self.scrips:
symbol_df = data[data['symbol'] == _symbol]
symbol_candle = self.__create_candle(_symbol, symbol_df, freq)
# Following code assembles all candles for all symbols and then append it to file
def __create_candle(self, symbol, symbol_df, freq):
if not symbol_df.empty:
candle = symbol_df.groupby(pd.Grouper(freq=freq, base=self.base)).apply(self.__candle_calc)
candle.dropna(how='all', inplace=True)
volume = symbol_df['volume'].resample(rule=freq, base=self.base).sum()
volume = volume[volume != 0]
symbol_candle = pd.concat([candle, volume], axis=1)
symbol_candle['symbol'] = [symbol] * len(symbol_candle)
symbol_candle = symbol_candle[self.file_columns]
return symbol_candle
这是数据帧的视图,我在其中生成蜡烛:
timestamp symbol ltp volume
0 2019-02-27 12:34:38 NIFTY_50 10778.70 NaN
1 2019-02-27 12:34:36 ACC 1430.00 1154730.0
2 2019-02-27 12:34:37 ADANIENT 131.30 3687673.0
3 2019-02-27 12:34:37 ADANIPORTS 325.60 4091014.0
4 2019-02-27 12:34:37 ADANIPOWER 47.85 28333489.0
5 2019-02-27 12:34:35 AJANTPHARM 997.00 397915.0
6 2019-02-27 12:34:37 ALBK 46.30 17753857.0
7 2019-02-27 12:34:33 AMARAJABAT 720.90 317973.0
8 2019-02-27 12:34:37 AMBUJACEM 214.95 1648760.0
9 2019-02-27 12:34:35 APOLLOHOSP 1152.15 738995.0
10 2019-02-27 12:34:37 APOLLOTYRE 212.65 1722708.0
11 2019-02-27 12:34:37 ARVIND 75.45 2225521.0
12 2019-02-27 12:34:37 ASHOKLEY 82.95 21954785.0
13 2019-02-27 12:34:37 ASIANPAINT 1405.35 755940.0
14 2019-02-27 12:34:37 AUROPHARMA 717.70 1248541.0
15 2019-02-27 12:34:37 AXISBANK 715.25 8247772.0
16 2019-02-27 12:34:37 BAJAJ-AUTO 2900.95 541710.0
17 2019-02-27 12:34:33 BAJAJFINSV 6398.05 182373.0
18 2019-02-27 12:34:37 BAJFINANCE 2637.80 759410.0
19 2019-02-27 12:34:37 BALKRISIND 890.90 659789.0
20 2019-02-27 12:34:37 BANKBARODA 100.60 6876303.0
21 2019-02-27 12:34:37 BANKINDIA 81.15 6643359.0
22 2019-02-27 12:34:36 BATAINDIA 1298.00 492525.0
23 2019-02-27 12:34:37 BEL 80.40 8375060.0
24 2019-02-27 12:34:37 BEML 837.90 2072199.0
25 2019-02-27 12:34:36 BERGEPAINT 297.00 564332.0
26 2019-02-27 12:34:36 BHARATFIN 921.05 271384.0
27 2019-02-27 12:34:36 BHARATFORG 510.85 1321287.0
28 2019-02-27 12:34:37 BHARTIARTL 316.25 2660313.0
29 2019-02-27 12:34:37 BHEL 65.05 3227136.0
... ... ... ... ...
8410 2019-02-27 12:35:56 RPOWER 10.50 30267776.0
8411 2019-02-27 12:35:56 SAIL 48.45 12045549.0
8412 2019-02-27 12:35:56 SBIN 268.10 13249778.0
8413 2019-02-27 12:35:56 SHREECEM 16861.30 24079.0
8414 2019-02-27 12:35:56 SIEMENS 986.80 168896.0
8415 2019-02-27 12:35:56 SRTRANSFIN 1132.40 813839.0
8416 2019-02-27 12:35:56 STAR 412.65 710360.0
8417 2019-02-27 12:35:56 SUNPHARMA 441.75 9114905.0
8418 2019-02-27 12:35:56 SUNTV 604.80 2645366.0
8419 2019-02-27 12:35:56 TATACOMM 582.05 745842.0
8420 2019-02-27 12:35:56 TATAGLOBAL 191.55 1080853.0
8421 2019-02-27 12:35:56 TATAMOTORS 177.80 12885577.0
8422 2019-02-27 12:35:56 TATAMTRDVR 87.95 2138988.0
8423 2019-02-27 12:35:56 TATAPOWER 65.80 3032921.0
8424 2019-02-27 12:35:56 TATASTEEL 502.50 5517049.0
8425 2019-02-27 12:35:56 TCS 2046.40 2315885.0
8426 2019-02-27 12:35:56 TECHM 823.75 2428864.0
8427 2019-02-27 12:35:56 TITAN 1025.30 960611.0
8428 2019-02-27 12:35:56 TORNTPHARM 1823.75 134955.0
8429 2019-02-27 12:35:56 TORNTPOWER 238.90 901773.0
8430 2019-02-27 12:35:56 TV18BRDCST 33.05 2314156.0
8431 2019-02-27 12:35:56 TVSMOTOR 457.40 993427.0
8432 2019-02-27 12:35:56 UBL 1338.50 203388.0
8433 2019-02-27 12:35:56 ULTRACEMCO 3863.20 401531.0
8434 2019-02-27 12:35:56 UPL 864.00 1799297.0
8435 2019-02-27 12:35:56 VEDL 164.60 6466586.0
8436 2019-02-27 12:35:56 VOLTAS 543.25 1388822.0
8437 2019-02-27 12:35:56 WIPRO 376.90 4978421.0
8438 2019-02-27 12:35:56 YESBANK 224.45 42431769.0
8439 2019-02-27 12:35:56 ZEEL 462.50 7847558.0
这是我生成的Dataframe视图。
symbol open high low close volume
timestamp
2019-02-27 12:29:00 ACC 1431.50 1432.15 1431.25 1431.85 1091.0
2019-02-27 12:29:00 ADANIENT 131.80 131.90 131.75 131.80 4516.0
2019-02-27 12:29:00 ADANIPORTS 326.15 326.55 326.00 326.40 6476.0
2019-02-27 12:29:00 ADANIPOWER 47.80 47.80 47.50 47.70 71156.0
2019-02-27 12:29:00 AJANTPHARM 999.00 999.00 998.10 998.10 245.0
2019-02-27 12:29:00 ALBK 46.55 46.70 46.55 46.65 11483.0
python接收广播_有效处理市场广播数据并使用python进行处理相关推荐
- python接收弹幕_闲着没事，尝试一下用Python爬取B站弹幕呀~
原标题:闲着没事,尝试一下用Python爬取B站弹幕呀~ 前言 最近同学要做东西,需要用 B 站的视频对应的弹幕数据做分析,于是请我帮忙爬取 B 站视频的弹幕数据. 对于爬虫而言,我们需要找到对应数据 ...
- python招聘广州黄埔_小案例:用Pandas分析招聘网Python岗位信息
小案例: Python岗位分析_哔哩哔哩 (゜-゜)つロ 干杯~-bilibiliwww.bilibili.com 1. 读取数据 import pandas as pd import numpy ...
- 支持python的交易软件_金字塔V5.02【正式版】(Python 支持) 更新说明
金字塔V5.02[正式版]更新说明 金字塔隆重推出python架构的5.01正式版,目前PYTHON全部功能免费.免费.免费. 目前此版本的Python功能相比其他云平台特点如下: 策略保密性高 数据 ...
- python软件工程师_为什么每个软件工程师都应该学习Python？
python软件工程师 大家好,如果您经常关注我的博客 ,或者在HackerNoon上阅读我的文章,那么您可能想知道为什么我要写一篇文章告诉人们学习Python ? 几年前,我不是要您更喜欢Java吗 ...
- 百钱买百鸡python创新编程_编程零基础应当如何开始学习 Python？
文科老狗被迫学了python,进入快乐领域 当然高赞的回答已经很详尽很全面了,但就大多数人的尿性: 妙啊~ 点赞~ 喜欢~ 收藏~ 然后感觉自己汲取了知识满意的返回离开√ 接下来我会分享自己学习的经验 ...
- python 功能 代码_挑战“不可能”的代码：你不知道的Python功能
本文转载自公众号"读芯术"(ID:AI_Discovery) Python看似简单,但实则变化万千,笔者总都能看到一些代码以近乎不可能的方式呈现.这些功能很精妙,以至于我无法想象没 ...
- python 可视化界面_工具推荐 | 3维数据可视化
高维数据是一种非常常见的数据类型,其中包含了多种属性.比如:数值模式输出结果通常包含多种物理参量及多个时次,还有一些空间位置信息.尽管高维数据非常常见,但是高维数据的分析一直是个挑战.那么如何才能有效 ...
- python接口 同花顺_这是真的么 | 学会了用Python预测股票价格
文章来源于微信公众号:机器学习与python实战 原文链接:请点击 文章仅用于学习交流,如有侵权请联系删除 作为一种技术手段,预测在金融.证券领域的应用非常广泛,尤其是对股票价格的预测.我们介绍一下获 ...
- 大学开设python课程吗_在大学为什么你一定要学会Python？
之前,网上流传一组<人工智能实验教材>的图片,照片火起来的原因是教材是为幼儿园的小朋友们设计的! Python被列入小学.初高中教材已不是新鲜事,现在又成功"入侵"了幼 ...
最新文章
- python爬虫天气实例scrapy_python爬虫之利用scrapy框架抓取新浪天气数据
- Nginx处理请求的11个阶段
- 深度学习中多层全连接网络的梯度下降法及其变式
- MySQL高级 - 案例 - 系统性能优化分析
- cmd不能用的解决方法
- java 5 新特性 for_java5 新特性
- java给腾讯通发消息_通过web 向rtx发送通知消息
- java 线程 api_Java核心API之线程（上）
- Js Vue 对象数组的创建方式
- WDA演练一：用户登陆界面设计(一)
- malloc函数用法
- XML注释与取消注释快捷键
- linux下安装asio4ks,FL Studio 第一步 初始化 2020-10-01
- ROI区域图像叠加和 初级图像混合
- navicat mysql server has gone away_Navicat中MySQL server has gone away错误怎么办
- RTX3090 GPU环境配置
- 输入netsh winsock reset 重启电脑生效
- 【AI测试】人工智能测试、算法测试整体介绍——第一部分
- mysql占用服务器CPU100%的解决办法
- 事务的隔离 transaction isolation