交易系统开发之行情数据总结

一、行情数据简介
1、行情数据简介
行情数据是交易过程中最基本、最重要的部分。一次完整的交易通常分为三个步骤：接收行情、分析行情（策略部分）、发出买卖指令并成交（算法交易部分）。对于高频交易和低延迟交易者，行情数据的精度和细度尤其重要。精度是指数据的准确性和能在多大程度上反映市场的真实情况，细度是指行情的推送频率。
行情数据分为两部分：交易行情和订单委托行情。交易行情就是交易数据，包括最新成交价、成交量、成交额、最高价、最低价等字段信息；订单委托行情就是买卖报价和委托量，根据委托价格的不同，可以分为一档、五档、十档等行情；通常把交易行情和订单委托行情结合在一起，形成TAQ（Tradesand Quotes）行情。
行情数据通常使用UDP组播进行转发，实时数据还要分A/B channel做冗余备份，再加一个Snapshot channel做备份。

2、tick行情与快照行情
tick行情也称逐笔行情，是完整记录了市场所有信息的数据，即会记录市场每一个event，如发生一次交易或者增加一个新订单，是最精细和最完整的行情数据。
快照（snapshot）行情是对tick行情数据在时间维度上进行一定频率切片后的统计数据，是一个时间截面上的统计数据。tick数据更为精确，快照行情根据时间频率的不同精确度也不同。

3、行情数据提供商
（1）Wind
官网：http://www.wind.com.cn/
老牌数据供应商，内容涵盖股票、债券、基金、衍生品、指数、宏观行业，价格较贵，是机构的首选。
（2）微盛数海
官网：http://www.wsbigdata.com/
提供股票、外汇、黄金、股指、国债期货等多个品种的API接口，与多家知名品牌有合作，是仅次于万得的供应商。
（3）立得行情数据
官网：http://ldhqsj.com/
提供股票、国内外期货、期权、指数、基金、债券、外汇汇率等行情，API接口模式。功能较全面，例如K线数据可选2种复权方式、9种时间周期，几十种指标。还提供其它网站所没有的沪深、港股实时五档分笔tick数据。
（4）大富翁数据中心
官网：http://www.licai668.cn
品种多样，涵盖沪深、港股、国内期权、国内外期货、贵金属。需安装专用的客户端才能使用，客户端可接收全推行情。
（5）金数源数据服务
官网：http://www.jinshuyuan.net/
有沪深股市和国内期货数据，以盘后下载csv文件为主。高频数据是它的强项，有A股分笔、level2逐笔数据(盘后下载)和国内期货tick数据(API接口)。另外它还提供免费的A股日K线数据(未复权)。
（6）财富通数据中心
官网：http://www.caifushuju.cn/
以盘后数据为主，包含股票、期货、贵金属、ETF期权、外汇。
二、行情数据需求
1、行情数据需求简介
2019年，上交所、深交所、中金所分别推出了沪深300ETF期权、沪深300指数期货期权，加上股指期货逐步松绑，投资机构在风险管理时有了更多、更好的对冲工具，可以构建更多的策略组合。尤其是金融市场剧烈波动时，沪深300股指期权和中证500股指期货的交易量猛增。根据期货业协会的数据，2020年2月份中金所月成交额同比增长169.76%，股指期货和期权已成为量化、程序化客户重要的对冲工具。
三大交易所金融衍生品的扩容，不仅有助于提升投资者风险防控能力，维护市场健康发展，也对金融IT系统发展起到积极的推动作用。
要开展新业务，第一步做的就是搭建满足业务需求的IT系统。
IT行情系统业务需求如下：
（1）面向大型机构客户，交易资金量大、换仓频繁，要提升交易系统性能，以满足其快速交易的需求；
（2）面向量化客户，为了量化T0、期现套利、ETF溢价对冲等策略的执行，需要同时收听上交所、深交所和中金所的实时行情。

2、行情服务用户需求分析
行情服务用户需求分析如下：
（1）快，第一时间收到行情；
（2）多交易所行情服务；
（3）能够在同一托管机房收听；
（4）用户个性化需求。

3、跨交易所行情服务
期权在风险管理和交易上的应用是多样化的，有单纯的方向性交易，也有复杂一些的组合应用，如保险、增强收益、套利交易等。
（1）保险
保险功能是期权市场最重要的功能之一，能够帮助投资者规避未来市场出现不利变化时可能带来的损失。
案例：持有现货的情况下，买入认沽期权，可以在一定程度上规避因股价下跌而带来的损失。
（2）增强收益
在市场波动小、趋势不明显的行情下，投资者可以通过卖出期权获得权利金收入，从而增厚收益。
案例：备兑开仓策略，持有沪深300ETF或相关资产，同时卖出沪深300ETF认购期权或沪深300指数认购期权，通过期权费收入可以增强资产组合收益。
（3）套利
目前不同交易所上市的3种股指期权标的，可套利标的数量、可能出现的套利机会、标的间的可组合数量都会大大增加。期权组合之间，期权组合和期货之间都可以套利。
案例：
跨品种套利：上证50指数的所有成分股都在沪深300指数中，上证50指数与沪深300指数的相关性也非常高。因为二者极高的相关性，使得两个指数相关产品之间的跨品种套利成为了可能，当两者走势各异时就会有套利机会出现，可以通过买入相对便宜的品种，卖出相对贵的品种并期待价差收敛从而获利。
价差套利：看涨和看跌期权可以模拟出期货价格，如果期权模拟出的期货价格与沪深300ETF产生价差，可以一边做多沪深300ETF，一边做空期权组合来实现收益。
（4）方向性交易
主要为投资者基于对市场的涨跌方向判断，进行期权投资，并在单边行情基础上获得收益。
案例：投资者判断未来一个月上证50能够上涨，因此买入50ETF 看涨期权，若后续市场上行，则可以选择行权获得收益。
据《2019年上海证券交易所股票期权市场发展报告》披露，保险、增强收益、套利和方向性交易四类交易行为占比分别为12.87%、43.77%、19.97%、23.39%。
从投资者类别看，机构投资者主要以增强收益和套利交易为主，个人投资者则主要以增强收益和方向性交易为主。
因此，专业投资者在进行风险管理时，需要在同一机房、同时收听关联市场的行情走势。

4、高效行情服务
基于行情的性能、合规、数据内容等角度考虑，申请Level-2非展示行情授权是获得跨市场极速行情的最佳途径。
（1）行情源更合规
交易所行情源直达指定的托管机房，速度优势远大于其它渠道转发的二、三手行情。
（2）接收速度快
Level-2行情采用FAST协议，行情快照速度从6s提高到3s，终端行情刷新速度提高了5到10秒。

三、Level 1行情数据
Level-1行情是交易所根据交易规则发布的即时行情信息；数据格式包括基于FIX/FAST协议的接口和TXT文件；行情通过交易所信息技术公司的高速地面网和宽带广播卫星系统发布或上证所信息网络有限公司的互联网和专线传输。
证券交易所的Level-1行情主要提供股票、债券、基金和指数等业务品种的行情信息。集合竞价期间提供证券代码、证券简称、前收盘价格、虚拟开盘价、虚拟匹配量、虚拟未匹配量和虚拟未匹配量的剩余方向；连续竞价期间提供证券代码、证券简称、前收盘价格、最新成交价格、当日最高成交价格、当日最低成交价格、当日累计成交量、当日累计成交金额、实时最高五个买入申报价格和数量、实时最低五个卖出申报价格和数量。
上交所和深交所的Level 1和Level 2 TAQ行情数据都是3秒频率的快照数据。
股票市场Level 2行情数据的逐笔交易数据确实是记录了每笔交易的，是真正的tick数据，在时间精度上，也精确到了10ms，但是其实时推送频率也是3秒一次的，因此数据本身的时间精度和推送精度并一定是一致的。

首先是股票市场，对于上交所和深交所，level 1行情数据有3秒一个快照的TAQ数据和分时数据，其中TAQ中的订单委托数据为五档行情数据；对于level 2数据，上交所和深交所有所不同，上交所的level 2依然是3秒一个快照的TAQ数据、3秒一个快照的50档订单队列和逐笔交易数据，深交所则是实时推送，并且还有tick级别的订单委托数据，其中level 2的TAQ中的订单委托数据为10档行情，比level 1多了5档；订单委托队列数据就是按照成交优先级顺序排列的一档价位的逐个委托的订单数据，共呈现了50个委托队列。
期货市场的level 1和level 2数据实际上就是TAQ快照数据，和股票市场的level 1数据比较像，但是相比对股票市场，期货市场的快照频率为500ms一个推送，相比于股票市场的3秒一个推送，其频率高了很多。期货市场中的level 1中的订单委托行情只有一档，而level 2则是五档，所以level 2相比于level 1提供了更深的订单委托行情数据。目前，期货市场的level 1行情是500ms一个推送，level 2行情数据中，中金所和上期所依然是500ms一次，其它交易所都是250ms推送一次，但是上期所也即将上线250ms频率的行情。
上交所的level 2行情提供了交易的tick数据，3秒一次推送；深交所level 2行情提供了交易和订单委托的tick数据，实时推送。
在期货市场上，实际上只有快照数据，一般说的一秒钟里面有几个tick，实际上指的就是一秒里面有几个快照而已，并非严格意义上的tick数据。

四、Level 2行情数据
1、Level 2行情
Level-2行情为上证所信息网络有限公司推出的上海证券交易所新一代行情，是在基础行情上增加了增值信息，以更好地满足机构投资者和专业投资者对行情信息的差异化需求。数据采用基于FIX/FAST协议的接口，行情通过上证所信息网络有限公司的专网传输。

2、Level 2行情的特点
作为增值行情，Level-2行情特点如下：
（1）更丰富的信息
更多的盘口订单数据、逐笔成交数据、成交与订单关联数据及增值数据，揭示交易细节，全方位反映市场状态
（2）更丰富的委托盘口
提供买卖方10个价位的价格、股数和委托笔数信息，同时提供第一档位的前50笔订单的委托量，揭示买卖双方行为细节
（3）更低时延
采用国际一流的FAST协议，毫秒级时延的技术系统让数据更迅速直达用户
（4）更多增值服务
数据经专业的信息服务商加工，可以衍生出更多的技术分析指标，如资金流向和大单分析等
（5）更高的服务质量保障
提供重发机制，确保数据可靠、准确，不丢失任何一笔数据

3、Level 2行情的优点
Level-行情比Level-1行情增加的主要内容：
（1）增加委托信息
汇总的委托笔数、委托数量及加权平均价格；
前10档的价格、委托数量及委托笔数；
前1档价位前50笔订单的委托数量；
总的价位深度数量；
（2）增加成交数据
逐笔成交明细数据；
买／卖方订单成交的最长等待时间；
（3）增加增值数据
买／卖方的累计撤单笔数、数量和金额；
ETF申购；

五、Datafeed非展示行情
1、Datafeed行情简介
算法交易、风险控制、数据分析研究和开发策略等高端应用如果需要听取实时市场报价，需要接入Datafeed非展示行情才能接收并使用行情。
Datafeed非展示行情是股票或期货Level2深度行情的一种使用模式，通过特定的API接口来接收交易所发出的行情数据。
Datafeed和Level-2数据来源一样，但Datafeed侧重于用（比如交易、分析研究），Level-2侧重于展示。
Level-2行情以图形化的形式直观地展现当前的市场波动，但行情数据不允许落地及接口获取，只能用于PC或者手机终端进行展示之用。

2、行情数据接入
交易所对实时行情数据的接入和转发是有明确限制的，任何未经授权的单位和个人不得擅自转发或传播交易所交易行情信息。
各大证券、期货交易所下属的技术公司或信息公司负责实时、历史行情对外的授权管理，用户可直接通过技术、信息公司提供的API接口，利用机房托管的方式接收交易所的深度行情，可以避免通过信息商获取数据的延迟问题。
Datafeed行情数据的接入申请包括资质、技术等各个方面的审核，
以及授权单位必须严格按交易所书面认可的用途（自用or转发）使用非展示数据。
（1）深交所
行情内容：在基本即时行情的基础上，实时买卖盘由五档扩展到十档，并增加最佳价位的前50个分档明细、逐笔委托、逐笔成交等信息；
发布频率：3秒/次；
传输形式：TCP；
（2）上交所
行情内容：在Level-1基础上增加委托信息（如委托笔数、委托数量及加权平均价格；前10档的价格、委托数量及委托笔数；前1档价位前50笔订单的委托数量；总的价位深度数量）、成交信息（逐笔成交明细数据买／卖方订单成交的最长等待时间）、增值数据（买／卖方的累计撤单笔数、数量和金额ETF申购）
发布频率：3秒/次；
传输形式：TCP；
（3）大商所
行情内容：5级深度委托行情、最佳买卖价位上前10笔分笔委托量、加权平均委买价格、实时结算价、分价位成交量统计等8种数据；
发布频率：0.25秒/次；
传输形式：TCP、UDP点播及组播；
（4）郑商所
行情内容：合约编码、前收盘、前结算、昨持仓量、开盘价、收盘价、最高价、最低价、最新价、申买价、申卖价、申买量、申卖量、结算价、均价、涨停板、跌停板、成交量、持仓量、5级深度委托行情、委买总量、委卖总量；
发布频率：0.25秒/次；
传输形式：TCP或UDP组播；
（5）上期所/能源中心：
主要内容：合约编码、最新价、合约数量、成交金额、持仓量、最高价、最低价、今开盘、今收盘等；
发布频率：0.5秒/次；
传输形式：TCP或UDP组播；
（6）中金所
行情内容：合约名称、交割月份、最新价、涨跌、成交量、持仓量、申买价（最优五笔）、申卖价（最优五笔）、申买量（最优五笔）、申卖量（最优五笔）、结算价、开盘价、收盘价、最高价、最低价、前结算价、成交额等；
发布频率：0.5秒/次；
传输形式：TCP或UDP组播；

3、行情转发系统
符合合规要求和市场需求的行情转发系统需要具备功能如下：
（1）满足用户需求
在上海接收深交所行情，行情网关部署在哪里可降低时延；
不同交易所行情格式不同，如何处理便于用户快速接入；
是否可以对数据进行计算拼装，通过技术服务来满足用户个性化的需求；
（2）符合交易所合规要求
如何按照交易所的要求，进行行情转发的边界控制；
对所有的接入用户的权限进行统计和控制，建立数据库可供交易所查询；
（3）便于日常运维
能够实时监控系统的状态；
定位故障问题；
快速修复；

4、非展示行情申请
非展示行情申请授权，获得行情网关，必须满足交易所合规要求。
非展示行情的使用授权需要向交易所信息公司或技术公司进行申请，交易所会对企业资质、技术方案等各个方面进行审核。
授权单位必须严格按交易所书面认可的用途（自用or转发）使用非展示数据。
上交所行情授权联系上证信息，深交所联系深证信息，中金所联系中金技术。上交所、深交所、中金所非展示行情申请授权流程如下：
交易系统开发（二）——行情数据
通过行情授权申请后，交易所信息公司会下发行情网关，券商和期货公司需要通过行情网关来获得行情数据。
上交所行情网关是VDE，即Vendor Data Engine，和交易所上游行情源服务器通过TCP协议连接，和下游行情转发系统通过TCP连接；深交所行情网关是MDGW，即Market Data Gateway，和交易所上游行情源服通过UDP连接，和下游行情转发系统通过TCP连接；中金所没有行情网关概念，通过前置机进行连接。

5、技术方案书和现场检查
向交易所申请授权，重点有技术方案书和现场检查两个环节。
根据交易所要求，在申请时需要提供技术方案书，需要说明行情转发系统技术方案、灾备方案，以及如何保障数据合规使用。
技术方案书，主要包含四大主要模块的说明：
（1）技术体系结构描述；
（2）操作终端管理描述；
（3）数据信息安全措施描述；
（4）系统测试情况；
方案书得到交易所批准后，即可开始准备现场检查。
现场检查重点关注四个方面：
（1）系统技术架构、灾备结构、网络部署等情况；
（2）是否存在非法转发、用户转发数漏报的情况；
（3）用户管理系统检查，用户数据不得删除且至少保留五年；
（4）机房情况是否达标。
现场检查通过后交易所会下发网关程序，拿到网关程序后即可切换生产环境进行自用与转发。

6、行情服务运维
行情收发不可避免地会出现一些问题，比如行情断线、丢包。原因如网络异常、进程异常、流量过大导致网关断连和buffer超载。
因此，运维时为确保行情系统稳定运行无故障可以监控如下指标：
（1）各节点网络状态；
（2）进程状态；
（3）行情落地时间管理；
（4）日志监控；

六、交易所行情对接
1、交易所行情对接
LDDS: 低延时行情发布系统（Low–Latency Data Distribution System）。
VDE: Vendor Data Engine前置机，深圳证券交易所新行情系统提供给信息商系统的接入点服务器。
DDS: IDC中的数据发布服务器。
DRS: IDC中的数据重建服务器。
VSS: Vendor Supplied System信息商服务器，经过许可接入深圳证券交易所新行情系统的信息商服务器。
上海证券交易所提供的LDDS-VDE是一个纯Java服务，启动后，VDE会和DDS服务器建立TCP连接，并且按需短连接DRS服务器。用户可以从VDE获取到上海证券交易所和深圳证券交易所的行情数据。
LDDS-VDE默认配置com.sseinfo.lddsidc.thread.vss.RealTimeClientThread会将行情快照约每隔3秒更新到文件中mktdt00.txt，用户可以通过读取文件或者直接连接VDE的9129端口获取到上交所的行情。
LDDS-VDE会对深交所的行情数据进行转发，虽然在9129也可以读取到深交所的数据，但建议连接VDE的6666端口通过Binary协议获取深交所的行情数据。
建立TCP连接后，VSS需要向VDE发送Login请求，如果登录没有问题，VDE会回复Login请求，随后开始推送行情数据。
定时发送Heartbeat消息以供检查连接有没有断掉，Heartbeat间隔是Login请求中设置的HeartBtInt 。

2、交易所行情转发
从2018年末开始，中金所对股指期货交易的限制逐步松绑，不少期货公司开始增加对股指期货交易的关注和技术投入，时刻准备着为专业机构用户提供差异化、优质的服务支持。
量化机构用户随着股指期货的解冻，入市热情逐渐升温，沪深两市的Level 2深度行情是量化机构用户交易股指期货的必备行情数据需求，也是期货公司提高专业服务水平，满足机构用户个性化需求的必备服务工具。
根据上证所信息网络有限公司Level-2非展示数据的许可单位公示名单，南华期货、兴证期货、中信期货、海通期货、中辉期货和五矿经易期货六家期货公司率先获得了上海证券交易所Level-2深度行情的技术方案验收认可和数据使用授权，并已在中金所托管机房接通行情专线，可供授权用户使用。
行情授权许可是使用Level-2非展示数据的第一步，还需通过技术解决方案实现行情接入、解码、转发等功能。

3、行情转发系统
上证所和深交所的Level-2行情数据通过Level-2行情生成引擎生成后，经行情发布中心发送到信息接收组件，通过UDP组播行情分发系统直接转发给客户。
UDP组播行情分发系统的特点：
（1）接收行情后直接分发，不经过程序的中转清洗处理，效率更高。
（2）将行情通过UDP组播而非TCP分发，支持更多并发客户，高效公平，可扩展性强。
（3）允许投资者按需订阅行情信息，有针对性地对指定股票行情解码，避免了对整个市场行情解码造成的性能损耗，提升了带宽的使用效率。
（4）支持将需要的行情分类发布到指定的组播地址以满足投资者的需求。
（5）具备完善的合规控制，所有行情仅在授权机房内广播。
（6）支持实时查询用户列表、MAC地址、IP地址等信息，并提供详细日志报表。
（7）沿用传统行情商的格式发布数据，以确保用户可以在做出尽量少的代码改动的情况下接入智喆系统。
（8）在配置不同组件时，也可同时支持期货交易所行情的接收与转发。

4、行情接口
对于任何程序化交易策略而言，行情接口和交易接口都是不可或缺的组成部分，行情是所有交易策略最基础的信号源，而各种交易信号的发送和接收则是交易策略的最终实现形式。
中国证券、期货市场采用会员制管理，只有交易所会员单位即证券公司、期货公司才有资格向交易所购买交易席位。程序化交易团队可以联系证券、期货公司提供交易接口的通道服务。
国内各大交易所对外提供行情接口服务的信息技术子公司如下：
上交所下属子公司——上交所技术有限公司
深交所下属子公司——深圳证券通信有限公司
郑商所下属子公司——郑州易盛信息技术有限公司
大商所下属子公司——大连飞创信息技术有限公司
上期所下属子公司——上海期货信息技术有限公司
中金所下属子公司——上海金融期货信息技术有限公司

七、行情数据加速
FPGA（Field Programmable Gate Array，现场可编程门阵列）是一种半定制电路，可以被重新编程（硬件编程）。
FPGA工程师不必依赖厂家的标准化芯片，而根据实际需要，通过改变电路逻辑连接关系，实现各种运算功能。
FPGA的优势在于运行效率高、速度快，但开发周期长、调试纠错较困难、逻辑实现的灵活度较弱、更新换代成本高。
随着金融科技发展，金融交易追求更低交易延迟的竞赛不断升级，传统的软件技术或以软件为核心的加速技术难以满足微秒级的实时处理和实时响应的要求。业内均在寻求搭建低时延交易系统的解决方案,基于GPU、FPGA硬件并行加速的技术逐渐进入证券交易领域，成为金融科技领域顶尖的科技趋势。
降低交易延迟本质是如何实现金融数据加速。FPGA具有硬件可编程、低功耗、低时延的特性。基于RTL(Register Transfer Level :寄存器传输级)级的逻辑编程，可定制化各类通讯协议(如TCP/IP协议栈卸载)、各种消息编解码(如上交所的FAST协议解码)及系统各种颗粒度的操作，实现数据的并行和流水的并行，达到极低的系统时延和极高的系统容量。

交易系统开发之行情数据总结相关推荐

基于CTP的程序化交易系统开发
http://blog.sina.com.cn/s/blog_56e7157f01016ri2.html 自从综合交易平台(CTP)的API开放以来,很多人开始编写自己的程序化交易系统,今天我想说说自 ...
基于CTP的程序化交易系统开发（一）
自从综合交易平台( CTP)的 API开放以来,很多人开始编写自己的程序化交易系统,今天我想说说自己的一些看法. 首先解读一下 CTP的接口说明, CTP的 API使用建立在 TCP协议 ...
基于CTP的程序化交易系统开发（二）
本文开始先说说CTP给开发者提供了什么. CTP提供给开发者的文件一共有4个头文件 ThostFtdcTraderApi.h,ThostFtdcMdApi.h,ThostFtdcUserApiS ...
get_k_data 接口文档全新的免费行情数据接口
get_k_data 接口文档全新的免费行情数据接口原创: Jimmy 挖地兔 2016-11-06 前言在tushareAPI里,曾经被用户喜欢和作为典范使用的API get_hist_dat ...
.bat脚本自动yes_第四章： Python脚本获取聚宽（JQData）免费行情数据
本期目标: 从聚宽数据API中获取期权行情数据并写入到云数据库(MySql)中,通过superset访问存储在数据库中的数据. 本期导读: 聚宽金融数据API 获取ETF期权日终行情数据写入到MyS ...
赞！用Python获取A股行情数据的4种方法
今天看到了某位同学关于<深入浅出Python量化交易实战>一书所写的的Python读书笔记,现在推送给大家,望一起探讨学习. 为鼓励大家学习,文末也会进行赠书活动,不容错过! 原文如下: ...
获取股票数据【使用JQData查询行情数据、财务指标、估值指标】
了解股票: 在上一次量化小科普[什么是量化?常用的股票量化指标.如何搭建量化交易系统]对于量化的概念有了一个基本认识,其中量化的主体在这门课程的学习中是"股票",而当别人问你:&q ...
股软分析系统源代码，股软开发，行情写库程序
沪深,外汇,期货数据开发,写库程序,股软源代码 1.类通达信分析系统源代码,类分析家类分析系统源代码请登录:www.8858518.net 下载演示版本行情服务器端OEM ,源代码出售. 2. 实 ...
美股历史行情数据 API 接口
所有美股历史交易行情数据,完整历史交易 / 任意时间段查询. 1. 产品功能支持所有历史美股交易查询: 支持指定任意时间段查询: 超高的查询效率,秒级返回: 所有的交易数据为未复权的数据: 全接口支 ...

交易系统开发之行情数据总结

交易系统开发之行情数据总结相关推荐

最新文章

热门文章