【产品】高效金融大数据回放查询系统

发布于 2021-09-14 02:15


背景需求



在金融领域,无论是在开源社区还是在软件市场,都缺乏对大规模证券历史行情数据提供回放服务的软件产品。因此,为了进行量化交易算法模型开发与回测验证,证券基金公司业务人员需要针对每个分析任务分别手工编写脚本对源数据进行ETL处理,然后才能进行量化交易算法模型效果分析测试。这种方法一方面存在大量冗余工作,大量的重复代码无法复用;另一方面,由于缺乏统一标准和框架,业务开发人员还需要在业务层面对这些脚本进行校验和调试,严重影响了量化交易算法模型的研发效率。
产品介绍



江苏鸿程大数据研究院研发成功一套金融行情大数据回放系统,可为金融行业的算法策略团队提供可调速、级别定制(tick、分钟、日)、模拟实时行情以及成交信息的数据服务,用于证券行业对于历史数据快速回测与策略验证。系统基于主流大数据技术与系统平台,实现了一系列创新技术方法,技术处于国内领先水平,解决了目前金融行业数据回放速率稳定性差、多用户多股票并发回放能力不足、手工冗余重复处理数据源等一系列痛点问题,以稳定、高效、速度可调的回放服务,极大地提升了金融行业的回放效率和多证券并发回放宽度。
平台架构


应用案例



该产品已经落地应用于某头部证券金融数据服务产品,服务100余家投资机构,取得了较高的经济价值。平台可广泛应用于证券行业对于历史数据快速回测与策略验证;也可以应用于银行业进行历史利率与存贷数据回放,进行风险把控,保险业分析险种历史保金与赔付数据,进行赔付策略优化。

功能特性


接口简单丰富

封装完善的接口API,用户只需要按照手册调用

丰富多样的回放接口

条件输入接口,如:证券种类、证券编号、起止时间等;回放操作接口,如:开始回放、取消回放、改变速率等;状态监控接口,如:任务状态、回放速率、数据堆积等

速度高效稳定

系统根据回放数据量计算出最大回放速度,并以最大 速度开始回放,回放速率平稳。回放过程中可以在最大回放速度范围内根据用户需求随时调整回放速度

系统稳定可扩展

多server、多worker的分布式架构使系统具有高容错性,极端情况下,只要至少有1个server+1个worker,系统就可以正常运行。分布式系统具有良好的扩展性,回放数据准备效率能够随 节点数增加而提高

数据查询与流式回放

用户查询被分解为若干子查询,以子查询为窗口长度进行数据的准备和回放,实现边查询边回放。从底层数据库查询出的证券数据通过Alluxio缓存在内存,然后从内存将数据以流的方式发送给客户端,实现稳定的流式数据回放

多证券多用户并发查询

允许用户通过客户端接口一次输入多只证券,后台服务可对多只证券进行并行独立查询,并将查询结果同时进行流式回放返回客户端。系统支持多客户端并发查询和回放

异步数据源统一接入

屏蔽底层源数据(股票/基金/债券/期货等)ETL处理流程,向金融业务开发人员提供统一和简单易用的数据获取接口,支持策略回溯等算法研发,并由系统保证回放服务QoS



本文来自网络或网友投稿,如有侵犯您的权益,请发邮件至:aisoutu@outlook.com 我们将第一时间删除。

相关素材