中兴通讯大数据平台在中国农业银行的应用

项目背景及挑战

当今时代，利率市场化，同业竞争加剧，迫使金融企业要尽快引入新技术，完善移动渠道的访问能力，增加服务渗透力，加快新业务部署上线速度。残酷的竞争导致利润空间下降，IT 成本压缩。传统银行IT架构采购和维护成本过高，更低成本优势的IT 技术成为了金融企业的需求。同时，“IOE”对金融业形成事实垄断，产品闭源不可控，IT系统依赖性过大，导致金融企业失去议价能力，安全风险越来越大。种种问题都使金融企业更加关注新技术的发展，更加急切的探寻可行的解决之道。

大数据技术在时代的招呼下应运而生，自诞生之日起，就成为了金融行业关注的目标，其海量数据处理能力、低廉的架构成本、开源的风险可控性都满足了金融企业的需求，各大金融企业纷纷投入资源开展研究与应用。

中国农业银行（Agricultural Bank of China，简称ABC，农行）是中国大型上市银行，中国五大银行之一。数年来，中国农行一直位居世界五百强企业之列，在“全球银行1000强”中排名前7位，穆迪信用评级为A1，在国际、国内都极具影响力。

中国农业银行从2011年开始，投入大量资源进行大数据技术研究。目前已有多个基于开源大数据组件的业务系统研发投产。但随着的大数据技术的深入应用，大数据技术的复杂性、不规范、缺乏有效技术支持等问题越来越成为大步前进的障碍。一方面随着数据的爆炸性增长，传统架构已经无法满足金融行业的实际需求，在信用风险、合规审计、柜面改造等多个业务领域都急切需要大数据技术的支撑。另一方面Apache Hadoop、CDH、IDH等大数据技术及开源平台，在规划架构、技术支持、故障恢复、生产运维等方面缺少技术支持，导致应用产品开发成本难以控制，投产应用产品稳定性欠佳，研发运维严重脱节。

大数据技术方案

2015年4月初，中国农业银行完成对多个厂商大数据产品的完备性测试，中兴通讯GoldenData HD大数据平台产品顺利入围，双方确定了正式合作的意向，将合作建设国内金融行业规模最大、能力最强的大数据平台，目标支持500节点以上集群，满足行内各部门的大数据应用需求。

GoldenData HD是基于开源技术成熟的大数据商用平台，整合了中兴通讯在近10年大数据项目实践中的技术沉淀。平台涵盖了数据的采集、存储计算、分析挖掘、应用建模、可视化展现以及运维管理等全部能力。
GoldenData HD产品架构如下：

产品主要特性：

1）成熟稳定：基于多年的技术和经验积累，平台的功能、性能、可靠性和稳定性都经过农行的极为苛刻的验证，达到了行业领先水平。

2）开放包容：集成超过20个组件，其中约80%为独立的开源软件。在融合的同时，进行了大量的创新和优化，使之更具商用价值。

3）统一运维：统一大数据管理系统，一站式满足系统快速部署、集中管理及可靠运维需要。

4）安全可靠：精心设计的安全架构，构建高忱无忧的应用访问环境。

5）便捷访问：自主研制的开放管理中间件平台（ODPP），在大数据基础平台之上架设统一访问层。

6）快速开发：平台集成了大数据挖掘分析相关的各种基础算法库、开发工具、可视化工具，客户可以快速实现应用开发，赢得商机。

经验总结

目前中兴通讯大数据平台GoldenData HD已经在中国农业银行多个研发部门应用，逐步替换CDH、IDH等已有产品。平台功能的完备性、性能的可靠性得到了客户认可。除了平台产品以外，中兴通讯还提供了技术开发、维保服务及培训、疑难问题解决、技术支持和客户化等多种类型的服务。

通过应用产品在中国农业银行的信用风险、身份鉴别、柜面业务改造、对公客户关系管理、合规审计等业务领域进行了实际应用。此外，管理会计、个人客户关系管理、风控等多个业务领域也在开展规划工作。

1.文件管理平台

文档管理平台是第一个移植到GoldenData HD上的业务应用。移植过程中，GoldenData HD平台中提供的Solr扩容工具，采用自动化技术能够自动将数据重新分布到新增集群节点，为移植后的扩容工作提供了有力的帮助，有效缩短了扩容过程周期。

目前，此平台部署在中国农业银行上海数据中心50个节点的集群中，使用了HDFS、Yarn、Zookeeper、HBase、Hive、Solr等组件，为全行提供文档查询服务。系统投产后，因业务数据的飞速增长，于2017年5月进行扩容，之后再2017年11月进行迁移升级，有效提升了系统的负载能力。通过2年多的推广应用，文件管理平台从辅助性产品已经提升为业务支柱性产品，目前已经完成中国农业银行5个省份的网点柜面身份鉴别业务改造，2个省份的网点柜面业务无纸化改造。

2.信用风险：交易图谱构建

信用风险管理系统是中国农业银行大数据应用的核心内容，原有系统受限于系统结构，难以处理多达30亿的法人客户交易数据，仅月度数据查询一次就需要20多分钟，无法满足实际业务需要。为此，双方成立联合团队，在架构方面，确定了HDFS、Yarn、HBase、WAS、GBase组成的混合架构；在性能目标方面，创新性应用了HBase的协处理器，在集群中各RegionServer上进行分布式并行过滤与查询计算，实现了查询过程的降维处理要求，有效提升了查询反馈效率，使升级后的系统达到了预定性能目标。目前，此项目已经顺利投产。项目过程中，一共搭建了三套GoldenData HD集群，分别用于开发、测试、投产，有效帮助客户控制了项目研发周期，提升了系统性能水平。

系统投产后，查询效率有了极大的提升。原月度数据查询需要20多分钟，改造后数据查询反馈速度小于1秒。

3.基于大数据的多维分析平台

为了满足金融分析业务需求，中国农业银行以Cognos为基础构建了庞大的多维分析服务系统。但随着数据的增长，原有系统逐渐成为阻碍行内优化精准营销的障碍。
在中兴通讯的支持下，2017年初，双方合作开展了大数据多维分析技术研究，以大数据平台的Kylin为核心组件，进行了深入的功能、性能研究、测试。经测试，发现面对大数据量的Cube，相比Cognos，Kylin的构建速度有近10倍的提升。

基于研究成果，2017年3月份，基于大数据的多维分析平台项目，以中兴通讯GoldenData HD（ZDH）为基础，构建百亿级数据量的多维分析平台，以云服务模式满足各领域商业智能分析需求。

2017年7月此平台投产上线，并为管理会计系统提供了第一个Cube服务。后继将在各业务系统升级改造过程中，逐步取代原有的Cognos，实现全行集中的大数据多维分析服务平台。

专家推荐语

该应用案例基于对金融信息化系统在大数据背景下面临的实际挑战，深入分析了数据处理的复杂性问题，采用中兴通讯先进的大数据产品（GoldenData HD），构建了开放的数据存储、查询和分析系统，有效提升了海量数据存储和业务应用查询的速度，为中国农业银行在大数据时代的超越发展提供了有力的支撑。