银行业如何搭建自服务的数据平台？
传统的数据服务模式是业务用业务语言提出需求，科技人员和业务部门就业务语言如何转换成科技数据口径进行确认，之后开发报表提供业务测试，测试中常常发现报表实现和业务需求有差距，还要反复沟通，从业务提出报表需求到最终投产，快则三五天，慢则个把月。
基于以上原因，想通过搭建一套数据平台，支持快速灵活、交互式、探索性的数据查询和分析。让业务人不再依赖、不再等待大量、使用简单拖拉拽操作就能够完成日常的数据分析工作。
那么问题来了，搭建一套基于明细级数据自助查询平台，如何规划技术架构、数据模型，以及BI工具的选型。
这里提供一个江苏银行的大数据平台案例。
传统来讲，银行定制一张报表，分析某个业务数据，主要通过业务部门提出需求，科技部门编写程序来实现。其中的问题，题主也说了，从提出需求到科技部最终开发完报表，中间存在反复的口径沟通、试验取数的过程。一张报表，从考虑排期问题，提出需求，到最终完成快则一两周，慢则几个月。
解决这个问题的有效办法是：
1、把明细宽表他们可理解的数据，给到业务部门，交由业务人员自助探索分析。
2、基础查询类报表：来自于基层业务和日常工作，功能作用于某一项具体的工作，比如销售业绩查询、商品库存查询、在途库存查询、采购订单查询等，形成固定类目的查询报表，用户在工作需要时，会通过查询此类报表，来得到自己想要的数据，以支撑自己的工作。
后者主要还是IT部门负责，前者IT部门可推动去做。这里着重讲讲前者。
BI平台选择
要解决业务自助取数，自助分析，这里需要一个BI平台。那市面上的BI工具FineBI支持快速灵活、交互式、探索性的数据查询和分析，江苏银行也是基于FineBI去开发的。
IT人员和业务人员共同定制好业务可理解的主题包（这里IT人员直接将数据按业务按主题准备在FineBI的业务包中），可以将数据由业务人员自行设计报表。通过这种方式进行统计分析，在定制数据包的基础上由业务人员自主查询数据，所见即所得，在数据查询、统计的过程中分析，可以大大提高工作效率。搭建这个系统之外，他们还做了一件事，就是在各个业务条线培养具有数据分析挖掘能力的人才，解决日常工作中的数据分析难题。
平台架构
1、大数据平台建设：
对于大体量内外部数据的高度自由的实时查询，需要有可靠的底层数据处理平台的支撑。从经济成本和未来数据的非线性增长趋势的角度分析。设计的架构时，传统的交易系统运用关系型数据库处理OLTP事务操作，产生的交易数据通过异构数据的批量复制方式或消息队列的准实时方式更新至Hadoop平台，Hadoop平台可以进行大体量数据的分析和挖掘，并提供基于大数据的应用系统实时检索的模式。
2、数据资源整合：
持续整合核心系统、信贷管理系统、信用卡系统、个贷系统等几十个业务的交易数据、账户数据和客户基础数据，建立数据标准和数据治理体系，开发风险数据集市、资产负债管理集市、监管报送集市等多个内部数据集市。行外引入包括监管部门的客户风险预警信息、人行客户征信报告数据、工商总局企业注册信息数据、企业纳税信息、海关进出口交易数据、法院客户涉诉信息、失信被执行人信息、环保不达标信息、欠税信息、工商处罚信息、公民身份证信息、个人学历学籍信息、公共媒体负面信息等19项外部数据源，几千项外部数据字段，并运用网络爬虫技术和命名实体识别技术，抓取公共网络媒体舆情信息，形成海量的外部数据集市；
通过在大数据平台上整合行内与行外数据，线上与线下数据，结构化与非结构化数据，有效解决了传统银行普遍面临的“信息孤岛”问题。在数据整合的基础上，利用智能化大数据分析工具进行各类数据的统计、分析、查询和建模成为可能。
3、工具选型：
调研了市场上各类数据挖掘和分析工具，针对不同需求不同数据分析能力的人集成了多种工具提供使用：
数据挖掘和建模人员：提供SAS和分布式R语言工具，可以使用专业的数据分析工具进行挖据和建模；
具有数据库操作能力的人员：提供类SQL方式的自定义快速报表开发工具，所有报表设计和菜单控件均通过浏览器可视化配置；
对于了解业务系统数据的业务人员：提供智能BI多维分析工具FineBI，通过拖拽方式即可实现各类复杂的统计和图表功能；
对于普通一线员工：可以方便的查询平台上已设计好的各类模板，并且可以使用客户关系图谱、互联网舆情分析等可视化查询工具。
最终效果
1、降低数据挖掘分析的门槛
BI平台的使用使得数据分析的门槛大为降低，数据分析工作可以下沉到最基层。不需要了解数据库，甚至不需要懂太多数理统计的专业知识，只要了解业务的人员，都可以根据自己的一个关注点自定义分析和挖掘，并可以分享给其他员工。
2、实现离散式管理
传统模式的报表开发维护和管理都集中在部分开发和管理人员身上，面对日益增长的数据分析需求，这种模式显露出响应能力的不足和资源的瓶颈。平台打破原来总行定制固定报表，分支机构只能查询的集中式管理模式，变为了人人都可以是报表开发员的离散式管理模式，实现千人千创意，让数据发挥最大价值。
3、数据安全和便捷的平衡
提升数据分析便捷性的同时，数据安全问题也是银行关注的重点。智多星平台在权限管理中也需做到智能化。
首先，对敏感字段，如客户名称、地址、手机等，在定义报表的同时就可实现自动脱敏；
其次，数据权限有报表和机构两个维度，不同分支机构的用户，即使获得了同一张报表的权限，也仅能查看自己机构的数据，避免了数据的任意传播。
银行业如何搭建自服务的数据平台？相关推荐
- 神策数据司沛：加速车企数字化转型，搭建高质量用户数据平台实战
本文根据神策数据高级售前解决方案顾问司沛<加速车企数字化转型,搭建高质量用户数据平台(CDP)实战>的直播内容整理而成.主要包括: 车企数字化转型之瓶颈以及应对思路 神策数据为车企打造的用 ...
- 【Workshshop No.3 | Kyligence X 青云QingCloud Workshop】零基础搭建云上大数据平台
7月13日Kyligence 与青云QingCloud 联合举办的"零基础搭建云上大数据平台" Workshop诚邀您参加. Kyligence Cloud 是 Kyligence ...
- SpringCloud + kafka + ELK 搭建微服务日志管理平台
SpringCloud + kafka + ELK 搭建微服务日志管理平台 2019-12-31,写在前面的话 今天是2019最后一天了,最近几天都在搞这块微服务日志管理的事情,有很多种方案实现,每种 ...
- 搭建好司法大数据平台
近日,司法部印发<关于进一步加强司法行政信息化建设的意见>,要求大力加强司法行政信息化综合管理平台建设,建成涵盖司法行政各项业务的"一站式"司法行政信息化综合管理平台, ...
- 数据管理解决方案 | 零售行业如何搭建全渠道大数据平台？
后疫情时代,面对艰难的市场竞争环境,零售企业愈发明白数字化的重要性.商品管理.库存管理.会员营销.门店运营......每天都在产生海量且高频次的业务数据,如何实现"数据驱动"是零售 ...
- rancher搭建cdh6.2大数据平台
文章目录 前言说明 具体操作 1. 搭建方式 2. 搭建完成结构图 3. 推荐最低配置运行环境 4. 搭建步骤搭建步骤 5. 启动顺序 6. 工作节点添加 7. 持久化存储 8. 集群创建完成后执行以 ...
- 搭建TDH商业大数据平台社区版（附其他主流商业大数据平台下载汇总）
大数据核心原理与实践专栏 说明: TDH社区版还挺好用的,无限量续签许可证,如果大家只是想玩玩儿大数据平台,或者刚入行大数据想练手,那么TDH社区版就够用了,避免了你前期安装一系列Hadoop组件的麻 ...
- 搭建HBase + Phoenix大数据平台
一.介绍 因为代驾过程中,需要保存驾驶途中的 GPS 定位,将来计算代驾真实里程的时候,就需要用到这些坐标点.那么这些定位点保存在 MySQL 中可以吗?当然不行,MySQL 单表记录超过两千万就卡的 ...
- 直播预告丨搭建高质量用户数据平台，加速车企数字化转型
▼ 点击"阅读原文" ,参与直播赢好礼
- 大数据平台在分布式服务中的应用
对大数据平台的一些理解 大数据是目前比较火的领域,它涉及的领域比较广泛,例如数据挖掘.机器学习等等:所有这些基于数据的操作能够正常工作的前提是:搭建相应的大数据收集平台,在该平台中能够通过主动和被动的 ...
最新文章
- DIV+CSS一行两列布局
- inv(a) matlab,设A为矩阵，b为列向量，则Matlab中运算A\b 和运算inv(A)*b
- 知识图谱能否成为企业下一代的数据仓库
- jquery在ie浏览器下中文乱码的问题
- sdut 3335 数据结构实验之栈与队列八：栈的基本操作
- 8. String to Integer (atoi) 字符串转成整数
- Cpp 对象模型探索 / 静态局部对象只构造一次的原因和执行析构的方法
- 反射动态调用DLL类库测试
- [导入]竟然支持OpenGL ES!
- javascript中动态添加事件!!
- Tomcat性能调优方案
- NOD32企业版授权文件过期后的应急处理（病毒病义更新）
- 【长文预警】美团联合创始人王慧文清华产品课
- iTunes 12.6.3(含appStore)
- linux超级块编辑,在EXT4 linux系统上模拟丢失的超级块错误
- mysql mpm_zabbix+mysql mpm监控
- c语言进行catia二次开发,想入门CATIA二次开发CAA的盆友们（谈谈开发经验，或许对你有帮助）...
- 因为星期三有计算机课的英语,34 （五年级上册）第二单元 我星期里的每天--英汉对...
- 一文带你了解Serverless架构及应用场景
- FEDformer: Frequency Enhanced Decomposed Transformer for Long-termSeries Forecasting（ICML2022）