关于建设镇江市住房公积金容灾系统的通知 镇公积金﹝2010﹞57号

发布时间：2011-02-24  稿件来源：  作者：  浏览次数： 229

各辖市区分中心、管理部，市中心各处室，公积金服务中心：

为进一步提高全市住房公积金信息系统运行环境的高可用性和业务的可持续性，保障住房公积金数据安全，根据《关于加强全市住房公积金信息化管理工作的意见》，结合我市新信息系统运行实际，经研究决定，2010年启动建设住房公积金容灾系统，为确保容灾系统建设顺利实施，现将有关事项通知如下：

一、容灾系统建设的基本原则

容灾系统的建设是为了满足住房公积金管理发展的需要，是为了提高住房公积金业务可持续性的信息技术保障的需要。通过建设容灾系统，建立和完善与公积金管理发展相适应的信息系统保障体系，满足公积金业务发展的要求，保证信息系统和相关基础设施功能的正常发挥，有效防范、控制和化解信息技术风险，增强信息系统安全预警、应急处置和灾难恢复能力，保障数据安全，显著提高我市住房公积金业务持续运行保障水平。

容灾系统建设基本原则是：坚持统一管理与因地制宜相结合的原则，要根据自身实际，提出可行性意见；坚持效能优先与经济合理相结合的原则，容灾系统建设既要满足目前系统运行需要，又要适应今后容灾系统扩展的需求；坚持统一规划与分步实施相结合的原则，保证容灾系统一期工程的建设的完成；坚持立足长远与实用高效相结合的原则，容灾系统建设要符合中心实际情况，能适应将来通过对同城容灾、同城容灾性能扩展以及异地容灾的三者结合，提高公积金信息系统可持续运行能力，确保公积金数据的安全。

二、容灾系统建设的基本目标

结合我市住房公积金发展需求，并根据国内公积金行业容灾系统建设发展的趋势，综合先进性、扩展性、安全性、兼容性，容灾系统建设目标如下：

（一）提供住房公积金业务持续性的信息技术保障。通过“统一管理、软硬并重、分步实施、长远规划”的建设原则，建立和完善与公积金管理发展相适应的容灾系统，满足公积金业务发展的要求，有效防范、控制和化解信息技术风险，增强信息系统安全预警、应急处置和灾难恢复能力，保障数据安全。

（二）建设高可用性的容灾系统。通过分阶段进行容灾系统的建设，使容灾系统在长远上符合住房公积金业务的发展，实现公积金管理能力的提升，业务可持续运行能力的升级，逐步建成一套高效的、安全的、能为信息系统提供7×24小时运行的容灾系统。

（三）提升公积金硬件平台的可扩展性。容灾系统是一个高起点和高技术含量的系统，系统设计思路要符合中心实际情况，将来通过对同城容灾、同城容灾性能扩展以及异地容灾的三者结合，提高公积金信息系统可持续运行能力，确保公积金数据的安全，使住房公积金信息化水平更上一层楼。

三、容灾系统建设的工作要求

容灾系统建设涉及面广、工作量大、技术含量高，是我市公积金管理工作的重点，各部门及相关工作人员应统一思想，高度重视，积极配合，保证系统建设顺利实施。

（一）要统一思想认识

容灾系统是我市信息系统运行环境的支撑，直接影响住房公积金管理工作的运作，因此在容灾系统建设过程中，各分中心、管理部，市中心各处室，业务服务中心负责人应高度重视，充分认识到其重要性、必要性和紧迫性，组织人员积极配合，确保容灾系统建设有序推进，如期使用。

（二）要明确工作安排

容灾系统建设分四个阶段：一是容灾系统实施方案制定阶段（1～2月），二是容灾系统实施阶段（3月），三是容灾系统测试和演练阶段（4月），四是容灾系统上线阶段（4月）。各阶段工作应分步实施，统筹兼顾，保证容灾系统建设顺利实施。

（三）要健全组织保障

为确保容灾系统建设的高质量、高效率，强化容灾系统建设的组织保障。经研究决定成立镇江市住房公积金容灾系统建设工作小组（详见附件1），统一组织实施全市容灾系统建设工作。

附件：1.镇江市住房公积金容灾系统建设工作小组名单

附件：2.镇江市住房公积金容灾系统建设总体方案

二〇一〇年十一月三十日

抄送：省公积金监管处，省住建厅信息中心，市政府，市财政局。
附件1

镇江市住房公积金容灾系统

建设工作小组名单

组  长：许起鸿

副组长：叶北海

成员：方黎明、朱贞、唐广、龚婷婷、李健、姚宁驰

工作小组职能：负责容灾系统总体方案，向中心主任室汇报工作进展、需决策事项，协调组织市中心各处室、分中心（管理部）、受委托银行、相关单位人员配合容灾系统实施，负责系统招标，负责制定系统集成方案、测试方案、演练方案。

具体工作分工如下：

许起鸿：负责协调统筹整个容灾系统建设的开展和推进，督查、督办系统建设的方案制定、实施等事项。

叶北海：协助组长工作，具体负责容灾系统建设的推进，核定系统需求，系统招标，系统实施、测试、演练、上线。

方黎明、唐广、龚婷婷：负责协调相关部门和人员配合容灾系统的实施和演练。

朱贞：负责系统建设的后勤保障。

李健、姚宁驰：负责容灾系统总体实施方案，负责制定系统集成方案、参与系统实施，负责系统测试和演练。

附件2

镇江市住房公积金容灾系统建设总体方案

前    言

随着住房公积金业务的不断发展，住房公积金信息覆盖面不断扩大，数据量不断增长，且要保持公积金业务和数据每天不间断运行和更新。公积金业务一旦因系统故障造成业务被迫中止或公积金数据遭到破坏或丢失，都会给中心造成不可估量的损失，所以有效的公积金容灾建设对于中心信息系统来说至关重要。

中心信息化平台建设的重点就是信息系统运行环境的建设。现行的信息系统运行环境还不能完全达到全方位提供信息系统对数据安全和业务连续性的要求。因此中心通过大量研讨、调研、结合信息技术发展的最新趋势，提交以下住房公积金容灾总体方案，方案要点包括：容灾系统建设的必要性，建设目标、容灾架构及功能。

一、容灾系统建设的必要性

（一）中心系统现状

中心现行的主要硬件环境是由1台小型机、1台光纤磁盘阵列、2台光纤交换机组成信息系统运行的数据库环境；由2台PC服务器和1台PC服务器组成应用和交易中间件环境；配置了Veritas备份软件，将核心业务数据定时备份到虚拟磁带库中，实现数据备份无人值守；由1台Cisco 6509和1台Cisco4507核心交换机组成数据交换的网络环境，实现正常业务办理及数据交换。中心内外网物理隔离，网站应用查询的数据通过拷盘的方式进行更新。

下图是目前业务系统的拓扑结构：

（二）中心系统的局限性

1、不能满足业务持续性的要求

中心目前备份都是以时间点作为启动复制动作的机制。当数据库服务器出现瘫痪的时候，所恢复的也只是上次备份时点的数据，无法恢复上次备份至瘫痪这段时间内的数据，造成数据丢失，无法做到任一时间的实时恢复，这势必导致中心业务中断，影响中心正常运作。

2、没有实施双机集群

中心目前是通过分区技术把1台小型机虚拟成2台小型机组成双机集群，但因新旧数据库系统同时运行，当新数据库系统出现故障时，系统不能实现自动切换，需有一定专业技术的人员进行手工切换，这势必在系统管理上造成一定的难度。

3、存在单点故障

中心目前只有1台小型机和磁盘阵列在提供数据库服务，小型机和磁盘阵列成为了信息系统的一个单点故障点，一旦小型机或磁盘阵列发生故障，则整个系统将发生停机，这对中心来说，这种意外的停机是无法忍受的。

综上所述，中心应该建立一套能够回避任何单点故障的高可用系统，且该系统具有强大的数据保护和容灾功能。

二、容灾系统的建设目标

结合我市住房公积金发展需求，并根据国内公积金行业容灾系统建设发展的趋势，综合先进性、扩展性、安全性、兼容性，容灾系统建设目标如下：

（一）提供住房公积金业务持续性的信息技术保障。通过“统一管理、软硬并重、分步实施、长远规划”的建设原则，建立和完善与公积金管理发展相适应的容灾系统，满足公积金业务发展的要求，有效防范、控制和化解信息技术风险，增强信息系统安全预警、应急处置和灾难恢复能力，保障数据安全。

（二）建设高可用性的容灾系统。通过分阶段进行容灾系统的建设，使容灾系统在长远上符合住房公积金业务的发展，实现公积金管理能力的提升，业务可持续运行能力的升级，逐步建成一套高效的、安全的、能为信息系统提供7×24小时运行的容灾系统。

（三）提升公积金硬件平台的可扩展性。容灾系统是一个高起点和高技术含量的系统，系统设计思路要符合中心实际情况，将来通过对同城容灾、同城容灾性能扩展以及异地容灾的三者结合，提高公积金信息系统可持续运行能力，确保公积金数据的安全，使住房公积金信息化水平更上一层楼。

三、容灾系统的构建和功能

中心的容灾建设我们将分二步走：第一步是建设同城容灾；第二步是建设异地容灾。

（一）同城容灾（双机热备）建设

同城容灾方案将采用数据镜像同步读写技术进行架构。使核心业务数据能够实时写入生产中心和容灾中心，保障生产中心和容灾中心数据完全一致性；通过采用容灾软件的快照技术，在容灾中心创建统计查询库并定期将数据从生产数据库同步到统计查询库，从而对外提供统计查询等辅助服务，减少大查询对业务生产库的影响，提高设备利用率。中心同城容灾示意图如下：

1、新增设备及用途

新购1台高性能小型机，配置为8路CPU、32G内存，作为中心主业务数据库服务器，原IBM小型机做为容灾中心数据库服务器。

新购1台高性能光纤磁盘阵列，配置16G缓存，15块300G 15000转高速企业级硬盘，作为生产中心主存储设备；将原有的IBM DS4800光纤磁盘阵列作为容灾中心存储设备。

为了实现生产中心和容灾中心的核心业务数据同步，需新购2台SAN交换机，配置级联许可及10公里以上的单模模块，实现SAN交换机之间的互联。另外，将原有的2台SAN交换机增配级联许可及10公里以上的单模模块。将生产中心及容灾中心SAN交换机通过租用的裸光纤级联在一起，组成2台跨长距离的逻辑SAN交换机，从而实现生产中心到容灾中心的SAN网络贯通，确保生产中心和容灾中心的存储设备之间的互联互通。

新购2台千兆网络交换机，配置10公里以上的单模模块，在生产中心的Cisco 4507核心交换机上配置10公里以上的单模模块，实现生产中心和容灾中心的网络互通，以便生产中心和容灾中心的数据库服务器及应用服务器之间可以互相访问。

新购1套容灾软件，实现底层磁盘阵列间数据同步，确保核心业务数据在生产中心和容灾中心同时写入，确保数据安全。通过容灾软件实现核心业务在生产中心和容灾中心的自动切换，提高核心业务系统的高可用性。另外通过容灾软件实现新购小型机与原有小型机同时对外提供服务，生产中心小型机主要对外提供生产服务，容灾中心小型机对外提供统计查询服务。

新购2台负载均衡设备实现应用的高可用性，提升应用系统的处理能力，并提供统一对外的服务地址。

考虑将来业务数据量的增长，原有的虚拟磁带库存储容量不能长期保存业务数据。为了进一步确保核心业务数据安全，在生产中心新增一台大容量虚拟磁带库，配置大容量备份容量，实现核心业务数据的多方式（热备份、逻辑备份）长周期的数据备份及归档。另外将原有的虚拟磁带库移至容灾中心，完成核心业务数据的远程异地备份，提高数据的安全性。

2、网络线路配备

从安全性和高可用性的角度考虑，容灾的线路（裸光纤）应配置4对，分别是2对连接主机房和容灾机房的网络交换机并互为备份；另外2对是连接主机房和容灾机房的SAN交换机，这区域的2对是必不可少的，因为SAN区域需要2对实现MPIO（多路径输入输出）,如采用1对的话，很容易导致两边阵列写不一致，在某种极端情况下，就会导致系统崩溃；如这样就需要做很多手工的恢复工作，才能恢复数据库的运行，而且这样还存在数据丢失的风险。综上所述从经济性和实用性的角度考虑，容灾的线路（裸光纤）至少应配置4对。

3、机房和机柜的选择

考虑投资成本的问题，所以同城容灾在机房的选择上，距离应在20公里以内，从裸纤的传输速度测算下来（理想状态下），每秒的I/O是在30个左右，如并发业务量增多，导致延时过大会使得业务处理变慢（裸纤的距离是否能缩短至15公里以内）。

在机柜的配置上有两种方案供我们选择。一是主机房有3台小型机和1台阵列已超过使用年限，如移走这4台设备，可有4个机柜使用，那移2个机柜到容灾机房，容灾机房只需增加一个小型机机柜。二是在容灾机房新增3个机柜（含小型机机柜）。

4、容灾实现方案

利用VERITAS Storage Foundation系列软件的镜像技术，来构建容灾方案。利用VERITAS Storage Foundation的镜像技术构建容灾系统是非常简单的，它只需要将生产中心和灾备中心之间的SAN存储区域网络通过光纤连接起来，建立城域SAN存储网络。然后，可以通过Storage Foundation提供的非常成熟的跨阵列磁盘镜像技术来实现同城容灾了，容灾方案的结构如下图所示：

从镜像原理上讲，在城域SAN存储网络上的两套磁盘系统之间的镜像，和在一个机房内的SAN上的两个磁盘系统之间的镜像并没有任何区别。

利用裸光纤将生产中心和灾备中心的SAN网络连接起来，构成城域SAN网络以后，利用 VERITAS Storage Foundation的先进的逻辑卷管理功能，就可以非常方便的实现生产中心和灾备中心的磁盘系统之间的镜像了。如下图所示。

可以看到，利用VERITAS Storage Foundation，我们可以创建任意一个逻辑卷（Volume）供业务主机使用，实际上是由两个完全对等的，容量相同的磁盘片构成的，两个磁盘片上的数据完全一样，业务主机对该Volume的任意修改，都将同时被写到位于生产中心和灾备中心的两个磁盘系统上。

采用这种方式，生产中心的磁盘阵列与同城容灾中心的磁盘阵列对于两地的主机而言是完全同等的。利用城域SAN存储网络和VERITAS Storage Foundation镜像功能，可以非常轻松的实现数据系统的异地容灾。并且消除了复制技术（无论是同步还是异步）的切换的动作，从而保证零数据损失的实现。

5、容灾实现的功能

一个完整的灾备系统，除了在数据灾难发生时，能够完成灾备的使命，需要考虑灾备系统本身的可维护性和可操作性，以及对系统尽可能快的恢复。当数据系统故障和灾难情况下，Symantec 的远程镜像容灾系统是怎样响应的。

（1）当生产中心磁盘阵列系统故障

生产中心数据系统故障意味着灾难，磁盘故障，链路故障，也就是一切导致主机无法访问生产中心磁盘阵列系统的情况。来看一下容灾方案是如何响应的，见下图：

当生产中心的磁盘系统发生故障（灾难）时，由于同城容灾中心的磁盘是它的镜像，所以操作系统会自动隔离生产中心的磁盘，转而对容灾中心的数据进行访问。从上图我们看到，业务系统可以通过城域SAN网络直接访问灾备中心的磁盘系统的数据，而不需要有任何针对业务系统的动作。也就是说，生产中心磁盘系统的灾难，对业务系统是透明的，应用和数据库不会因为生产中心磁盘系统的故障而停止；更重要的是，因为应用和数据库不会因为灾难而异常中止，从而避免了发生数据库损坏（数据一致性风险）的可能。

（2）当生产中心主机系统故障

生产中心主机故障，或者数据系统的计划内停机时间，导致客户端无法访问生产中心主机情况。看一下容灾方案是如何响应的，见下图：

当生产中心的主机系统时，由于生产中心和容灾中心为热备运行方式，所以双机系统会自动将数据库服务切换到容灾中心主机，转而由容灾中心的主机提供数据库服务器。从上图我们看到，业务系统可以容灾中心的网络系统访问容灾中心主机，从而获取需要的数据并回写业务数据。这个过程对于客户端也是透明的，不需要也不会中断业务系统的正常运行。

（3）灾备中心数据系统故障以及生产中心和灾备中心SAN链路故障

灾备中心数据系统故障，以及生产中心到灾备中心的链路故障，我们都可以把其看成是容灾部分的故障，其原理和后果与生产中的数据系统故障相同。都是导致了镜像的破坏。而后，系统将自动的只与状态健康的磁盘阵列继续工作。整个过程对应用完全透明。

6、容灾故障修复后的恢复（远程镜像快速恢复）

磁盘系统故障修复之后，我们需要尽可能快的将远程镜像系统恢复起来，以确保容灾的功能继续得以实现，但是，如果采用整个镜像完全恢复的话，将会对应用造成性能影响。而VERITAS Storage Foundation提供了DCO+FMR技术，其中DCO是一种针对镜像的Log技术，该技术允许Storage Foundation在镜像链路中断后记录逻辑卷的数据变化情况，以便在镜像链路恢复后，由FMR实现数据的增量恢复。利用VERITAS Storage Foundation 的DCO和FMR技术，可以不仅实现容灾系统的简单维护，同时也能提高容灾系统的恢复速度，提高容灾系统的可管理性和快速恢复能力，从而大大减小对用户应用的影响。

7、配置及费用（预算）

设备名称	配置说明	单 价 （万元RMB）		数量	小 计    （万元RMB）
新购设备
小型机	8路3.5G CPU、32G内存、4块146G硬盘、4个光纤HBA卡接口、6个千兆光纤网络端口（含机柜、HMC）	87		1	87
存储	16G Cache，15块300GB光纤硬盘	60		1	60
SAN交换机	24口SAN交换机，激活16口，级联模块、1个10公里以上长波模块，14个短波模块，10公里以上长距离许可	8		2	16
原SAN交换机 模块扩充	配置级联模块、10公里以上长距离许可、1个10公里以上长波模块	3		2	6
生产中心 主网络交换机	24口千兆电口，4个光纤口，2个10公里以上长波模块	6.5		1	6.5
容灾中心 网络交换机	6口千兆电口，6个光纤口，2个10公里以上长波模块	5.5		1	5.5
容灾软件	2台小型机远程容灾软件，包含生产中心和容灾中心的业务自动切换，数据库快照、快速I/O、自动性能优化，GCO全局容灾控制模块，硬件复制代理等	80		1	80
虚拟磁带库	10TB容量、硬件压缩	21		1	21
备份软件模块升级	新购小型机的备份模块许可，新介质	14		1	14
负载均衡设备	F5负载均衡设备	17		2	34
备份服务器	1颗4核CPU，4G内存，3块146G硬盘，双网口	2		1	2
应用服务器	1颗4核CPU，8G内存，3块146G硬盘，双网口，冗余电源	3		2	6
数据库服务器	2颗4核CPU，16G内存，3块300G硬盘，双网口，冗余电源	4.5		1	4.5
原设备维保	07年以前采购的IBM P570小型机、DS 4800磁盘阵列、2台SAN交换机、网络交换机等一年维保服务	17		1	17
合计					359.5
其他费用
光纤线路租用费（裸光纤四对一年租用费用）

（二）同城容灾扩展

综合考虑将来业务发展的需要，我们将在“十二五”规划期间对容灾系统进行扩展，可以逐步实现在生产中心机房增配一台小型机、网络交换机以及部分PC服务器，从而实现生产中心两台小型机作为主业务生产库，而容灾中心的小型机、PC服务器以及磁盘阵列等作为应用级容灾系统，实现在生产中心灾难后，迅速接管生产中心业务，对外提供服务。

新购1台小型机，其中1台高性能小型机配置8路CPU、32G内存，为生产中心新增一台数据库服务器。通过容灾软件实现底层磁盘阵列间数据同步，确保核心业务数据在生产点和容灾点同时写入，确保数据安全。另外将新购小型机放置在生产机房，通过容灾软件实现生产中心两台小型机的并发处理，做成Oracle RAC双机系统，同时对外提供服务。考虑业务处理类型不一样，可以将其中一个实例作为日常业务处理，另外一个实例作为统计查询处理，从而大幅度提升核心业务系统的能力，保障两台数据库服务器都能同时对外提供服务。同时任何一台服务器出现故障后都不会影响业务系统运行，真正做到零业务停止。如下图：

（三）异地容灾

1、远程异地容灾概述

上述容灾方案是针对距离不超过20公里的同城异地容灾，针对距离超过20公里的远程容灾是无法采用镜像容灾方式的，是因为有多方面的因素影响：一是投资成本过大，一般只有银行和移动行业采用；二是网络环境的影响，因距离长的原因在数据传输的过程中产生较长的延时，影响业务的交易时间；三是这样的系统管理和维护非常的困难，需要大量专业人员。所以我们采用数据复制技术中的异步复制来实现，它的作用一是是在进行业务数据容灾复制时，对生产系统影响会很小；二是能保证两端的数据一致，但存在一定的滞后。中心远程异地容灾方案示意图如下：

上述方案中的小机、存储等设备配置不变，需要增加远程容灾复制软件，并租用长途通讯线路，线路带宽建议尽可能的大，使容灾数据滞后时间越短。

2、网络线路配备

从安全性和高可用性的角度考虑，异地容灾的线路（光纤线路）应配置2对， 这2对连接主机房和异地容灾机房的网络交换机并互为备份；综上所述从经济性和实用性的角度考虑，异地容灾的线路（光纤线路）可配置1对。

3、机房的选择

考虑投资成本的问题，所以异地容灾在机房的选择上，距离应在100公里以内。