肇庆公积金管理中心灾备系统采用EonStor DS存储实现故障自动秒级切换

　　项目背景：
　　金保工程是利用先进的信息技术，以中央、省、市三级网络为依托，涵盖县、乡等基层机构，支持劳动和社会保障业务经办、公共服务、公基金监管和宏观决策等核心应用，覆盖全国的统一的劳动和社会保障电子政务工程。
　　信息技术的快速发展和社会信息化建设力度的不断增强，对信息数据的完整性和系统运行的持续性提出了更为严格的要求。信息数据海量增长、信息系统支撑的业务高度集中和信息存储网络化不但使得信息数据的重要性日益凸显，同时也加大了各类风险的发生概率和信息资产的脆弱程度。一旦遭受水灾、火灾、地震、战争、恐怖袭击等大型灾难，正常社会秩序受到冲击，各种矛盾和冲突必将产生，后果严重，比如经济损失、社会动荡、政府失效等。对于公众机构，如何在威胁面前保护信息化的资产，提供不间断的政府服务是当局者需认真考虑的问题。近几年，随着我国金保信息化工作的深入开展，主要核心业务系统已经逐渐实现省级集中。如何保障省级数据中心持续、稳定运行已经引起高度关注，容灾备份建设已经成为当前金保信息化的重点工作之一。
　　系统现状分析
　　金保工程--公积金业务系统是利用先进的信息技术，以中央、省、市三级网络为依托，涵盖县、乡等基层机构，支持劳动和社会保障业务经办、公共服务、基金监管和宏观决策等核心应用，覆盖全国的统一的劳动和社会保障电子政务工程。
　　肇庆市的公积金系统运行在两台IBM AIX小型机上，两台IBM小型机组建成IBM DB2负载均衡式集群，后端连接IBM DS5020专业级磁盘阵列，磁盘共配置16块600GB SAS 磁盘，通过8G的光纤主机通道连入上层冗余FC交换机，IBM AIX小型机应用服务器使用WEBLOGIC中间件。
　　在数据离线保护上采用IBM TSM连接IBM物理磁带库实现数据的离线保存。

　　为保障肇庆市金保系统持续稳定运行，有效地保护重要的业务数据，提高信息系统应对灾难和风险的能力，化解数据集中带来的数据安全风险和业务运行风险，本方案将在肇庆市建设两套统一的异地灾备中心。
　　针对公积金业务系统可能存在的风险因素，通过对公积金业务系统过去十年来主要停机事故的故障调研分析，公积金业务系统主要灾难类型分布比例，如下图所示：

　　在上图各项主要灾难类型中，数据库故障、软件故障、应用故障、网络等技术类故障导致的风险成为公积金业务系统的首要抵御目标，而自然灾害、社会动乱和恐怖活动等大型灾难类型尽管发生概率很低，但鉴于其对正常运营和社会影响范围极大。因此也是金保系统需要重点防范的灾难风险类型。
　　从灾难发生的可控度分析，90%的灾难通过完备的事前灾难预防和完善的容灾项目实施，都能得到有效控制，10%的事件由于导致灾难发生的主观性、低概率和非预见性，成为整个系统内数据安全和业务保障的不可控因素。因此，在灾备中心的规划和建设过程中，应在全面分析考虑灾难类型基础上，加强对各类灾难风险的针对性防范工作。
　　面临挑战
　　一、信息系统的可靠性需要从主机，网络，存储多个层面综合保障。现有的公积金管理系统在业务层借助于两台IBM AIX平台集群来实现业务的不停机运行；在链路上借助于冗余FC交换机来实现访问路径的切换和接管，FC交换机后端通过8G的光纤主机通道连接后端的IBM DS5020光纤存储，IBM AIX、FC交换机和IBM DS5020形成了典型的SAN网络。公积金应用层业务系统和链路已实现一对一冗余，可实现自动的故障转移，但后端只有一台IBM DS5020，在线生产数据只有一份，一旦IBM DS5020出现软件或硬件故障时极有可能导致公积金数据不完整甚至是数据丢失。
　　二、现有的公积金管理中心的核心数据存入IBM DS5020在线存储，借助于IBM TSM灾备平台将数据定时的归档至IBM磁带库中，一旦公积金数据遭到病毒破坏或人为误操作时，需要花费大量的时间从IBM磁带库中恢复数据，IBM DS5020中的数据类型属结构化数据（DB2)，结构化数据表与表之间联系紧密，从IBM 磁带库中恢复的数据是否能用将很难叛定。
　　三、公积金管理中心现有的IBM TSM灾备方式采用定时备份，一量数据遭到逻辑故障时，RPO难以保障，直接将丢失公积金数据。
　　四、现有的公积金管理系统缺乏对数据安全备份、恢复、应急事件处理等工作的规范和规章制度,缺少紧急事件应急响应预案，缺乏演练和面对紧急事件时缺乏经验；
　　解决方案
　　肇庆市公积金管理中心解决方案拓扑：

　　该规划方案立足于肇庆市公积金管理中心信息系统基础架构规划与实践，着眼于公积金管理中心数据安全、存储级容灾和数据级异地容灾三大主题，本方案按照功能实现，将整个规划方案分成三大模块模块：
　　u数据存储层
　　数据安全是肇庆市公积金管理中心的方案设计基础，磁盘阵列直接承载着数据不丢失的安全，在本方案中利旧现有的IBM DS5020磁盘阵列，在不改变现有FC-SAN网络架构及应用环境的情况下，以旁路方式增加一台Infortrend DS3016高性能磁盘阵列和Infortrend SMA容错存储引擎为肇庆市公积金管理中心打造核心数据集中存储、存储级HA整合方案。
　　借助于Infortrend DS3016专业级磁盘阵列来保障数据安全，通过Infortrend DS3016存储系统实现公积金业务数据的统一存储，Infortrend DS3016是Infortrend针对核心业务系统推出的企业级FC-SAN/IP-SAN存储系统，它融入了8Gb光纤/1G ISCSI、硬件级校验芯片、CacheSafe、全冗余控制器设计等优势技术，借助于这些优势技术为肇庆市公积金管理中心核心业务数据中心提供高可靠、高性能的数据存储服务。
　　u存储容错---Infortrend SMA存储级容错引擎
　　信息系统的可靠性需要从主机，网络，存储多个层面综合保障。传统的解决方案中，通过全冗余SAN交换机配置解决链路和网络层的可靠性问题；通过集群软件保障业务层的可靠性和业务连续；在存储的容错上，本期采用Infortrend SMA存储容错网关来实现存储级容灾。针对存储系统的单点故障，Infortrend SMA容错存储系统正是迎合市场需求，为消除存储设备单点故障打造的全新解决方案。Infortrend SMA实现了存储级的HA，它可管理后端磁盘阵列系统，并能够在两套存储间自动进行持续数据复制，实现存储镜像及数据的实时同步。
　　在肇庆市公积金管理中心数据中心机房部署一套Infortrend SMA存储容灾设备，Infortrend SMA存储容错模块通过存储引擎和统一的LUN分别管理两套独立的IBM DS5020和Infortrend DS3016存储系统，两套存储系统的存储空间经FC通道MAP给Infortrend SMA容错引擎。实现任何一端存储故障或SMA引擎故障都将实现‘秒’级切换和自动接管。
　　故障模拟：
　　当一台IBM DS5020存储系统出现软件或硬件故障时，另一套Infortrend DS3016镜像存储作为主存储将直接对外提供服务，两套存储间的切换时间完全基于秒级自动完成，对公积金应用来讲完全透明，没有任何停机或延时情况出现。
　　待IBM DS5020故障存储设备维修完毕，Infortrend SMA将通过反向同步技术将数据从Infortrend DS3016自动回滚数据至IBM DS5020存储，以此实现两台存储数据同步状态。Infortrend SMA高可用存储使数据实现多重在线保险，业务连续性有了切实保障。
　　在应对公积金业务系统读取访问时，Infortrend SMA将需要处理的IO自动的分发给后台的IBM和Infortrend两组MIRROR存储，两份数据同时读取，读取性能呈一倍提升。

　　对于上层公积金应用服务器和数据库等业务系统而言，后端的IBM和Infortrend两台存储系统列表现为一个具有冗余路径的标准SCSI存储卷，可基于该卷部署卷管理及双机系统，在主存储节点完全瘫痪时，部署在IBM AIX服务器上的多路径程序会自动将数据访问路径导向备用存储节点，从而保障业务系统可持续访问存储设备。
　　通过Infortrend SMA解决方案的部署，主机、网络和存储之间构成了端到端的全冗余配置，即使主存储完全瘫痪，也不会影响前端业务,实现了最大的业务连续性保障。
　　u数据级异地容灾
　　当硬件问题、配置改变、应用程序故障、病毒攻击或是恶意黑客攻击，都可以使企业的服务器瘫痪。那么至关重要的问题是在业务受到影响之前有多少时间来恢复数据与应用程序，传统的方法可能需要几个小时到几天来恢复服务器。
　　新增一台DELL R420机架式服务器，在DELL R420服务器上部署CommVault备份软件，在需要保护的IBM AIX服务器上安装CommVault备份软件代理客户端，通过代理客户端与备份服务器建立连接。

　　数据恢复过程
　　在CommVault的备份服务器上设定针对AIX中DB2要保护的数据和应用制定保护策略，可选择定时或实时的方式将数据备份至DELL R420中，当业务数据出现逻辑故障时，可利用备份的数据副本对数据进行快速恢复。
　　数据异地级容灾以本地容灾为基础，借助于公积金管理中心的DELL R420备份服务器中的介质同步代理技术实时的将本地数据容灾至异地。在数据异地容灾平台上，可根据两地间链路的带宽和每天平均增量数据的大小来选择调整数据压缩率或去重技术的启动。
　　客户收益
　　通过建立完整的备份系统，为肇庆市公积金管理平台提供一个领先的备份与恢复及服务整合方案，将为用户带来如下的利益：
　　1.风险最小化－通过采用高可用性容灾技术和完善的人员组织建设和培训，以及周密的流程设计和测试演练，建立起一套可行的灾难恢复流程，最大限度的降低突发性灾难对您关键业务环境的影响。
　　2.投资回报最大化－Infortrend公司高可用性项目管理专家丰富的知识和经验，结合广泛验证的方法和设计技术将大大缩短实现容灾方案的时间，降低方案实施过程中对现有业务系统的影响。
　　3.改善性能－通过全面而客户化的系统配置和灾难恢复流程文档以及有针对性的知识移交过程，确保您的IT支持人员能在方案实施结束后对整个容灾系统进行有效管理。
　　4.增加灵活性－Infortrend公司还提供后期的关键业务容灾系统的支持服务，提供包括快速响应，及时修复等针对容灾设备的支持，还可以提供定期的容灾系统评估和灾难恢复演习的服务，确保客户的容灾系统可以随时待命，并且恢复流程切实可行。