省院容灾备份建设方案 - 图文

浙江省检察机关数据容灾

备份系统建设方案

（征求意见稿）

浙江省人民检察院 二〇一〇年五月

容灾方案 目 录 第 1 部分 方案概述 ...........................................................................................................1

1.1 总体目标 .................................................................................................................... 1 1.2 设计原则和注意事项 .................................................................................................. 1

第 2 部分 容灾系统相关概念和技术分析 .......................................................................3

2.1 容灾系统的相关定义 .................................................................................................. 3 2.2 容灾方式等级划分 ...................................................................................................... 5 2.3 RTO/RPO与灾难恢复能力等级的关系 ......................................................................... 6 2.4 容灾系统技术介绍 ...................................................................................................... 6

2.4.1 数据的远程备份 ................................................................................................ 6 2.4.2 数据的远程复制 ................................................................................................ 7 2.4.3 基于数据库本身的容灾方式 ............................................................................ 10 2.4.4 各种主流容灾技术对比 ................................................................................... 11

第 3 部分 系统现状分析及容灾方式选择 .....................................................................13

3.1 系统现状分析和建设目标 ......................................................................................... 13 3.2 容灾方式选择 ........................................................................................................... 15 3.3 数据容灾技术选型 .................................................................................................... 15

3.3.1 省院数据容灾技术选型 ................................................................................... 15 3.3.2 市、县级数据容灾技术选型 ............................................................................ 16

第 4 部分 容灾备份方案设计 .........................................................................................17

4.1 总体框架 .................................................................................................................. 17 4.2 省院数据容灾方案 .................................................................................................... 19

4.2.1 省院数据容灾方案需要考虑以下几点： ........................................................... 19 4.2.2 省院数据容灾方案框架 ................................................................................... 19 4.2.3 灾难发生时的数据恢复 ................................................................................... 20 4.2.4 方案特点和技术优势 ....................................................................................... 23 4.2.5 省院数据容灾的软硬件配置 ............................................................................ 29 4.3 市、县（区）院数据容灾方案 .................................................................................. 31

4.3.1 市、县（区）数据容灾方案需要考虑以下几点： ............................................. 31 4.3.2 数据容灾CDP方案 ......................................................................................... 31 4.3.3 数据容灾远程备份方案 ................................................................................... 34 4.3.4 NAS备份方案 ................................................................................................. 37 4.4 市县容灾方案对比 .................................................................................................... 38

第 5 部分 容灾系统管理规范 .........................................................................................40

5.1 容灾系统组织 ........................................................................................................... 40 5.2 容灾系统人员的管理 ................................................................................................ 40 5.3 容灾系统日常演习 .................................................................................................... 41

5.3.1 准备演习测试 ................................................................................................. 41 5.3.2 执行恢复演习 ................................................................................................. 41 5.3.3 恢复测试之后 ................................................................................................. 41

附件 软硬件配套预算 .......................................................................................................42

容灾方案 1、省院容灾方案软硬件配套 .......................................................................................... 42 2、市院容灾方案软硬件配套 .......................................................................................... 42

容灾方案概述 第 1 部分 方案概述

1.1 总体目标

本方案从我省检察系统信息化发展现状和数据存储情况的实际出发，采用成熟、稳定的数据保护技术和可靠的软硬件设备，建立覆盖省、市、县（区）三级检察院的数据灾难备份系统。形成各县（区）院数据到市院的数据备份，各市院数据到省院的远程备份。而集中在省院的数据，将统一容灾到异地的灾备机房中，确保重要数据（包括核心应用系统和其它应用系统业务数据、应用程序及相关文档等）异地存储备份的完整安全。一旦任何一地的业务数据发生数据灾难（包含硬件故障和人为误操作或病毒等导致的软故障），均可从备份在异地的存储设备上实现数据的快速恢复，最大限度降低灾难发生所造成的影响。

总体方案遵循中华人民共和国国家标准(GB/T 20988-2007）,《信息安全技术—信息系统灾难恢复规范》的要求，数据备份系统的灾难恢复能力可以达到RPO小于1小时；RTO小于3小时，属准应用级。

1.2 设计原则和注意事项

容灾备份系统的设计应能满足各级检察院业务中长期的发展需要并应具备良好的扩展能力以适应未来的业务发展需要。基于近年来业务的快速发展及对未来业务增长的预测，系统设计充分考虑前瞻性和可扩充性。具体设计原则如下：

1. 技术实用性与成熟性

使用业界成熟和实用的各种备份与恢复技术保障业务数据及基础设施在灾难后的迅速恢复。使用成熟的数据备份介质且应保障其容易使用，如磁带磁盘阵列等。产品在市场上已经得到广泛应用。

2. 技术先进性与扩展性

采用存储业界先进的多平台互操作的共享存储技术支持关键业务应用系统的灾备中心。新增设备应具有较强的扩展性，能够提供灵活、多样的扩展能力。

1

容灾方案概述 3. 技术的开放性与标准化

采用开放的技术标准和协议支持整个容灾系统的运行。允许系统中兼容不同厂商的产品。而且随着业务应用系统的功能逐渐扩充和数据量的增加，可以更加容易地实现容灾系统的扩充。

4. 技术的可靠性与管理性

可靠的技术能力和手段是容灾系统正常高效运行的保证与基础，省院、市院及县（区）院承载着关键业务，无论是对业务系统的运行还是业务数据的存储，都有着高可靠性的严格要求，数据存储系统须采用国际知名品牌，具备稳定可靠的质量，并具有内部关键部件冗余、多种RAID功能保护等技术特性。为尽量减少维护管理的压力、降低维护管理成本，采用易于管理、具备智能化和自动化特点的产品。

容灾系统是一项系统工程。在建立一个较为完善的容灾系统之前，首先要进行全面的系统分析，尤其要注意以下事项：

5. 统一规划、分步实施

统一制定全省容灾备份方案，规范行为，合理布局，减少不必要的重复建设，优化资源配置。灾备中心建设是一项不断发展、不断进步的系统工程。采用分步实施、突出重点的建设原则。在规划和实施时，坚持先进性、经济性、实用性，正确处理好局部和整体、眼前和未来之间的关系。

2

概念和技术分析 容灾系统相关概念和技术分析

1.3 容灾系统的相关定义

从广义上讲，任何提高系统可用性的努力，都可称之为容灾。

本地容灾，就是主机集群，当某台主机出现故障，不能正常工作时，其他的主机可以替代该主机，继续进行正常的工作。

异地容灾，是指在与生产机房有一定距离的异地建立与生产机房类似的信息平台（备份中心），并采用特定的技术将生产中心的数据传输到该备份中心，从而在生产中心发生较大的灾难如火灾或地震等，仍能对生产数据进行保护的容灾系统。

平时讲到的容灾，尤其是值得重视的容灾，一般都是指远程异地容灾。 一个容灾系统的实现可以采用不同的技术，而容灾系统的划分，由其最终要达到的效果来决定。从其对系统的保护程度来分，可以将容灾系统分为：数据容灾和应用容灾。

数据容灾，就是指建立一个异地的数据系统，该系统是本地关键应用数据的一个复制。在本地数据及整个应用系统出现灾难时，系统至少在异地保存有一份可用的关键业务的数据。该数据可以是与本地生产数据的完全实时复制，也可以比本地数据略微落后，但一定是可用的。

应用容灾，是在数据容灾的基础上，在异地建立一套完整的与本地生产系统相当的备份应用系统（可以是互为备份）。建立这样一个系统是相对比较复杂的，不仅需要一份可用的数据复制，还要有包括网络、主机、应用、甚至IP等资源，以及各资源之间的良好协调。

衡量数据保护性能的指标

RTO

RTO，Recovery Time Objective，是指灾难发生后，从应用服务器系统业务停顿之刻开始到应用服务器恢复业务之时，此两点之间的时间段称为RTO，如下图所示。

3

概念和技术分析 RTO是衡量容灾方案恢复能力的指标。一般而言，RTO 时间越短，即意味要求在更短的时间内恢复至可使用状态。虽然从管理的角度而言，RTO 时间越短越好，但是，这同时也意味着需要投入大量的资金，购买更高性能的设备和高可用性软件，以及部署专用的高速网络。

RPO

RPO，Recovery Point Objective，是指从数据可用性而言，应用服务器恢复业务需要的数据的时间点，和发生灾难的时间点之间的时间段。换而言之，企业可以接受多长时间的数据丢失。如下图所示。

RPO是衡量灾备中心与生产中心数据一致性的指标。在同步方式下，RPO等于数据传输时延的时间，在异步方式下，RPO基本为异步传输数据排队的时间。实际应用中，考虑到数据传输因素，业务数据库与容灾备份数据库的一致性（SCN）是不相同的，RPO表示业务数据库与容灾备份数据库的SCN的时间差。发生灾难后，启动容灾系统完成数据恢复，RPO就是新恢复业务系统的数据损失量。

因此，在容灾系统中，不仅仅要求在异地有一份数据拷贝，同时必须保证异地数据的完整性、可用性。

容灾半径

容灾半径是衡量容灾方案所能承受的灾难影响范围的一个指标。不同灾难的影响范围是不同的，而距离也会影响到容灾技术的选择，如下图所示。

4

概念和技术分析 1.4 容灾方式等级划分

按照国际标准化组织的定义，容灾方式按投资成本与恢复所需时间的不同，划分为不同的等级，详细情况如下图所示：

业 务 恢 复Tier 6 - 零数据丢失 远程磁盘镜像与自动切换热专用远程热备份中心设 施 投 资Tier 5 - 两阶段确认Tier 4 - 批量/在线数据库镜像与日志Tier 3 电子链接Tier 2 - PTAM&热备份中心暖激活的备用中心温冷Tier 0 -无异地备份定时备份15分钟1-2小时6-12小时12-24小时24小时数天Tier 1 - PTAM永远不能恢 复 所 需 时 间

容灾方式等级划分示意图

Tier 0 - 没有异地数据：

Tier 1 - PTAM 运送访问方式（Pickup Truck Access Method）： 数据介质转移（异地存放、安全保管、定期更新）。

Tier 2 - PTAM 运送访问方式 + 热备份中心（PTAM + Hot Site）：

备用场地支持（异地介质存放、系统硬件网络可调）。

Tier 3 - 电子链接 Electronic Vaulting方式（远程备份）：

电子传送和部分设备支持（网络传送、、磁盘镜像复制）。

Tier 4 - 批量/在线数据库镜像与日志：

电子传送和完整设备支持（网络传送、网络与系统就绪）。

Tier 5 – 两个中心之间的两阶段确认（数据实时备份即数据复制）：

实时数据传送及完整设备支持（关键数据实时复制、网络系统就绪、人机切换）。

Tier 6 - 0 数据远程复制+自动切换（广域网集群）：

数据零丢失和远程（在线实时镜像、作业动态分配、实时 无缝切换）。

5

概念和技术分析 采用哪一种容灾方式除了考虑实施成本外，还必需考虑应用系统对灾难恢复时间的容忍度、业务系统中数据改变的特点。

1.5 RTO/RPO与灾难恢复能力等级的关系

灾难恢复能力等级 1 2 3 4 5 6 2天以上 24小时以后 12小时以上 数小时至2天 数分钟至2天 数分钟 RTO 1天至7天 1天至7天 数小时至1天 数小时至1天 0至30分钟 0 RPO 1.6 容灾系统技术介绍

主流容灾系统有以下几种技术类型：数据的远程备份、数据的远程复制、基于数据库本身的容灾技术。

1.6.1 数据的远程备份

数据的远程集中备份是指各个生产站点的数据在灾备中心完成备份，这样可以在本地的主站点遭到灾难性的损坏以后，能够通过远端的备份进行数据的恢复，起到了灾难备份的作用。两个中心的数据实现异地备份，能够基本满足用户对数据安全性、可靠性的要求。

数据的远程备份可以使用在专网上使用备份软件做基于策略的备份方式（TIER3类型的容灾方式），也可以使用本地备份出库运送到灾备中心的方式（TIER1、2类型的容灾方式）。

该种方式的缺陷是：

? 人工成本高

6

概念和技术分析 ? 恢复时间漫长 ? 恢复可靠性无法保障

1.6.2 数据的远程复制

数据的远程复制根据时间性可以分为同步复制方式和异步复制方式。 同步复制方式

同步技术的优点是没有任何数据丢失，因为其原理是任何一个用于新增或更改数据的I/O操作都需要在两端（本地和异地）得到确认后方可结束。所以，当两地距离较远或数据传输链路不畅时，会对前端应用的性能造成影响。

异步复制方式

异步容灾技术的优点是对应用没有任何影响，但也有其不足，其不足在于，异地灾备中心的数据会相对滞后（秒级或分钟级）。因为在异步的工作方式下，本地的用于新增或更改数据的I/O操作在得到本地确认后即认为结束，然后再向异地进行传输。

数据的远程复制根据实现原理的不同可以分为基于硬件的复制方式、基于软件的复制方式和基于存储网络的复制方式。

基于硬件的复制方式（也称存储型远程容灾）

基于硬件的容灾原理是：基于高端阵列的技术，在光纤环境下，以同步的方式，以变更的数据块为单位复制到异地灾备中心的同品牌、高等级的阵列中，适合于近距离光纤环境的容灾。（可以做到Tier6级别容灾方式）

基于硬件的容灾技术对存储设备和复制链路有如下的要求：

? 使用基于硬件的容灾，则需从同一厂商处采购多套高端存储阵列。

7

概念和技术分析 ? 在远程容灾的架构中，即便考虑到基建成本，仍需要使用光纤与IP

链路相结合的方式。（在远程中第一段近距离的复制需要光纤通道） ? 具体要租用的IP网络带宽需要在进一步确认应用的I/O变化量后方

可得出结论，但采用基于硬件的容灾方案，要考虑到其需要较大的带宽。（因为其复制以数据块为单位，其中包含了部分未变化的数据）

? 传输带宽占用高缺少数据库的支持，存在数据库无法立即启动风险 ? 需要加接远程传输设备 ? 无法恢复历史数据

基于软件的复制方式（也称主机型远程容灾）

基于软件的容灾技术原理是：通过卷管理的机制，在本地捕获I/O，并以I/O为单位，在确保传输顺序（数据一致性的重要体现）的前提下，以同步或异步的方式，实时的复制到异地灾备中心。（可以做到Tier6级别容灾方式）

基于软件的容灾技术对存储设备和复制链路有如下要求：

? 使用基于软件的容灾，本地仍建议采用著名存储设备厂商的高端阵

列（为了应用在本地运行时的性能），而在异地灾备中心可以考虑使用原有的或从任何厂商处新购相对低端的阵列（因为发生灾难的可能性毕竟很小，所以在发生灾难的特殊时期，只要应用可用即可，对应用的性能可以放在次要地位，当然，如果预算充足，异地可以使用来自任何厂商的高端存储设备，不要求两地的存储来自一家厂商）

? 在远程容灾的架构中，考虑到基建成本，建议从电信租用IP链路。

8

概念和技术分析 ? 具体要租用的网络带宽需要在进一步确认应用的I/O变化量后方可

得出结论。

? 需要特定的主机层软件实现，增加生产主机开销 ? 无法恢复历史数据 ? 维护过程复杂

? 采用基于软件的容灾方案，相对硬件方案而言，其需要的带宽较小。

（因为其只复制精确的数据变化）

基于存储网络的复制方式（CDP容灾方式）

一种网络存储型远程容灾架构，是在前端应用服务器与后端存储系统之间的存储区域网络（SAN），加入一层存储网关，这个网关和我们所了解的网络网关不同，它前端连接服务器主机，后端连接存储设备。它的角色就好像是存储网络中的交通警察，所有的I/O都交由它来控制管理。最典型的为旁路（side-band）控制方式，对于I/O流量进行旁路监控和分流，实现异地数据复制。（最高也可以做到Tier6级别的容灾方式）

由于数据复制是通过存储网关来执行，应用服务器只需数据库执行代理程序，相对于主机型远程容灾来说，它的性能影响十分低。另外，通过存储网关的虚拟化技术，可以整合前端异构平台的服务器和后端不同品牌的存储设备，本地端和灾备端的设备无需成对配置，用户可以根据RTO和RPO，在远端建立完整的热备份中心。当本地端发生灾难时立即接管业务运行，或是采取仅在灾备端安装存储设备的温站配置，先保护数据的完整性和安全性，在本地端修复完成后再进行恢复。

9

概念和技术分析 基于CDP的容灾技术有如下特点：

? 成熟的存储虚拟化技术

? 复制的数据量小，应基于I/O，而非数据块。 ? 支持同步与异步复制。

? 支持一对一、一对多、多对一的复制。 ? 支持同步、异步复制的自动转换。

? 该技术与复制的数据形式无关（支持任何数据库），在任何方式下

都能确保数据的一致性。

? 数据复制的方向是双向、可逆的。

? 容灾不依赖于具体的硬件存储设备，本地和异地可以使用不同厂商

的设备，这样可以避免绑定在一家公司。

? 容灾的实现方式于容灾的距离无关（0－20000KM），无论距离多远，

在本地和异地中不需要中转的存储设备。

? 建立远程（尤其在超过城域的距离时）灾备架构时，使用的存储容

量小。（包括本地和异地，共只需两份容量的存储）。 ? 特有的精简式传输技术，传输带宽精简。 ? 随时进行灾备演练。

1.6.3 基于数据库本身的容灾方式

部分数据库软件厂商和数据库的优化软件供应商提供了基于数据库的容灾技术，基于数据库的容灾技术与基于数据复制的容灾技术有较大的差别，基于数据库的容灾技术传输的是SQL指令或者重作日志文件，在新数据没有被业务系统写入存储子系统前，就被指定发送到异地备份中心的数据库进行相关处理。

数据库容灾备份方案采用异步传输方式，支持一个业务中心向多个备份中心的数据库进行复制的要求，或者多个业务中心向一个备份中心复制的要求。数据库容灾备份方案与存储子系统的类型、业务系统服务器的平台无关，与数据库的版本有一定关系，数据库容灾解决方案具有较好的使用灵活性。数据库容灾技术只能作为数据库应用的容灾解决方案，如果需要其它非结构数据的容

10

概念和技术分析 灾，还需要其它容灾备份方案作为补充。

基于数据库自身的容灾方式有如下特点：

? 维护较复杂，对用户自身技术水平要求较高 ? 灾备站点发生故障有可能影响主站点 ? 对主站点和灾备站点之间链路要求高

1.6.4 各种主流容灾技术对比

技术架构 主机型容灾 阵列型容灾 CDP容灾 数据库容灾 基于主机的软基于存储的硬基于存储网络基于数据库自件复制 件复制 的数据复制 身 服务器类型限两端主机类型容灾中心可以无任何限制，两端主机类型制 需要一致 无主机 PC架构可以需要一致 基于虚拟机 本地/远程存储可以不同 可以不相同 两端必须同品可以不同 牌存储 系统资源占用最优容灾模式小于1% 对生产主机性能影响巨大 支持随时随地恢复演练过程恢复演练需要可以基于虚拟恢复演练困难 的恢复演练 中需要暂停容主机环境配合 灾配置 机环境做恢复演练。 可以不同 不影响生产主对生产主机性无影响 机性能 能有一定影响 11

概念和技术分析 网络带宽优化 无，对带宽要求无，对带宽要求特有精简式传无，最优模式下较高 十分苛刻 无 输技术 对带宽要求高 数据压缩加密无 功能 有，可以保证无 数据传送过程中不被窃取 多对一的异地无 容灾架构 快速数据恢复 可以 无 有 无 当容灾端配成支持 应用级容灾时支持 支持 版本管理防范不支持 逻辑数据损坏 后期操作维护

难 不支持 支持 不支持 中等 简单 难 12

容灾方案设计 第 2 部分 系统现状分析及容灾方式选择

2.1 系统现状分析和建设目标

省院业务系统现状

省院主要业务系统共有一台HP小型机、13台PC Server（IBM服务器为主，并有6台服务器装有HBA连接SAN存储）。其中HP小型机上运行oracle数据库、10台PC上运行SQL2000、1台PC运行notes。

省院现有备份系统为veritas备份软件和IBM 4300存储，本地备份数据保存在IBM 4300存储上。IBM4300存储可用空间为2.5TB，其中1.2T左右空间作为备份存储空间。

省检察院另有一台H3C EX1000系列IP存储，空间为5TB，其中2TB作为全院每个员工的桌面备份空间。

内部局域网： 网络空闲的时间 与下属各级检察院之间网络 重要主机设备型号 重要主机操作系统及版本号 数据存储结构 百兆、千兆 非上班时间段 专网，带宽目前4MB/S，将扩容到10MB/S，无法保证与各级检察院之间的I/O低延时 HP小型机一台 其他为PC server HP UNIX 10、 windows2000、windows2003 大部分数据存在本机硬盘（磁盘阵列） HP小型机和部分PC Server接入存储局域网（SAN） 主要业务系统数据库 现有的数据保护方式 需要容灾保护的业务系统 业务保护级别 RPO<1小时；RTO<3小时 准应用级 Oracle、sql2000、notes 主要是依靠备份软件，每天进行一次数据备份 数据库系统的保护、操作系统的保护、文件类型的保护

各市院业务系统现状

13

容灾方案设计 全省十一个市院有5个已建立重要数据备份系统，6个未建立任何备份系统，十一个市院均未建设异地容灾系统。

内部局域网： 网络空闲的时间 与上级检察院之间网络 百兆、千兆 非上班时间段 专网，4-10MB/s无法保证与上级检察院之间的I/O低延时 各个市级检察院只和省检察院直接相连 由于所有的市检察院必须通过省检察院的专网链路才能连接到省容灾中心。 重要主机设备型号 重要主机操作系统及版本号 数据存储结构 现有的数据保护方式 大部分数据存在本机硬盘、部分存入磁盘阵列 主要是依靠备份软件或其他方式，每天或几天进行一次数据备份 业务保护级别 数据级容灾保护，RPO 1天到数天 PC server Windows2000、windows2003

数据量统计： 省院： 系统 HP小型机 单项数据量 Oracle数据库在10G左右 一次复制需求量 数据盘和系统盘共约20G PC服务器 每个PC数据库在150G左右。 13台PC数据盘和系统盘、系统文件在10G左右、其他数据共约2.6T 40G。 由上表可以得出省院对业务系统的数据盘和系统盘做一次数据复制大约需要2.6T空间。

市院：

每个市院按8-10台服务器、每台服务器30G的数据量计算，共240-300GB，每日变化量不大。11个市院共计3.3.T。

14

容灾方案设计 每个县（区）院按3-5台服务器、每台服务器10G的数据量计算，共30-50GB，每日变化量不大。93个县（区）院共计4.6T。

2.2 容灾方式选择

容灾系统各种实现方式 0级 1级、2级 无异地容灾 基于运送访问方式的异地容灾。通过运输工具将备份的磁带运放异地容灾中心。（数据级） 3级、4级 5级 6级 基于电子链路传输数据的异地容灾。（数据级） 两个中心之间做实时数据复制（准应用级） 数据远程复制+自动切换（应用级） 根据上图所示的容灾系统各种实现方式，以及全省各院的实际专网情况，建议使用基于电子链路传输数据的容灾方式，即排除3级以下的容灾方式。

根据容灾系统整体建设目标，再考虑数据量对比和业务系统的重要性，在省院本级的业务系统数据采用5级容灾方式（准应用级），下属各级院采用3级或者4级的容灾方式（数据级）。

建立一个异地的数据灾难备份中心，并通过网络进行数据远程传输，为省院提供准应用级的容灾保护。在省院本地数据及整个应用系统出现灾难时，可以从该容灾系统接管故障的业务系统，以最大限度的降低灾难带来的数据损失。

建立一个三级容灾体系，为市院、县（区）院提供数据级的容灾保护。即保证下属各级检察院的重要信息系统至少在异地保存有一份可用的关键业务的数据。在下属各级检察院本地数据及整个应用系统出现灾难时，可以利用该可用数据进行数据恢复，以最大限度的降低灾难带来的数据损失。

2.3 数据容灾技术选型

2.3.1 省院数据容灾技术选型

结合各种容灾技术的对比，省院数据容灾使用CDP（持续数据保护）方

15

容灾方案设计 案。

2.3.2 市、县级数据容灾技术选型

由于市院、县（区）院数据容灾主要是对海量数据做基于数据级的容灾，故我们按照整体容灾体系考虑三种容灾方案供各院选择：（建议选择CDP方案）

1. CDP方案 2. 远程备份方案 3. NAS灾备方案

16

容灾方案设计 第 3 部分 容灾备份方案设计

3.1 总体框架

全省检察系统容灾备份体系框架图：

整个容灾体系包括：

1. 整个体系将数据分为三级：省院数据、市院数据、县（区）院数据。 2. 县（区）院数据通过合适方式传至市院保存，市院数据汇总后灾备至

异地的省院容灾机房。由于下属各级院服务器数量较多、数据量较大，而专线网带宽无法保证如此数量的机房做高级别容灾，故市院、县（区）院的数据推荐采用数据级容灾，只将重要业务数据灾备到省院容灾机房。

3. 省院数据直接传至异地容灾机房灾备。考虑到省院业务的重要性，

以及多为PC服务器架构，推荐使用准应用级容灾。

4. 异地容灾中心应选择离杭州较远的城市，选取符合条件的一个市级

检察院机房作为异地容灾机房（建议建在xx市院）。

17

容灾方案设计

异地容灾机房选择说明：

建议选取一个杭州以外机房条件较好、技术力量较强的市院机房作为容灾中心，理由：1、可以利用现有的市院机房条件；2、省院与市院之间已租用电信专线，只需再增加10M的带宽，无需另行申请专线；3、省院与市院之间已安装有加密机，不需增加加密机就能解决数据在备份过程中的加密问题；4、根据有关异地容灾的标准，建设异地容灾机房的距离应大于100KM。

18

省级数据方案 3.2 省院数据容灾方案

3.2.1 省院数据容灾方案需要考虑以下几点：

1. 对于省院的业务系统做本地准应用容灾和异地的准应用级容灾（异地

需要考虑实际网络情况而定）。

2. 省院自身数据灾备至异地容灾中心，必须保证在异地容灾中心同样

可以做数据恢复。

3. 省院机房现有主机与存储设备之间为SAN架构，部分主机无HBA

卡，需要充分考虑到现有设备的利用。

4. 现有检察专网带宽为4MB/S，将扩充为10MB/S，无法提供较低的I/O

延时。

5. 省院现有多台PC服务器以及一台HP小型机需要接入容灾系统。 6. 省院现有操作系统、文件、以及数据库等多种容灾需求。 7. 有一套完备的应用恢复方案，包括本地与异地机房。

3.2.2 省院数据容灾方案框架

使用基于CDP设备来完成省院数据容灾方案，整体示意图如下：

省检察院现有业务系统数量较多，部分业务系统无法接入SAN网络，并且和异地容灾机房之间的专网I/O延时较大，故基于硬件复制、软件复制或者

19

省级数据方案 数据库自身的容灾均无法独立满足省级数据容灾的建设需求。推荐采用基于存储网络的CDP容灾方案。

省院本地机房所有安有HBA卡的服务器和小型机（一台HP小机，6台PC服务器）通过SAN交换机将数据同步写入CDP、其他没有接入SAN网络的PC 服务器通过本地LAN网络将数据同步写入CDP。通过CDP的数据复制和快照机制，所有本地机房小型机和PC服务器上的数据都会同步存在于本地CDP上（CDP提供系统和数据盘的块级保护）。

本地机房和异地容灾机房之间通过专用网络相连，由于CDP特有精简式传输技术做数据复制，故两台CDP之间的数据基本可以保证高度的数据一致性。本地机房的数据同样在异地机房有一份同样的拷贝，

3.2.3 灾难发生时的数据恢复

当出现故障时，容灾数据恢复和接管示意图如下：

20

省级数据方案

文件丢失或损坏

当发现数据库文件或应用程序文件丢失或损坏时，使用CDP恢复只需要3个步骤大约1分钟的恢复时间。

数据库和应用系统无法正常启动

当数据库或应用系统出现问题无法启动时，可以使用CDP中的逻辑资源或快照进行接管。

21

省级数据方案

硬盘中毒后的接管和恢复

当硬盘中毒但无物理损坏时，也可以使用CDP进行接管和恢复。 硬盘物理损坏的接管和恢复

硬盘故障是一种极为严重的威胁，往往对于业务系统具有致命的杀伤力，经常导致许多业务系统的完全瘫痪，一旦核心的硬盘出现故障， CDP设备会立即接替其运行，应用系统只需等待较短的挂起时间，更换硬盘后，再使用Disksafe的Restore功能在后台将数据同步到新的硬盘中。

Windows系统恢复

CDP保护方案还能对Windows系统进行恢复，当系统分区出现中毒或无法启动的情况时，可以直接使用CDP中的镜像盘进行启动，这样可以大大缩短恢复时间。

CDP提供3种方式做Windows的系统恢复。

1.使用VMware做系统恢复（适用于异构物理平台）

使用VMware做系统恢复不限制生产主机和灾备主机的物理平台，即可以实现异构物理平台的系统恢复，给用户带来了灵活的策略。

2.使用Remote Booting做系统恢复

生产主机直接读取CDP中的数据，启动Windows系统。

Remote Booting的方式可支持多种适配器，如FC光纤卡，iSCSI卡和以太网卡。

3.使用RecoveryCD做系统恢复

将数据从CDP中copy回服务器本地磁盘（包括Windows操作系统），

22

省级数据方案 然后从服务器本地磁盘启动即可。

以上3种方法， 需提供多版本的快照和多版本回滚恢复。

3.2.4 方案特点和技术优势

当本地机房有PC服务器发生故障时，可以通过虚拟化服务器挂载CDP上的数据复制盘，完成本地故障服务器的应用接管。虚拟机恢复接管速度极快，属于准应用容灾。

当IBM存储上部分数据发生故障时，也可以通过CDP的快照技术做数据恢复。

省院现有的HP小型机如果仅仅是系统盘或者是数据盘出现问题，可以通过映射远程启动CDP上的FC镜像盘的方式恢复应用。

23

省级数据方案

以上属于CDP实现本地的应用容灾。

我们同样可以通过异地机房的虚拟化服务器做应用接管以及数据恢复测试。

支持FC+ISCSI混合平台

完全兼容现有检察院机房架构，无需任何HBA卡设备的添加。基于存储的硬件容灾方案和基于主机的软件容灾方案均只支持SAN或者IP架构。

多版本控制，避免原始数据逻辑错误

传统硬件和软件容灾方案，数据目标段和源端数据完全一致，没有版本控制机制，无数据的多状态保护。一旦原始数据发生逻辑错误，镜像数据也不可用。

CDP方案利用基于时间点快照技术，可以按策略为数据卷自动创建基于多时间点标记（即多个数据版本），当现有源端数据发生逻辑错误，可以通过

24

省级数据方案 回滚未发生逻辑错误的数据版本做数据恢复。

通过CDP设备提供的逻辑快照功能，可以获得多255个全备份。这种模式可以应对任何数据逻辑故障，包括：数据库逻辑错误、人为误操作和病毒等引起的数据库数据丢失、人为或病毒引起的数据库崩溃等故障。

利用CDP快照，不仅可以对数据库各类错误实现快速恢复，还可以解决传统备份无法实现的数据库“表级恢复”。比如在误操作导致某个数据库表被误删除的情况下，不需要对整个数据库进行恢复，只需要从快照中提取丢失的“表”，把它恢复到还在运行的数据库中即可。

需要说明的一个技术优势是：实现这255个快照全备份，并不需要其他备份方式那样需要的“255倍存储空间”，只需要增加大约20%的额外存储空间就可以满足所有备份的需要。

有了这255个全备份的支持能力，我们可以非常方便的制定数据备份策略，根据需要，选择制定诸如以下案例的备份策略：

? 每小时一次的快照（全备份），可以保留至少10天左右的历史数据备份，使

得我们至少有能力追溯到10天以前的历史数据。

? 每10分钟一次的快照，可以保留两天左右的历史数据备份，使得我们有能

力追溯到接近2天内的历史数据，而且数据最大只有10分钟的偏离。 支持精简式窄带传输技术

传统硬件和软件容灾方案对容灾线路要求较高，如采用同步复制技术在

25

省级数据方案 检察院现有网络状况下几乎无法实现。一般的基于磁盘阵列等传统灾备技术中，传输单元以块Block传输为基准，往往小的数据更新，远程传输需要最小4KB左右的传输数据（Block定义）。CDP的Replication模块中，以增量方式提供了Microscan的微单元传输技术，将传输的最小数据单元缩小到512字节（一般的传输在1个Block4096字节），可以在极小的带宽传输较大的数据量（根据实际测试，减少传输数据量达到80%左右）。压缩方式也可以大大减少带宽占用，常规情况也可以达到4-5倍的压缩比。

按照官方估算CDP的精简复制功能带有独特的带宽优化技术（Microscan），是存储设备级灾备技术占用带宽的1/50，是常规灾备技术占用带宽的1/6，在窄带环境下轻松实现异地灾备

恢复速度快，恢复演练简单

采用CDP容灾方案，可以快速的做数据恢复。CDP方案可以将数据快照迅速转化主机服务器可使用的磁盘，直接挂接使用，进行数据对比和还原验证，简化了恢复演练的步骤。

支持各种操作系统，各种存储品牌

对操作系统以及各种存储良好的兼容性，可以在将来业务系统升级时，不需要害怕与现有容灾系统不兼容。并且可以完美的支持现有检察院各类业务系统。

多重容灾方式的支持

一对多，多对一以及多对多的容灾方式支持。 支持磁带出库归档保存功能

可以在CDP设备上挂载磁带库设备，做磁带的出库归档保存工作。传统容灾方案无法完成，必须依靠备份系统达到该目标。

简单的图形化管理工具

所有CDP设备均可以通过一个统一的图形化工具进行管理，方便容灾管理人员的操作和监控。

回切（反转）技术 -- Failback

一个完整的容灾体系，不应该仅仅考虑切换（Failover -- 从生产中心切换到灾备中心），还应该考虑回切（Failback），一般而言，生产中心在灾难后恢

26

省级数据方案 复就采用了回切的方式。其实回切涉及到的技术点比正切换要多，并且不是所有技术都能实现。CDP复制技术中提供“反转”功能，即灾备中心将数据增量同步回生产中心，轻松实现Failback。

CDP复制技术中的“反转”功能是将灾备中心将数据增量同步回生产中心，只需要在Console界面上点击“反转”即可完成，简单而方便。

一致性对比技术

CDP复制技术提供了两端磁盘系统的一致性对比机制，即生产中心和灾备中心可以通过一致性对比技术同步差异，保证两个站点数据的一致性。这种技术可以在本地和异地之间进行磁盘块级的逐项比对，并实现差量同步。这种技术能够在生产中心和灾备中心的数据出现不一致的可能时，迅速完成基准点同步，从而保证灾备中心数据永远一致和可用。

同时灾备中心可以随时进行各类演习，比如利用灾备中心验证某类业务接管后的正确性，并且在容灾备份演习结束后进行各种方向的还原（如容灾备份系统同步生产系统或生产系统同步容灾备份系统等），具有很大的灵活性。

以往的众多灾备手段中，由于缺乏差异比对技术，造成了传输网络中断后有可能导致灾备中心的数据状态与主中心不一致，导致灾备系统再也无法启用，人们只得重新进行初始数据的同步工程，而这个阶段往往是漫长和影响巨大的。这在一些灾备项目中留下了深刻的教训。

数据完整性保证机制

任何灾备技术都要有数据完整性保证机制，因为数据库的容灾备份体系中，不仅要同步存储的数据块，而且数据库高速缓存中的数据必须与数据库文件的数据保持一致性刷新。以上所有内容均完成远程同步后，才能确保灾备站点的正常一致性启动。

数据库系统在进行远程复制时，具有一定的特殊性。传统的存储设备的远程复制技术，实现的是磁盘所存储的数据的远程同步，而某些时候数据库系统并未能实时刷新到磁盘体系上（数据库采用了缓存机制确保交易的性能，向数据文件的写入往往会比缓存的写入略有滞后），这样远程的数据库系统在启动时，往往需要通过日志的重演来进行数据库的恢复，这样由于一致性的问题有可能导致数据库立即启动能力的缺失，使得灾难发生时的快速恢复目标完全

27

省级数据方案 无法实现。

CDP的远程复制技术中，采用了能够感知数据库系统的DB Agent代理技术，能够在指定的快照点和复制点产生数据库的校验点刷新，从而确保数据库日志与数据文件的一致性，实现快速启动数据库的目标。这种针对数据库系统的解决方案使得灾备体系真正与应用的数据库体系结合起来。

双向复制

CDP的复制技术支持“双向复制”功能，即生产中心CDP可以向容灾中心CDP复制数据，容灾中心CDP也可以向生产中心CDP复制数据。如未来省检察院的容灾中心也承担了部分业务系统，那么可以将这部分业务系统的数据容灾到现在的生产中心，这样可以节省再次构建灾备中心的成本，充分利用两个站点的优势，实现“双中心”。

链路故障容错

灾备系统数据复制链路会因各种原因中断，如网络故障，生产或灾备的机房，网络或主机的故障或维护，都会导致复制中断。CDP采用了磁盘智能比对技术，无论复制链路中断多久，再次连通时CDP会只传输新增的变化部分。

其他灾备技术都采用Cache记录意外中断后的异步差量，复制链路长时间中断时Cache会溢出，导致链路再次连通时需要两端彻底重新初始化。

数据一致性保证

数据库系统在进行远程复制时，具有一定的特殊性。传统的存储设备的远程复制技术，实现的是磁盘所存储的数据的远程同步，而某些时候数据库系统并未能实时刷新到磁盘体系上（数据库采用了缓存机制确保交易的性能，向数据文件的写入往往会比缓存的写入略有滞后），这样远程的数据库系统在启动时，往往需要通过日志的重演来进行数据库的恢复，这样由于一致性的问题有可能导致数据库立即启动能力的缺失，使得灾难发生时的快速恢复目标完全无法实现。CDP的远程复制技术中，采用了能够感知数据库系统的DB Agent代理技术，能够在指定的快照点和复制点产生数据库的校验点刷新，从而确保数据库日志与数据文件的一致性，实现快速启动数据库的目标。这种针对数据库系统的解决方案使得灾备体系真正与应用的数据库体系结合起来。

28

省级数据方案 Journal 历史轨迹恢复技术

CDP连续I/O记录技术可以将数据恢复到任意历史轨迹（秒级和I/O级均可）。启用Journal功能后，CDP会单独在磁盘上开辟一个区域，用于记录生产卷每一个历史I/O。恢复时，通过“拉杆”可将数据恢复到任意历史点，并且该历史点数据可单独进行查询，不影响生产卷的状态

3.2.5 省院数据容灾的软硬件配置

省院本地机房新增加1-2台CDP网关，1台存储设备、1台支持VMware ESX虚拟机的PC服务器、1套VMware ESX虚拟机软件。异地容灾机房增加1台CDP网关1台存储设备、1台支持VMware ESX虚拟机的PC服务器、1套VMware ESX虚拟机软件。

省院一次完整的数据容灾数据量为2600GB。我们按照RPO指标为1小时来设定，即必须每1小时对关键数据做一次容灾复制。1天至少需要做24次容灾复制，假设CDP

上保留3天的历史复制数据，这样共需要72次历史版本

的保留空间。CDP每次快照所需空间一般为原始数据量的5%到10%，取最大值10%，3天历史复制数据量为2600GB*72*10%=18TB。

省检察院本地机房的IBM DS4300和H3C EX1000两台存储共有6.2TB空间作为各个服务器的数据空间，故我们所选择的CDP设备还需要考虑到能够满足本地6.2TB空间完全使用情况下的容灾应用情况。即我们所选择的CDP设备型号需要有足够的空间扩容能力。

综合以上计算，我们本次省级数据容灾所采用的CDP建议配置实际可使用容量为20TB（基于RAID5的存储方式实际裸容量估计在22TB左右）。

省检察院本地机房需增加软硬件设备 设备名 CDP网关 存储设备 CDP客户端 PC服务器 VMwareESX

29

描述 本地CDP设备，用于容灾CDP的实现 本地CDP存储设备，需22TB裸容量 安装在windows上的CDP客户端 用于安装VMware软件做CDP虚拟恢复 企业化虚拟机软件 数量 1 1 13 1 1 省级数据方案 容灾机房需增加软硬件设备 设备名 CDP网关 存储设备 PC服务器 VMwareESX

描述 容灾机房CDP设备 为实现省本级容灾，需配套22TB裸容量 用于安装VMware软件做CDP虚拟恢复 企业化虚拟机软件 数量 1 1 1 1 30

市县级数据方案 3.3 市、县（区）院数据容灾方案

3.3.1 市、县（区）数据容灾方案需要考虑以下几点：

1. 以市院为中心建立数据容灾备份系统，县（区）院的数据备份至市

院。

2. 市院、县（区）院的业务系统做异地的数据级容灾。 3. 各级检察院之间的专网链路I/O延时较大。 4. 各市院均为通过专网和省检察院直连。 5. 各级院有多种业务系统数据需要灾备。 6. 尽可能的利用现有备份体系。

根据分析市、县（区）院数据容灾建议采用以下三种方案：CDP容灾方案、远程备份方案和NAS备份方案，具体采用哪种方案由各市根据实际情况确定，并报省院审核。

3.3.2 数据容灾CDP方案

CDP容灾方案框架

CDP容灾方案需要每个市院机房增加一台CDP设备（IP架构）。市院和

31

市县级数据方案 县（区）院在需要灾备的服务器上安装CDP客户端，数据首先通过IP写入到市院的CDP设备中，然后由市院机房的CDP同步（或定时）复制到省院异地容灾中心的CDP内。整个方案均通过IP线路完成数据的同步复制。

具体数据容灾示意图如下：

CDP方案中，所有的数据首先复制保存在市院的CDP中，然后通过IP网络传送到省院容灾中心的CDP中。

灾难发生时的数据恢复

假设市院机房内的服务器和CDP同时出现故障的极端情况，那么可以直接将市院机房内的服务器挂载容灾 中心的CDP做数据恢复。当然也可以在市院安装虚拟化服务器将容灾系统升级为本地应用级容灾系统。

方案优缺点

优点：对市院机房提供了本地准应用级容灾的支持，仅需要增加相应的独立物理服务器或者虚拟化服务器即可在短时间内恢复PC服务器故障造成的

32

市县级数据方案 业务中断。并且支持在省级异地容灾机房通过虚拟化服务器做恢复测试。数据恢复较简单。

缺点：投资较大，架构较复杂，对容灾系统管理员业务水平要求较高。

方案所需的软硬件配套

该方案根据现有情况在各个地市增加一台CDP设备，并且在容灾中心的CDP中有相应的数据复制空间。假设市级检察院数据在500G左右，一天做一次快照，保留一周的历史数据，那么市级检察院的CDP需要存储空间为500G*0.10*7+500G=850G，考虑到50%的余量即1.8TB的实际可用数据量（裸容量约为2.5TB）。那么11个地市对应省容灾中心的CDP需要增加11*2.5GB=27.5TB的存储空间。

每个市院本地机房需增加软硬件设备 设备名 CDP网关 CDP存储 描述 市级机房本地容灾CDP设备 数量 1 需2.5TB裸容量，可采用已有的FC或ISCSI1 存储空间（根据需要配置，也可以使用原有存储设备的容量） CDP客户端 安装在windows上的CDP客户端（根据需要8 配置包括基层院） PC服务器 VMwareESX

用于安装VMware软件做CDP虚拟恢复 企业化虚拟机软件 1 1 省容灾机房对应需增加软硬件设备 设备名 CDP网关 描述 数量 异地容灾设备，若有4~5个市级单位，容灾1 机房需增加一台CDP网关 容灾存储

2.5TB裸容量 33

市县级数据方案

3.3.3 数据容灾远程备份方案

远程备份方案框架

远程备份方案需要在市院机房和省院异地容灾机房增加IP存储（市级机房存储视实际情况而定，如果现有存储空间足够则不需增加）。首先通过IP网络和现有备份软件将县（区）院本地需要灾备的重要业务数据远程备份到市院机房的本地存储上，经过数据汇总后将县（区）院的数据汇同市院机房需要灾备的数据统一远程备份至省院异地容灾机房的本地存储上。

具体数据远程备份示意图如下：

34

市县级数据方案

县（区）院数据通过备份服务器写入市院存储内，市院的备份数据同样写入市院存储。在市院存储内将数据汇总后，通过市院备份服务器写入省院备份服务器管理的存储上。这样一个过程完成了一次市院数据远程灾备。

灾难发生时的数据恢复

首先通过省院备份服务器将市院的备份数据恢复回市院存储，然后再通过各自的备份服务器将数据从市院存储恢复到各自的业务系统。

方案优缺点

假设市级检察院现有数据为500G左右，每天一次全备份需150G空间。 每个市级检察院在极端情况下仅有1/10的专网传输带宽，这样每天可以传输的数据量为最小4*60*60*24/10=34.56GB,最大10*60*60*24/10=86.4GB。

35

市县级数据方案 在现有专网情况下，如果要满足市级机房每天一次全备份比较勉强。如果采取远程灾备方案，建议对专网带宽做升级，约需10M专门的容灾带宽。

优点：利用了现有备份软件，设置好备份策略后即可按时做分级远程数

据灾备。

缺点：带宽要求高，现有专网需要升级。当市院机房的备份系统出现故

障时，将导致县（区）院机房的数据无法顺利灾备至异地容灾中心。恢复演练准备工作较复杂。数据恢复时间过长。

方案所需的软硬件配套

该方案利用现有各市院自有的数据备份软件。该方案需要在市院机房和省容灾中心机房各自增加一台备份存储。假设市院现有数据为500G左右，每天一次全备份需500G空间，保证1周备份量需要500G*7=3.5TB，考虑到50%余量需要5TB的实际可用空间（裸容量在6TB左右）。全省11个地市对应省容灾中心机房的存储裸容量为66TB。

每个市检察院本地机房需增加软硬件设备 设备名 备份存储 描述 市级机房本地备份数据存储设备，需6TB裸容量 备份软件

省容灾机房对应需增加软硬件设备 设备名 备份存储 描述 数量 同省现有备份软件 1套 数量 1 异地数据灾备存储设备，对应本地机房6TB1 裸容量

36

市县级数据方案 3.3.4 NAS备份方案

NAS备份方案框架

NAS灾备方案仅需要在异地容灾机房增加一套带有完善权限管理系统的NAS设备。县（区）院机房和市院机房直接通过专用网络将需要灾备的数据写入NAS存储，每个机房仅有特定的IP地址可以连接NAS存储，并且需要特定的用户名和密码。

数据灾备示意图：

县（区）院数据首先汇总到一台指定的市院服务器上，这台市院服务器是该市唯一一台可以连接省容灾中心NAS的服务器。需要灾备的数据需要通过该台服务器保存到容灾中心NAS分配的空间上。通过IP的限定和用户名密码设置，可以较好的保证NAS灾备系统的专一性和安全性。

灾难发生时的数据恢复 数据恢复示意图：

37

本文来源：https://www.bwwdw.com/article/bb2.html