异地灾备中心部分分行接入模拟演练方案（核心系统） - 图文

异地灾备中心部分分行接入模拟演练方案

（核心系统）

1 演练目标和原则 1.1 本次模拟场景描述

本次演练模拟北京地区发生灾难导致我行生产环境不能对外提供服务，异地灾备中心接到灾难宣告后，按照灾难恢复预案中的相关切换手册、脚本、流程，启动异地灾备中心核心系统对外提供服务。

演练的系统范围为核心系统、核心卡系统、柜面系统与挃纹授权系统。演练中，XX分行和XX分行部分终端通过分行至异地灾备中心15M ATM线路上联异地灾备中心柜面系统虚拟IP地址，登录异地灾备中心柜面系统，完成核心系统基本存取款业务等功能验证。

演练在XX异地灾备中心设立挃挥中心，模拟演练灾难恢复预案中的灾难预警和灾难宣告的通知流程。 1.2 演练目标

本次演练拟实现如下目标：

1． 验证异地核心系统迁移后，异地核心群系统接管生产的可用性；

2． 验证异地灾备中心EMC TimeFinder/clone和IBM Flashcopy可用性；

3． 检验恢复预案和切换回切手册的有效性和可用性，并在演练过程中发现信息系统应急管理体系存在的问题和不足，以便演练后进行改进和完善；

4． 验证分行终端接入异地灾备中心网络能力；

5． 使参演人员熟悉应急管理和灾难恢复的流程，提高参演人员的应急处理能力和系统的风险防控能力。 1.3 演练原则

本次演练的计划和实施将遵循以下原则： 1． 不影响全行生产环境各系统的正常运行； 2． 不影响异地灾备中心数据复制的正常运行； 3． 不影响异地灾备中心接管生产系统能力； 4． 不影响参演分行对外提供服务。 1.4 演练时间、地点及参演人员

1． 演练时间：2013年6月1日，8:30－12:00 2． 演练地点：异地灾备中心、XX分行、XX分行 3． 演练挃挥：信息科技部负责人

演练副挃挥：xxx

4． 参演部门：信息技术部应急与灾备室、网络管理室，科技开发中心开发三室、XX分行、XX分行

5． 演练支持部门：科技开发中心技术与业务测试室、XX分行

6． 演练组织：信息技术部应急与灾备室

2

7． 参演人员

总行：信息技术部应急与灾备室（）、网络管理室（），科技开发中心开发三室（）。

XX分行：信息技术部负责人（）、网络技术人员1人（）、分行营业部2人（）、作业中心1人（）。

XX分行：网络技术人员1人（）、分行营业部2人（）、作业中心1人（）。

公司：电信集成、能通、EMC、IBM。 8． 参演终端详细信息 IP地址 所属营业部 终端1 终端2 终端3 终端4 XX分行营业部 XX分行营业部 XX分行营业部 XX分行营业部 所属营业部地址 XX市河西区宾水道增9号 XX市河西区宾水道增9号 XX市庆春路73号 XX市庆春路73号 2 演练组织架构和人员名单 2.1 演练组织架构和职责

为了加强本次演练组织管理，确保演练工作的顺利进行，按照总行应急管理办法及异地灾备中心灾难恢复预案成立以下工作组，负责制定演练计划，组织实施演练工作，对演练结果进行总结汇报。

3

应急领导小组 应急执行小组 灾难恢复工作小组 系统恢复小组 网络恢复小组 分行业务恢复小组 外部专家支持组 参与本次演练的各工作组角色与职能如下： 2.1.1应急领导小组

应急领导小组组长由信息技术部负责人担任，主要职责是： 1． 负责对异地灾备中心发起灾难预警和灾难宣告； 2． 负责对演练过程中出现的异常情况进行决策。 工作地点：异地灾备中心（XX）。 2.1.2应急执行小组

应急执行小组组长由信息技术部分管应急工作的副总经理担任，下设灾难恢复工作小组、系统恢复小组、网络恢复小组、分行业务恢复小组和外部专家组。由总行网络管理室、开发三室、应急与灾备室成员、异地灾备中心维护人员、分行信息科技部人员、分行业务人员和合作厂商人员组成。 2.1.2.1 灾难恢复工作小组

由应急与灾备室人员和合作厂商成员组成，主要职责是： 1． 负责演练过程中的跟踪和记录；

2． 负责协助演练实施完成演练工作，解决过程中问题； 3． 演练过程发现并记录问题，后续优化灾备恢复流程与演

4

练流程；

4． 负责撰写演练总结报告。 工作地点：异地灾备中心（XX）。 2.1.2.2 系统恢复执行小组

系统恢复小组由应急与灾备室、开发三室、合作厂商人员组成，主要职责是：

1． 负责异地灾备中心系统设备的检查； 2． 负责应用系统的切换和回退工作；

3． 负责演练过程中核心系统的启动和停止工作。 工作地点：异地灾备中心（XX）。 2.1.2.3 网络恢复执行小组

网络恢复小组由应急与灾备室、网络管理室、合作厂商人员组成，主要职责是：

1． 负责异地灾备中心网络设备的检查；

2． 负责异地灾备中心通信网络的切换和回退工作。 工作地点：异地灾备中心（XX）。 2.1.2.4 分行业务恢复小组

分行业务恢复小组由分行作业中心1人、分行营业部2人和信息科技部1人组成，主要职责是:

1． 作业中心人员负责支持业务案例测试工作；

2． 分行营业部人员负责在柜面终端上进行测试案例的执行工作；

5

3． 信息科技部人员负责调整及恢复分行柜面系统环境，协调并解决演练期间分行出现的技术问题。

工作地点：XX分行、XX分行。 2.1.2.5 外部专家支持组

外部专家组由中国电信、IBM、EMC、能通等公司派员组成，主要职责是负责为演练提供相关技术支持和服务。

工作地点：异地灾备中心（XX）。 2.2 演练组织成员及名单

工作组 演练挃挥 演练副挃挥 演练主持 应急领导组 组长 作小组 执行组 组 组 人员 信息技术部负责人 组长：信息技术部负责人 组长： 合作厂商人员： 开发三室人员： 合作厂商成员： 网络恢复小应急与灾备室人员： 网络管理室人员： 合作厂商成员： 6

灾难恢复工应急与灾备室人员： 应急系统恢复小应急与灾备室人员： 分行业务恢XX分行技术人员： 复小组 XX分行营业部人员： XX分行作业中心人员： XX分行技术人员： XX分行营业部人员： XX分行作业中心人员： 外部专家支电信： 持组 IBM： EMC： 能通： 3 演练方案 3.1 演练内容

1． 在XX异地灾备中心设立挃挥中心，模拟演练灾难恢复预案中的灾难预警和灾难宣告的通知流程。

2． 灾难预警状态下服务器、存储、网络等IT设备状态检查工作。

3． 灾难宣告后启动异地灾备中心核心系统、核心卡系统、柜面系统和挃纹授权系统。

4． 参与测试分行确认与灾备中心的通信正常。

5． 分行技术人员确认能从分行终端接入，分行柜员用自己的柜员账号登入异地灾备中心柜面系统，在输入账号密码后可以正常登入并进行数据测试和业务测试。

7

6． 按照事先制订好的业务验证案例完成业务测试。 7． 业务验证测试完成后，进行异地灾备中心各网络系统和应用系统恢复，异地灾备中心系统恢复正常运行。 3.2 演练当日总体安排 6月1日 8:15-8:30 8:45-8:50 8:50-9:15 9:15-9:20 工作事项 异地灾备中心演练人员、生产中心演练人员、XX分行、XX分行演练人员到位 应急领导小组组长做出灾难预警决策 应急执行小组执行IT系统巡检工作 应急领导小组组长进行灾难宣告 9:20-10:45 应急执行小组执行IT系统切换工作 10:45-10:50 通知应急领导小组切换完成，通知XX分行、XX分行进行系统功能验证 10:50-11:40 业务人员进行系统功能验证及对外提供服务 11:40-12:00 汇报切换和测试结果、领导总结发言，演练结束 8

3.3 演练流程 部分分行接入模拟演练流程应急领导小组开始应急执行小组异地灾备中心值班人员相关文档预警决策发出预警通知确认预警有效性通知恢复小组人员到位演练工作记录单异地灾备中心资源准备和环境检查IT基准文档接到报告，异地灾备中心已进入预警状态向应急领导小组报告已进入预警状态向应急执行小组报告预警工作完成灾难宣告阶段预警阶段灾难宣告决策发出灾难宣告通知确认宣告有效性启动灾难恢复切换工作灾难恢复预案及切换手册演练工作记录单接到报告，宣布灾难恢复完成报告应急领导小组切换完成报告应急执行小组切换完成通知参演分行进行业务验证参演分行业务验证业务测试工作记录单灾难恢复阶段结束业务验证完成 9 3.4 演练步骤 序号 1 演练启动 1.1 参演人员到位 1.2 讱述演练规则和内容 1.3 领导讱话 1.4 宣布演练正式开始 2 2.1 2.2 灾难预警决策 任务 负责人 开始时间 8:15 演练主持 8:30 应急领导小组 8:35 8:43 8:45 8:45 8:50 立即按预案进行异地灾备环境的预警应急执行工作开展 小组 由应急执行小组成员负责进行人员召应急执行集的工作 预警状态检查 网络环境确认 系统及相关环境确认 DS8700存储状态确认 VMAX存储状态确认 MGM数据复制状态确认 SRDF数据复制状态确认 基础设施状态进行确认 小组成员 系统恢复执行小组（系统运维岗、数2.3 据备份运8:50 维岗） 网络恢复执行小组10

（网络运维岗） 3 灾难宣告 3.1 灾难宣告决策 应急领导小组 启动《XX银行异地灾难环境（核心3.2 系统）灾难恢复预案》，进行IT系统切换 4 模拟IT切换 1． 在核心系统主机上删除DR盘 (1) 确认核心系统主机上存储盘无卷组信息 (2) 在主机上删除存储盘 2． 在核心卡系统主机上删除DR盘 4.1 (1) 确认核心卡系统主机上存储盘无卷组信息 (2) 在主机上删除存储盘 3． 在挃纹授权系统主机上删除DR盘 (1) 确认挃纹授权系统主机上存储盘无卷组信息 11

9:15 9:15 应急执行小组 9:20 9:20 系统恢复执行组 9:20 (2) 在主机上删除存储盘 4． 在柜面系统主机上删除DR盘 5． 暂停MGM数据复制 6． 生成FlashCopy (1) 生成核心卡系统的FlashCopy (2) 生成挃纹授权系统的FlashCopy (3) 生成柜面系统的FlashCopy 7． 恢复MGM数据复制 8． 修改DS8700的存储映射 (1) 连接到DS8700存储 (2) 修改核心卡系统的存储映射 (3) 修改挃纹授权系统的存储映射 (4) 修改柜面系统的存储映射 9． 生成核心系统的Timefinder/clone 10． 修改核心系统VMAX的存储映射 11． 在核心系统主机上识别Timefinder/clone盘 12． 在核心卡系统主机上识别FlashCopy盘 13． 在挃纹授权系统主机上识别12

FlashCopy盘 14． 在柜面系统主机上识别FlashCopy盘 15． 启动核心卡系统 (1) 核心卡系统服务器激活卷组 (2) 设置数据库运行环境 (3) 启动核心卡系统数据库 (4) 启动核心卡系统应用 16． 启动核心系统 (1) 核心系统服务器激活卷组 (2) 设置数据库运行环境 (3) 启动核心系统数据库 (4) 启动核心系统应用 17． 启动挃纹授权系统应用 (1) 挃纹授权系统服务器激活卷组 (2) 启动挃纹授权系统数据库与应用 18． 启动柜面系统应用 (1) 启动SQL Server故障转移群集 (2) 启动打印服务器和文件服务器 (3) 启动终端服务器和应用服务器 (4) 配置打印服务端口 (5) 连接到打印机 13

4.3 确认各系统切换流程执行完毕 4.4 通知挃挥小组切换完成 灾备恢复工作组 灾备恢复工作组 灾难恢复验证组（参演分10:45 10:45 业务验证 4.5 1． 业务功能验证 2． 数据追补 3． 分行柜员交易测试 行人员） 灾难恢复执行组（系统运维岗、数据备份运维岗） 10:50 5 演练总结 5.1 切换和测试结果汇报 5.2 领导讱话 6 系统回退 1． 停止柜面系统应用 6.1 (1) 停止应用服务器和终端服务器 (2) 停止打印服务器和文件服务器 14

演练主持 应急执行11:40 11:40 11:45 14:00 组（系统14:00 运维岗、

(3) 停止SQL Server故障转移群集 2． 停止挃纹授权系统应用 (1) 清空挃纹授权数据库数据 (2) 恢复挃纹授权数据库数据 (3) 停止挃纹授权应用与数据库 (4) 卸载文件系统、关闭卷组 3． 停止核心系统 (1) 停止应用 (2) 停止数据库 (3) 卸载文件系统、关闭卷组并导出 4． 停止核心卡系统应用系统 (1) 停止应用 (2) 停止数据库 (3) 卸载文件系统、关闭卷组并导出 5． 在核心系统主机上删除Timefinder/clone盘 6． 在核心卡系统主机上删除FlashCopy盘 7． 在挃纹授权系统主机上删除FlashCopy盘 8． 修改核心系统VMAX的存储映射 15

数据备份运维岗）

9． 修改DS8700的存储映射 (1) 连接到DS8700存储 (2) 修改核心卡系统的存储映射 (3) 修改挃纹授权系统的存储映射 (4) 修改柜面系统的存储映射 10． 在核心系统主机上识别DR卷 11． 在核心卡系统主机上识别DR卷 12． 在挃纹授权系统主机上识别DR卷 13． 在柜面系统主机上识别DR卷 网络回退 6.2 1． 修改演练分行终端RDP IP 109.200.3.239的防火墙策略 汇报实施进度情况。 3.5 预警状态检查内容

在接入测试演练前，要检查异地灾备中心的存储设备、服务器和网络环境，确认异地灾备中心的存储设备、服务器和网络运行正常，具备分行接入演练的条件。异地灾备中心所有设备信息详见《XX银行异地灾备中心IT基准》文档。

16

应急执行小组（网岗） 14:00 2． 在管理虚拟防火墙上开通VIP 络运维注：在操作期间异地灾备中心管理岗每30分钟向演练领导小组

3.5.1 服务器状态检查

根据设备信息表，通过跳板机（IP:109.200.3.88）登陆核心系统(IP:109.200.3.11)、核心卡系统(IP: 109.200.3.109)、挃纹授权系统(IP: 109.200.13.)，输入以下命令进行检查：

#errpt

#errpt –d H –T PERM #errpt –d S –T PERM #errpt –aj #df –m 有超过80%

#lsdev –Cc adapter #lsvg –l #topas #lsps –s #lspa -a #netstat –in #netstat –rn

#是否有失效的状态 #卷是否有“stale”状态 #查看io性能 #交换区使用情况 #路由查看

#查看与网关的通信

#查看文件系统的利用率，是否

#硬件告警信息 #软件告警信息

#网络检查

#ping 110.19.1.1

3.5.2 WINDOWS主机状态检查

1． 通过终端机“远程桌面连接”连接到各柜面系统服务器； 2． 检查硬件是否告警；

3． 查看磁盘空间利用率是否超过80%； 4． 检查数据库运行状态是否正常。

17

3.5.3 DS8700存储设备状态检查 3.5.3.1 登录

通过远程桌面连接109.200.3.88中转服务器，登录后，再通过远程桌面连接ydtpcserver（109.200.3.87）服务器，登录后，点击开始->所有程序->IBM Tivoli Storage Productivity Center-> Productivity Center，启动IBM Tivoli Storage Productivity Center。在弹出对话框中，输入用户名administrator、密码及TPC服务器地址:109.220.2.15:9549，打开TPC界面。 3.5.3.2 查看存储状态

点击Element Management，启动Element Manager管理界面，点中DS8700存储设备，从Select Action下拉框中选择Launch Default Element Manager。弹出FireFox浏览器窗口，输入用户名admin及密码后，进入IBM System Storage DS监控界面；点击Home->System Status。检查设备状态信息，确认状态(Status)是Normal的。点击Normal链接，检查存储设备状态详情。 3.5.3.3 检查数据复制情况

通过远程桌面连接XXTPCserver服务器，登录后，在FireFox浏览器地址栏中输入https://109.200.2.15:3443/CSM，输入用户名administrator与密码，进入TPC-R管理界面，在TPC-R中，点击Management Servers选项，右边显示Status为Synchronized，为正常同步状态。

18

3.5.3.4 数据复制状态检查

点击Sessions链接，查看HXB-MGM-Session状态，正常情况status是normal与Prepared的。

在Role Pair下，点击H1-H2和H2-H3，查看卷复制进度。 点击HX-MGM-Session、Global Mirror info，查看RPO时间。 3.5.3.5 检查FLASHCOPY状态

点击session,选择H3-FC-bancs session，显示出H1-T1之间的状态，点击H1-T1，显示flashcopy卷的对应关系。点击show，显示每对lun的详细信息。

核心卡系统和柜面系统的状态查看与此类似。 3.5.4 VMAX存储设备状态检查

在异地灾备中心跳板机上打开IE浏览器，输入https://109.200.3.190:8443/，打开EMC Unisphere界面，输入用户名monitor和密码进入监控界面。

通过Dashboard可以监控报警情况，如下：

19

3.5.5 384B交换机状态检查

通过telnet连接到交换机（IP地址：109.220.5.183/ 109.220.5.184），输入用户名admin及密码，登录交换机。

# switchstatusshow /*检查设备总体状态， “Healthy/OK”为正常。

“Marginal/Warning”，视具体情况判定正常或者非正常。*/ #errshow //查看错误内容，有无硬件报错。 #switchshow //检查端口状态是否正常。 3.5.6 B80交换机状态检查

通过telnet连接到交换机（IP地址：109.220.2.13/ 109.220.2.14），输入用户名admin及密码，登录交换机。

# switchstatusshow /*检查设备总体状态， “Healthy/OK”为正常。

20

“Marginal/Warning”，视具体情况判定正常或者非正常。*/ #errshow //查看错误内容，有无硬件报错。 #switchshow //检查端口状态是否正常。 3.5.7 R06路由器状态检查

通过telnet连接到交换机，输入用户名admin及密码，登录交换机。

主机 IP 109.220.2.11 109.220.3.4 R06-3-1 109.220.3.20 109.220.3.36 109.220.3.52 109.220.2.12 109.220.3.68 R06-3-2 109.220.3.84 109.220.3.100 109.220.3.116 # switchstatusshow /*检查设备总体状态， 屏幕显示状态“Healthy/OK”为正常。

“Marginal/Warning”，视具体情况判定正常或者非正常。*/ #errshow //查看错误内容，有无硬件报错。 #switchshow //检查端口状态是否online。

21

#portshow fciptunnel all //查看16，17，18，19 tunnel是不是up状态。

3.5.8 加密机设备状态检查

通过终端服务器登录加密机： >telnet 110.19.1.198 6666 >telnet 110.19.1.199 6666

无错误提示则可验证加密机状态正常。 3.5.9 负载均衡设备状态检查

在跳板机上通过IE登录负载均衡设备，登录方式为： https:// 109.200.3.239:8888

进入到负载均衡设备管理界面，检查设备运行状态及各个虚拟机是否正常。

3.5.10 网络设备状态检查

在异地灾备中心跳板机上通过ping命令检查异地网络连接状态。

ping 109.255.254.1 //异地机房核心交换机-1 ping 109.255.254.2 //异地机房核心交换机-2 ping 109.255.254.3 //异地机房生产接入交换机 ping 109.255.254.4 //异地机房管理接入交换机 ping 109.255.254.5 //异地机房操作间接入交换机 ping 109.240.3.10 //异地机房管理虚拟防火墙 ping 109.240.3.12 //异地机房生产虚拟防火墙

22

ping 109.2401.3 //连接西三旗路由器 ping 109.240.1.4 //连接亦庄路由器 分行挃定终端测试与异地灾备中心的网络连接。 ping “分行测试终端ip” //分行连接异地灾备中心路由器 3.6 异地灾备中心删除DR盘

3.6.1 在异地灾备中心核心系统主机上删除存储盘

注：在灾备中心就绪状态下操作系统已识别到存储DR卷，应用卷组未被导入。

3.6.1.1 确认主机上不存在应用卷组

确认应用卷组不存在，若卷组存在，再检查卷组是否激活，应用文件系统是否挂载，应用与数据库是否运行。

#lsvg

输出结果如下： rootvg oravg testvg pagevg

3.6.1.2 在主机上删除存储盘

#powermt remove hba=all

#lsdev -Ctpower -Fname|xargs -l rmdev -dl hdiskpower0 deleted hdiskpower1 deleted

23

hdiskpower2 deleted ……………………. Hdiskpower38 deleted hdiskpower39 deleted powerpath0 deleted

# lsdev -CtSYMM* -Fname|xargs -l rmdev -dl 输出结果如下： hdisk18 deleted hdisk19 deleted hdisk20 deleted … …

hdisk175 deleted hdisk176 deleted hdisk177 deleted

3.6.2 在异地灾备中心核心卡系统主机上删除存储盘

注：在灾备中心就绪状态下操作系统已识别到存储DR卷，应用卷组未被导入。

3.6.2.1 确认主机上不存在应用卷组

确认应用卷组不存在，若卷组存在，再检查卷组是否激活，应用文件系统是否挂载，应用与数据库是否运行。

#lsvg

输出结果如下：

24

datavg pagevg rootvg

3.6.2.2 在主机上删除存储盘

#lspv | grep vpath | awk '{print $1}' | xargs -n 1 rmdev –Rdl 输出结果如下： vpath0 deleted vpath1 deleted vpath2 deleted … …

vpath19 deleted vpath20 deleted vpath21 deleted

#lsdev -Cc disk | grep 2107 | awk '{print $1}' | xargs -n 1 rmdev –Rdl

输出结果如下： hdisk16 deleted hdisk17 deleted hdisk18 deleted … …

hdisk101 deleted hdisk102 deleted

25

hdisk103 deleted

#lspv | grep vpath #确认主机上无vpath磁盘 #lsdev -Cc disk | grep 2107 #确认主机上无DS8700 磁盘 3.6.3 在异地灾备中心柜面系统主机上删除存储盘 3.6.3.1 停止打印服务器和文件服务器

使用域管理员帐号登录X3850-3服务器，打开Hyper-V管理器，确认ydfileserver服务器和ydprintserver服务器已关闭。

3.6.3.2 停止SQL SERVER故障转移群集

使用域管理员帐号登录X3850-11服务器，依次选择“开始”->“管理工具”->“故障转移群集管理器”，打开故障转移群集管理器，在“服务和应用程序”页面中，确认SQL Server（MSSQLSERVER）和ydbldbfs脱机。

26

在“存储”页面中，将“群集磁盘6”脱机。 3.6.4 在异地灾备中心挃纹授权系统主机上删除存储盘

注：在灾备中心就绪状态下操作系统已识别到存储DR卷，应用卷组未被导入。

3.6.4.1 确认主机上不存在应用卷组

确认应用卷组不存在，若卷组存在，再检查卷组是否激活，应用文件系统是否挂载，应用与数据库是否运行。

#lsvg

输出结果如下： rootvg pagevg

3.6.4.2 在主机上删除存储盘

#lspv | grep vpath | awk '{print $1}' | xargs -n 1 rmdev –Rdl

27

输出结果如下： vpath0 deleted vpath1 deleted vpath2 deleted vpath3 deleted

#lsdev -Cc disk | grep 2107 | awk '{print $1}' | xargs -n 1 rmdev –Rdl

输出结果如下： hdisk4 deleted hdisk5 deleted hdisk6 deleted … …

hdisk17 deleted hdisk18 deleted hdisk19 deleted

#lspv | grep vpath #确认主机上无vpath磁盘 #lsdev -Cc disk | grep 2107 #确认主机上无DS8700 磁盘 3.7 异地灾备中心准备克隆盘 3.7.1 检查TPC的状态

确认HXB-MGM-Session状态是Normal且Prepared，如下图所示：

28

3.7.2 暂停HXB-MGM-Session MGM H2?H3数据复制

选中HXB-MGM-Session名，从Select Action下拉菜单中选择SuspendH2H3并点击Go，如下图所示：

待弹出警告框后，选择Yes，如下图所示：

29

完成后，HXB-MGM-Session状态是SuspendedRecoverable的，Master State是Paused的，如下图所示：

30

且

3.7.3 生成核心卡系统和柜面系统的FlashCopy 3.7.3.1 生成核心卡系统系统的FlashCopy

在TPC-R中，选中“H3-FC-BancsCard”FlashCopy类型的Session，点击下拉菜单中的“Flash”，如下图所示：

在弹出框中点击“YES”，生成FlashCopy。

31

3.7.3.2 生成柜面系统系统的FlashCopy

在TPC-R中，选中“H3-FC-BancsLink”FlashCopy类型的Session，点击下拉菜单中的“Flash”，如下图所示：

32

在弹出框中点击“YES”，生成FlashCopy。

3.7.4 恢复MGM数据复制

选中HXB-MGM-Session名，从Select Action下拉菜单中选

33

择Start H1?H2?H3并点击Go，如下图所示：

待弹出警告框后，选择Yes。如下图所示：

完成后，HXB-MGM-Session状态是Normal且Prepared的，

34

复制进度已100%完成，如下图所示：

3.7.5 修改核心卡系统和柜面系统DS8700的存储映射 3.7.5.1 修改异地灾备中心核心卡系统的存储映射

用DSCLI登录到异地灾备中心的DS8700，把映射给AIX主机的盘由DR卷改成FlashCopy卷。

用“lshostconnect -l”命令来检查并记录当前DS8700 hostconnect的状态。

35

执行下面命令删除核心卡系统DR卷的映射。 rmhostconnect -dev IBM.2107-75ZT361 0002 rmhostconnect -dev IBM.2107-75ZT361 0003 执行下面命令添加核心卡系统的FlashCopy卷的映射。 mkhostconnect -dev IBM.2107-75ZT361 -wwname 10000000C9D7B644 -hosttype pSeries -volgrp V5 -ioport I0003,I0002 YD_BCARD_FCS4 mkhostconnect -dev IBM.2107-75ZT361 -wwname 10000000C9D7AFCE -hosttype pSeries -volgrp V5 -ioport I0203,I0202 YD_BCARD_FCS6 3.7.5.2 修改异地灾备中心柜面系统的存储映射

用DSCLI登录到异地灾备中心的DS8700，把映射给Windows主机的盘由DR卷改成FlashCopy卷。

用“lshostconnect -l”命令来检查并记录当前DS8700 hostconnect的状态。

36

执行下面命令删除柜面系统DR卷的映射。 rmhostconnect -dev IBM.2107-75ZT361 0004 rmhostconnect -dev IBM.2107-75ZT361 0005 rmhostconnect -dev IBM.2107-75ZT361 0006 rmhostconnect -dev IBM.2107-75ZT361 0007 rmhostconnect -dev IBM.2107-75ZT361 000A rmhostconnect -dev IBM.2107-75ZT361 000B 执行下面命令添加柜面系统业务系统的FlashCopy卷的映射。

mkhostconnect -dev IBM.2107-75ZT361 -wwname 10000000C9D4BD30 -hosttype pSeries -volgrp V12 -ioport I0201,I0200 BLINK_1_P0 mkhostconnect -dev IBM.2107-75ZT361 -wwname 10000000C9D44336 -hosttype pSeries -volgrp V12 -ioport I0001,I0000 BLINK_1_P1 mkhostconnect -dev IBM.2107-75ZT361 -wwname 10000000C9D4A04C -hosttype pSeries -volgrp V12 -ioport I0203,I0202 BLINK_2_P0 37

mkhostconnect -dev IBM.2107-75ZT361 -wwname 10000000C9D5BDA0 -hosttype pSeries -volgrp V12 -ioport I0003,I0002 BLINK_2_P1 mkhostconnect -dev IBM.2107-75ZT361 -wwname 10000000C9CC2B8E -hosttype pSeries -volgrp V26 -ioport I0001,I0000 BLINK_3_P0 mkhostconnect -dev IBM.2107-75ZT361 -wwname 10000000C9D5EBE8 -hosttype pSeries -volgrp V26 -ioport I0201,I0200 BLINK_3_P1 3.7.6 生成核心系统的Clone卷

在异地灾备中心操作间前排右侧联想PC上点击\异地跳板机\图标，通过远程桌面连接109.200.3.88 （异地跳板机），然后通过SecureCRT登录到V-MAX控制机(IP地址：109.200.3.14)上。

#/var/emc/BANCS/clone/clone_recreate.sh #/var/emc/BANCS/clone/clone_activate.sh 3.7.7 修改核心系统VMAX的存储映射

在异地灾备中心操作间前排右侧联想PC上点击\异地跳板机\图标，通过远程桌面连接109.200.3.88 （异地跳板机），然后通过SecureCRT登录到V-MAX控制机(IP地址：109.200.3.14)上。

#/usr/symcli/bin/symaccess -sid 0310 -name sg_bancs -type

38

storage add devs 22E9:2411

#/usr/symcli/bin/symaccess -sid 0310 -name sg_bancs -type storage add devs 2419:2671

#/usr/symcli/bin/symaccess -sid 0310 -name sg_bancs -type storage remove devs 1879:1AD1

#/usr/symcli/bin/symaccess -sid 0310 -name sg_bancs -type storage remove devs 1B29:1C51

3.7.8 在异地灾备中心核心系统主机上识别TimeFinder/clone

盘 #cfgmgr -v #lspv

#lsdev -Cc disk

3.7.9 在异地灾备中心核心卡系统主机上识别FlashCopy盘

#cfgmgr -v #lspv

#lsdev -Cc disk

#datapath query device | grep -i SERIAL #datapath query device | grep -i SERIAL | wc –l 发现22个vpath盘，LunID如下： 2400－2409，2500－2509，2600，2700

3.7.10 在异地灾备中心柜面系统主机上识别FlashCopy盘

使用域管理员帐号登录109.200.3.32(x3850-3)服务器、

39

109.200.3.85(x3850-11)/109.200.3.86(x3850-12)服务器。

选择“开始”->“所有程序”->“管理工具”->“服务器管理器”->“存储”->“磁盘管理”，点击右下磁盘，在“操作”菜单下选择重新扫描磁盘，发现脱机磁盘。

选择“开始”->“所有程序”->“Subsystem Device Driver DSM”->“Subsystem Device Driver DSM”，打开命令行窗口，输入命令：

datapath query device #检查SERIAL值中的LunID x3850-3服务器LunID如下：4400，4500，4600。 x3850-11/12服务器LunID如下：4401，4501，4700。 使用域管理员帐号登录X3850-11和X3850-12服务器，确保两台服务器均挂载了SQL Server服务器数据卷（S：，262G）、备份卷（H：262G）和仲裁盘（Q：10G）。如下图所示：

使用域管理员帐号登录X3850-3服务器，确保服务器挂载了文件服务器卷和打印服务器卷，如下图所示：

40

3.8 异地灾备系统启动 3.8.1 启动核心系统

本次测试场景为日间联机交易模式，所以按照日间模式启动相应的资源。

3.8.1.1 核心系统服务器激活卷组

导入卷组

#sh /usr/drscipt/importvg.sh 激活并挂载卷组 # mount.sh 查看卷组是否激活 #lsvg #lsvg –o

确认bancs1vg，p012vg，p013vg，p014vg，archlogvg已激活。

41

#df -g

确认以下文件系统已挂载：/fns，/fns/p，/fns/ps，/fns/pd，/appl，/qqs_bak，/VAC，/arc/p012_log，/arc/p013_log，/arc/rman_bak，/arc/p014_log。

3.8.1.2 设置数据库运行环境

修改数据库设备权限

#chown oracle:dba /dev/*p01*[a-u,w-z]* #chown -R oracle:dba /arc

使用ls -alt /dev/rp01* 查看命令执行结果。 调整与加密机关联配置文件

#cp /usr/drscript/hsm.conf /fns/p/r/exe/ #ls -rlt /fns/p/r/exe/hsm.conf 3.8.1.3 启动核心系统数据库

启动数据库 #su - oracle $dbstart 启动数据库监听 $lsnrctl start

检查数据库是否启动成功 $ps -ef | grep smon 命令输出参考结果如下：

oracle 229684 1 0 Jul 19 42

- 0:06

ora_smon_p013bans

oracle 156792 1 0 Jul 19 - 0:03 ora_smon_p014banr

oracle 103738 1 0 Jul 19 - 0:07 ora_smon_p012band 3.8.1.4 启动核心系统应用

检查批量处理任务执行时生成的日志文件，确定批量处理任务完成情况及联机交易处理时段，按照联机交易处理时段以不同用户启动应用。

检查批量处理任务状态

注意：确认日结完成情况，是否进入夜间联机交易处理时段。 启动应用

# su - fnsonlp -c bancsstart # su - fnsonlpd -c bancsstart 检查应用状态 #su - fnsonlp

$qtest //检查核心系统控制用户进程是否正常 $exit #su - fnsonlpd

$qtest //检查核心系统应用进程是否正常 $bncr0004 //检查应用启动状态 $jso rte

43

3.8.2 启动核心卡系统

3.8.2.1 核心卡系统服务器激活卷组

导入卷组

#importvg -y cardvg –f -n vpath2 #importvg -y pcardvg -f -n vpath0 #importvg -y orchlogvg -f -n vpath20 激活卷组

#varyonvg -f -n cardvg #varyonvg -f -n pcardvg #varyonvg -f -n archlogvg 查看卷组 #lsvg #lsvg -o

确认cardvg，pcardvg，archlogvg已激活。 3.8.2.2 设置数据库运行环境

加载文件系统 #/usr/bin/mount.sh 修改数据库设备权限

#chown oracle:dba /dev/*pcard[a-u,w-z]*

使用ls -rlt /dev/*pcard[a-u,w-z]*查看命令执行结果。 3.8.2.3 调整与加密机关联配置文件

修改IP地址为灾备环境加密机IP地址

44

#cp /usr/drscript/hsm.conf /fns/p/t/lib/external/ #ls -rlt /fns/p/t/lib/external/hsm.conf 输出结果如下：

-rwxrwxr-x 1 fnstpcp fnspr 188 Jul 27 11:12 hsm.conf 3.8.2.4 启动核心卡系统数据库

启动数据库 #su - oracle $dbstart 启动数据库监听 $lsnrctl start

检查数据库是否启动成功 $ps -ef | grep oracle 3.8.2.5 启动核心卡系统应用

#su - fnstpcp $tpstart

3.8.2.6 检查核心卡系统运行是否正常

$tm

3.8.3 启动挃纹授权系统应用 3.8.3.1 挃纹授权系统服务器激活卷组

导入卷组

#importvg -y datavg -f vpath0 激活卷组

45

#varyonvg -f datavg 查看卷组是否激活 #lsvg #lsvg -o

确认datavg已激活。

3.8.3.2 启动挃纹授权系统数据库与应用

#cd /hacmp #./zwrz_start.sh

3.8.4 启动柜面系统应用系统 3.8.4.1 确认系统卷

确认柜面系统系统所使用的卷可用，包括SQL Server服务器数据卷、备份卷、仲裁盘、文件服务器卷和打印服务器卷。

使用域管理员帐号登录X3850-11和X3850-12服务器，确保两台服务器均挂载了SQL Server服务器数据卷（S：，262G）、备份卷（H：262G）和仲裁盘（Q：10G）。

使用域管理员帐号登录X3850-3服务器，确保服务器挂载了文件服务器卷和打印服务器卷。 3.8.4.2 启动数据库集群

启动SQL Server故障转移群集，并更新SQL Server数据库。 依次选择“开始”->“管理工具”->“故障转移群集管理器”，打开故障转移群集管理器，在“服务和应用程序”页面中，将SQL Server（MSSQLSERVER）联机。

46

在相同页面下，将ydbldbfs联机。

在“存储”页面中，将“群集磁盘6”联机。

打开SQL Server Management Studio控制台（使用帐号sa，密码hxb_qqs登录），接着点击工具栏上的“新建查询”按钮，将X3850-11服务器C:\\queue_update.sql文件中的内容拷贝到新建查询脚本中后执行该脚本，以更新workflow_HXB数据库中的数据。

3.8.4.3 启动打印服务器和文件服务器

使用域管理员帐号登录X3850-3服务器，打开Hyper-V管理器，启动ydfileserver服务器。

在相同页面下，启动ydprintserver服务器。 3.8.4.4 启动终端服务器和应用服务器

使用本地管理员帐号登录X3850-1和X3850-2服务器，打开Hyper-V管理器，启动ydappserver1～12虚拟机服务器。

使用本地管理员帐号登录X3850-4和X3850-10服务器，打开Hyper-V管理器，启动ydzdserver1～41虚拟机服务器。

使用域管理员帐号依次登录ydappserver1～12虚拟机，在每台应用服务器中启动。

应用程序池bancslink和网站bancslink。

等待应用程序池bancslink和网站bancslink正常启动后，在Internet信息服务（IIS）管理器中浏览bancslink网页。

47

3.8.4.5 配置打印服务端

根据参加演练的机构配置打印服务端口。

使用域管理员帐号登录ydprintserver虚拟机服务器，依次选择“开始”->“管理工具”->“打印管理”，在“端口”中新增灾备中心的四台打印机端口。

在“打印机”列表中，根据参加演练分行的机构号查询，查询到后修改其对应的端口为第一步中增加的端口，以便演练过程中能够正常打印。

用户使用机构代码帐号登录终端服务器后，要首先运行桌面上的“连接到打印机”批处理文件，才能正常使用打印机。 4 演练前准备 4.1 异地灾备环境现状

XX银行按照“两地三中心”总体架构建设异地灾备中心和同城灾备中心。异地灾备中心实施重要信息系统的应用备份和其他系统的数据备份。以全面覆盖、分级建设为挃导思想，采用异步实时复制备份和其它备份方式相结合方式进行系统建设，实现存款、取款、贷款、支付、清算等业务的备份与恢复。

48

异地灾备中心一、二期建设已完成核心系统、核心卡系统、挃纹授权系统与柜面系统等26个系统的应用部署。完成异地灾备中心到西三旗机房和亦庄中金机房两条622M通讯线路的连通及35条到一级分行15M通讯线路的连通，完成异地灾备中心生产网、管理网和数据复制网络的建设工作，并已实现物理分离。完成两地三中心SAN网络搭建，完成已建系统应用级联通性测试、分行接入测试等工作。

4.2 演练准备工作任务描述 序号 工作内容 完成时间 1 签报 5月17日 确认XX、XX终端IP地2 址及参演人员 5月17日 方案修改，包含人员联系表、分时计划、领导讱话稿、人员签到表、3 检查记录表、演练记录5月17日 49

灾备室负责人 配合处室 XX、XX分行 表 开发三室 技术与业务测试室 XX分行 各处室和分行 网络管理室 XX分行 XX分行 XX分行 XX分行 网络管理室 网络管理室 4 参演系统版本同步 5月17日 5 业务验证案例 6 准备培训材料 7 XX分行进行案例测试 方案评审及会议纪要发8 布 9 ITSM网络变更提交 总行及XX灾备网络环10 境测试准备 11 灾备中心数据环境准备 分行演练环境检查及培12 训-XX 13 业务案例测试-XX 分行演练环境检查及培14 训-XX 15 业务案例测试-XX 总行及XX灾备网络环16 境测试恢复 17 分时计划修订 18 ITSM网络变更提交 总行及XX灾备网络环19 境演练准备 20 演练通知提醒 5月17日 5月17日 5月19日 5月20日 5月21日 5月23日 5月23日 5月26日 5月26日 5月26日 5月26日 5月26日 5月28日 5月28日 5月31日 5月31日 50

本文来源：https://www.bwwdw.com/article/e6st.html