网络项目割接方案V1.8

中烟集团数据中心网络

项目割接方案

华为技术服务有限公司 Huawei Technologies Co., Ltd.

2017年6月

文文当创档档前建名类版日称 别 中烟集团数据中心网络项目设备割接方案 技术文档 ■ 工程文档 □ 项目文档 □ 服务文档 □ 培训文档 □ 运维文档 □ 其他 □ 本 1.1 期 2017.6.7

数据中心网络项目割接方案

文档密级：

文档主送部门 中烟集团数据中心 文联档系作方者 式 修订记录

修改记录 V1.0 V1.1 日期 2017.6.1 2017.6.8 修改人

审阅人 摘要 ? 建立文档 ? 建立文档

2017-8-9

第2页, 共24页

数据中心网络项目割接方案

文档密级：

目 录

第一章 割接说明 ............................................................................................................................................... 4

1.1 总体说明 ................................................................................................................................................ 4 1.2 人员安排 ................................................................................................................................................ 4 1.3 物料备件准备 ........................................................................................................................................ 5 1.4 组网结构 ................................................................................................................................................ 7

1.4.1 割接前组网结构 ....................................................................................................................... 7 1.4.2 割接后组网结构 ....................................................................................................................... 7

第二章割接规划 ................................................................................................................................................... 9

2.1 设备端口规划 ........................................................................................................................................ 9 2.2 设备标签以及描述 ................................................................................................................................ 9 第三章割接步骤 ................................................................................................................................................. 11

3.1 离线测试 .............................................................................................................................................. 11 3.2 运行情况信息收集 .............................................................................................................................. 11 3.3 备份数据 .............................................................................................................................................. 11 3.4 割接动作 .............................................................................................................................................. 11 第四章测试验证 ................................................................................................................................................. 19

4.1 测试验证内容 ...................................................................................................................................... 19

4.1.1 设备状态检查 ......................................................................................................................... 19

第五章回退机制 ................................................................................................................................................. 20

5.1 故障判断 .............................................................................................................................................. 20 5.2 紧急回退 .............................................................................................................................................. 21 第六章风险评估 ................................................................................................................................................. 22

6.1 风险评估 .............................................................................................................................................. 22 第七章守局方案 ................................................................................................................................................. 22

1、守局目的： ........................................................................................................................................... 22 2、职守方式 ............................................................................................................................................... 22 3、管理制度 ............................................................................................................................................... 22 4、守局值班安排 ....................................................................................................................................... 23 第八章配置模板 ................................................................................................................................................. 24

2017-8-9

第3页, 共24页

数据中心网络项目割接方案

文档密级：

第一章 割接说明

1.1 总体说明

建设单位 施工单位 割接局点 涉及设备及版本号 割接及测试时间段 回退时间段 升级/割接简述： 本次设备替换为,我司的CE12804替换现网的Cisco Catalyst 6509设备，USG6600替换现网的juniper设备。对原有硬件设备进行替换，涉及业务改变，原来的OTV将采用VXALN技术替代，其它配置原则上采用原有配置,接口地址有部分改变，由于设备软件版本不同命令会有变化，不对网络结构以及流量走向做改变。 集团 华为技术有限公司、北京银信长远科技股份有限公司 中烟集团数据中心网络和营销中心 CE12804V200R001 USG6600V500R001 CE6851V200R001 2017-6-17 08:00至2017-6-1813:00 13:00-21:00 升级/割接影响： ? 此次操作将会影中断网络约2天。

1.2 人员安排

客户配合人员： 小组编号 1 2 3 华为公司人员： 小组编号 1 2 3 2017-8-9

割接人员 割接人员

单位 施工单位 联系电话 联系电话 第4页, 共24页

数据中心网络项目割接方案

文档密级：

4 北京银信人员： 小组编号 1 2 3 4 其它人员： 小组编号 1 2 2 4 5 6 7 8

后端保障人员 小组编号 1 2 3 割接人员 割接人员 施工单位 施工单位 联系电话 联系电话 保障人员 施工单位 联系电话 1.3 物料备件准备

物料名称 数量 提供方 备注（物料Bom编码） 光纤跳线 光功率计 2017-8-9

若干条 1

需要根据现场机房情况确客户 定（单模/多模/长度/接口类型） 客户/集成商 第5页, 共24页

数据中心网络项目割接方案

文档密级：

备用光模块 10 备用网线 线缆标签

客户 客户/集成商 集成商 使用本期采购未使用模块 原有网线长度不够或失效情况下使用 若干 若干

2017-8-9

第6页, 共24页

数据中心网络项目割接方案

文档密级：

1.4 组网结构

1.4.1 割接前组网结构

?

原中烟数据中心和营销中心现有核心交换机Cisco Catalyst 6509和广域网路由器Cisco 7606已运行多年，系统容量不足、故障率升高。 组网如下图：

1.4.2 割接后组网结构

核心区两台CE12804（数据中心级交换机）横向堆叠成一台设备，然后虚拟成两台VS，数据中心VS与园区网VS与数据中心中间通过两台USG6650互联，中间USG6650防火墙进行安全控制，USG6650防火墙双机热备；数据中心VS设备通过波分链路与CE6851对接，实现VXLAN的分步式网关。园区网部署一个VS作为汇聚交换机，与互联网USG6650互联，提供安全控制。

割接后组网图如下：

2017-8-9

第7页, 共24页

数据中心网络项目割接方案

文档密级：

1、数据中心组网图：

VXLAN设计图：

2017-8-9

第8页, 共24页

数据中心网络项目割接方案

文档密级：

第二章 割接规划

VLAN，策略等沿用原有数据不做新规划，IP设备端口互联用原有互联地址，根据网络拓扑做部分规划，具体见附件：中烟集团数据中心网络和营销中心网络项目LLD1.3。

2.1 设备端口规划

具体接口连接根据中烟集团数据中心网络和营销中心网络项目LLD1.3，现场配置再做具体调整；

2.2 设备标签以及描述

设备标签根据现有条件制定 例如：

设备编码 ： 设备用途 ： 安装位置 ： 管理地址 ：

xxxx

xxx

－ xxxxxx

XXX机房

2017-8-9

第9页, 共24页

数据中心网络项目割接方案

文档密级：

线缆标签模板：

集团 Fr:设备名称 接口 集团 To:设备名称 接口

例如：

集团 集团 Fr:HW_CE12804 X1/0/1/0 To:6F_HW_USG66502/0/0

2017-8-9

第10页, 共24页

数据中心网络项目割接方案

文档密级：

第三章 割接步骤

3.1 离线测试

在割接前对可预料的风险进行了离线测试，在割接前做好了充足准备规避相关风险，在未通过以下测试情况下不进行割接：

1，验证Cisco 4506千兆光口与CE12800千兆光口对接是否成功。

2，CE12800设备多模万兆单板千兆模块与USG6650多模千兆光口对接是否成功。 3，验证万兆模块在千兆多模/多模链路运行情况。 4，接口地址对应是否正确。 5，板卡热插拔，电源模块热插拔。

6，VXLAN分步式网关测试，倒换测试，检查测试是否正常。 7，Cisco4506生成树协议与华为生成树协议对接。

3.2 运行情况信息收集

1,收集现网C6509 C4506 juniper C7606 ASA5580配置 2，接口状态

3，ARP表，MAC表，路由表

3.3 备份数据

保存现网设备配置至计算机。

3.4 割接人员分组及安排

由于割接工作跨越了两个机房，需要安排两组人员在两个机房实施，

2017-8-9

第11页, 共24页

3.5 割接动作

序号 时间 实施内容 操作步骤 1、设备安装、调试。 预期结果、检查方法 人员安排 1 割接前一周 1.1 割接前一周 1.2 割接前一周 2、线路铺设，完成本部与卷烟割接前准备工作 厂机房的线路布放，并且在割接前一周确认需要布放的线缆无误。 1、检查设备配置，确认配置无误。 2、将需要替换的光纤跳线铺设至相应机柜，割接线缆做好标光纤跳线铺设，线缆做好标签，设备脚本签。细化网线和尾纤的标记方导入加电待命。 法：网线在配线架侧均做好标签，光纤在主机侧做好标签且要与需要割接的光纤的绑在一起，方便万一回滚。 1、设备安装，线路连接。需要在割接确认完全无任何问题，例如OSPF，BGP等。 CE12804、CE6851、防火墙、各接入交换机2、波分设备安装配置完成，且联通，设备状态正常 完成与卷烟厂机房对接完成。 3、光纤交换机需放线至新的OSN1800(待完成)EMC人员负责 成功/PING通对端设备，OSPF、BGP 邻居关系正常。（华为）

数据中心网络项目割接方案

文档密级：

2 08:00-09:30 Vxlan割接 将C6509,N7000互联端口shutdown。 完成，集成商、华为、数据库/主机人员 2.1 08:00-08：10 C6509,N7000互联端口shutdown,不下电。 2.2 08:10-08：30 完成CE6851、N5548线路对接，CE6851、N5548对接，N5000二层、生成树将新布线接至N5000，生成树状 数据配置更改。 态检测 Oracle RAC、 HA环境接入 2.3 08:30-09：00 2.4 09:00-09:30 Vxlan调通后，安排一组ORACLE RAC/DB21、 Vxlan联通后,将网口连至新群集，首先联机进行测试，测试内容包括装交换机，oracle工程师确系统状态和切换措施，确认RAC及群集可认RAC集群状态及业务是否 正常工作(在此之后需把网口速率升成正常 。 10GE) 2、 确认业务正常后，需要把IBM P750网口速率升成10GE ORACLE RAC/DB2群集业务观察，测试结果Oracle RAC、 HA环境测试。 确认 对数据进行对比，路由、MAC、ARP表项查看。 视情况处理问如第2.4步测试业务不正常，进行问题排2.5 题，时间不超过2查。 小时 如不能排除，将进行回退，后面步骤不再2.6 执行 2.7 2.8 2017-8-9

建议在配置更改时不做保存，等 业务正常后保存，便于回退 第13页, 共24页

回退测试 割接终止

数据中心网络项目割接方案

文档密级：

3 9:30-11：30 1、部分服务器把网卡升至10GE,服务器迁移 部分服务器把网卡升至10GE 需厂家和集成商完成配置,更换光模块，修改服务器配置。 1、数据中心，服务器接至接入交换机上。PC-SERVER在配线架侧依次跳线。 2、小型机需要主机侧完成换线 操作，有些小型机运行双机业务，需维保厂家在完成换线操作后确认主机状态。 检查各项业务的运行情况。 3.1 9:30-10:30 线缆迁移，服务器接入。 3.2 9:30-11:00 视情况处理问3.3 题，时间为1小时 3.4 3.5 3.6 4 业务观察，测试结果确认 如第3.2步中ERP、SEM或有超过30台服对数据进行对比，路由、MAC、务器测试业务不正常，进行问题排查。 ARP表项查看。 如不能排除，将进行回退，后面步骤不再建议在配置更改时不做保存，等 执行 业务正常后保存，便于回退 回退测试 割接终止 完成（深信服,集成商、华为） 10:00-12：00

互联网割接 第14页, 共24页

2017-8-9

数据中心网络项目割接方案

文档密级：

10:00-10:30 互联网设备线路连接 完成USG6650、AD4000、Cisco 3560连线与配置 成功/PING通对端设备，OSPF、邻 居关系正常。（深信服,集成商、华为） 10:30-11:00 11:00-12:00 AD4000配置 互联网业务测试 将原有ISG1000的PAT/NAT配置转移深信服 到AD4000（周末做好配置，不启用） （各业务测试人员） 3.4 3.5 5 12:30-14:00 成功/PING通对如互联网业务测试不通过,预计在1个小建议在配置更改时不做保存，等端设备，OSPF、BGP时内不能排除，将进行互联网割接项目的 业务正常后保存，便于回退 邻居关系正常。单独回退 （华为、集成商） 回退后，业务检查回退测试 （各业务测试人 员） 广域网割接 5.1 12:30-13:00 5.2 13:00-13:30 2017-8-9

成功/PING通对端设备，OSPF、邻居将新布线接至CE12804，Cisco 进行广域网USG6650，广域网设备的割接。 关系正常。 7606 （C7606）人员安排、华为） 华为、集成商、各测试广域网链路，检查邻居关系网络测试 卷烟厂网络管理 和链路。 人员

第15页, 共24页

数据中心网络项目割接方案

文档密级：

5.3 13:00-14:00 视情况处理问5.4 题，时间为1小时 5.5 业务测试 如第12步测试业务不正常，进行问题排查。 检查各项业务的运行情况。 对数据进行对比，路由、MAC、ARP表项查看。 （各业务测试人员） 是否能解决 回退后，业务检查如不能排除，将进行回退，后面步骤不在建议在配置更改时不做做存，等（各业务测试人 执行 业务正常后保存，便于回退 员） 园区网割接 园区网设备联线与配置 6 14:00- 华为、集成商 6.1 14:00-14:30 楼层接入交换机、CE12804、无线控制器联线 测试WLAN业务正常上网，出口业务访问与园区网与数据中心的互访联网访问园区网与数据中心 6.2 14:30-15:00 园区网网络测试 华为、集成商、客 户安排人员测试 成功（各测试人员） 是否能解决 6.3 15:00-16:00 视情况处理问6.4 题，时间为1小时 6.5 园区网业务测试 检查各项业务的运行情况。 对数据进行对比，路由、MAC、ARP表项查看。 回退后，业务检查建议在配置更改时不做做存，等（各业务测试人 业务正常后保存，便于回退 员）

第16页, 共24页

2017-8-9

数据中心网络项目割接方案

文档密级：

7 16:00-17:00 对各业务观察，再次确认业务是否正常 所有测试结果用表格形势反馈 割接完成 2017-8-9

第17页, 共24页

割接时间窗为2017-6-17 08:00到2017-06-1817：00，保留序号1-7进行,具体时间根据现场情况作调整。

其中分别为VxLan、服务器、互联网、广域网、园区网各保留2小时、1小时、1小时、1小时、1小时排故时间，总计保留6个小时的排故时间，因此，本次实施原则上断网时间为D日上午8点至D+1日1点，D+1日1点至17：00为意外应急时间。

数据中心网络项目割接方案

文档密级：

第四章 测试验证

4.1 测试验证内容

目前了解的有数据业务，广域网接入业务等。 序号 1 测试项目 操作及预期 互联网正常访问各大网站，收发邮件，登陆各业备注 互联网业务 务系统办公，测试WLAN业务正常上网，出口业务访问与园区网与数据中心的互访 2 3 4 数据业务 数据中心VXLAN正常访问，断开主链路后，VXLAN业务是否正常切换 PING通对端网关IP。 实际使用视频会议系统，图形无卡顿乱码，语音清晰。 开会时选择3-4个应用 广域网接入业务 视频会议业务 5 Vxlan业务 ORACLE RAC/DB2群集，联机进行测试，测试内容包括系统状态和切换措施，确认RAC及群集可正常工作 4.1.1 设备状态检查

1，设备CPU占用率/内存占用率

2，接口错包统计，接口UP，MAC表，ARP、对比路由表与割接前收集数据对比。

接口错包统计:display this interface brief

在链路端口下查看端口状态是否UP：display this interface

查看接口下MAC地址学习情况:display mac-address

查看接口下ARP表项:display arp

对比路由表:dis ip route-table

2017-8-9

第19页, 共24页

数据中心网络项目割接方案

文档密级：

第五章 回退机制

为防止割接过程中出现不可预料的异常，我们制定了相应的回退机制。针对割接时间窗内操作预期可能存在的风险项定义应对方案。

如果出现以下情况在预定时间窗内不能恢复，则进行回退操作。 变更失败定义:

1，波分链路、以太网链路无法UP。 2，各路由协议状态不正常。 3，验证测试不通过。

4，所带业务出现中断或者时延较大，在60分钟之内如不能恢复正常。 5、割接计划中说明的其他事项

5.1 故障判断

故障情况 操作步骤 检查链路光功率，端口协商状态，波分链路、以太网链路无法UP 预期结果、检查方法 业务恢复/回退 更换模块。检查网线连通性，更换网线。时间窗内排除直接回退。 检查配置，根据状态信息排查。时路由协议不正常 间窗内排除直接回退。 出现单个电源模块失效、主控单模块运行，在24小时内更换。时间窗内排除直接回退。 板、业务板失效。 业务出现中断或者时延较大 VXLAN对接不成功 业务恢复/回退 业务恢复/回退 业务恢复/回退 业务恢复/回退 时间窗内排除直接回退。 检查配置，根据状态信息排查。时间窗内排除直接回退。 ORACLE RAC/DB2群集，首先联机进行测试，测试内容包括系统状态和切换措施，确认RAC及群集可正常工作 测试WLAN业务正常上网，出口业务访问与园区网与数据中心的互访联网访问园区网与数据中心，时间窗内排除直接回退。 测试广域网业务，测试不成功，时间窗内排除直接回退。 VXLAN对接成功 业务恢复/回退 互联网USG6650割接 业务恢复/回退 广域网设备的割接。 2017-8-9

业务恢复/回退 第20页, 共24页

数据中心网络项目割接方案

文档密级：

5.2 紧急回退

具体回退步骤：

1， 线缆拆除，恢复原有设备线缆连接。 2， 原设备互联端口打开。

5.3 应急计划：

广域网、园区网割接时出现以下情况且无法在1个小时内解决，将考虑进行应急： 1、 多个广域网节点无法接入

2、 园区网接入交换机出现故障，导致多个楼层无法连接网络 3、 WLAN系统失效，wifi用户无法连入

4、 出现设备不稳定或用户访问系统速度慢的问题 5、 其他尚未预见的问题

主要措施：

1、 系统暂时放弃主备架构，修改为单设备或单线路运行 2、 安排在周日进行单项故障排查

2017-8-9

第21页, 共24页

数据中心网络项目割接方案

文档密级：

第六章 风险评估

在第三章-离线测试部分在割接前对可预料的风险进行了离线测试，在割接前做好了充足准备规避相关风险，在未通过测试情况下不进行割接。

6.1 风险评估

风险项 CISCO设备与华为设备千兆-千兆接口对接失败 波分设备与CE12804与CE6851接口对接失败 万兆模块在千兆光纤上光功率衰减过大掉包。 CE12800设备多模万兆单板插千兆模块与USG6650多模千兆光口对接是否成功 CE1280、CE6851与思科交换机对接，生成树需一致 发生可能性 应对措施 割接前测试验证，更换匹高 配模块 割接前测试验证，更换匹中 配模块 割接前测试验证，更换匹中 配模块 割接前测试验证，更换匹中 配模块 中 很小 割接前测试验证 单模块运行，申请备件 板卡，电源模块失效 第七章守局方案

1、守局目的：

为保障割接后设备的稳定运行，提前发现设备隐患或客户网络方案问题，减少对业务的影响，充分调配现有的人力资源，特制定此管理制度。

2、职守方式

本次割接的设备在市局点,此项目采用现场守局，确保能够在发现问题的第一时间进行处理。

3、管理制度

1、 一旦出现影响业务的状况和其他紧急情况，第一时间通知项目组负责人以及远程保障人员。

2017-8-9

第22页, 共24页

数据中心网络项目割接方案

文档密级：

2、 一般问题请与设备接口人联系，如果有现场职守人员，同时通知现场职守人员。 3、 守局人员（不管是否在守局状态）、后方支持人员手机一定要保持24小时畅通。

4、 守局人员根据值班表安排，在现场值守我司设备运行状况，并同时紧急处理设备突发情况；如

有特殊情况提前电话通知工程负责人，不得擅自脱岗。

4、守局值班安排

割接/守局人员名单

姓名

电话 地点 2017-8-9

第23页, 共24页

数据中心网络项目割接方案

文档密级：

第八章配置模板

2017-8-9

第24页, 共24页

本文来源：https://www.bwwdw.com/article/we1d.html