中国平安机构直联项目MPLS VPN技术方案

中国平安机构直联项目

技术实施方案

（V8. 0版本）

中国电信集团股份有限公司

二○○八年十月

中国平安机构直联项目实施方案

目 录

1 2

前言......................................................................................................................... 4 客户组网需求......................................................................................................... 4 2.1 客户网络现状........................................................................................... 4 2.2 客户组网需求........................................................................................... 5 组网技术方案......................................................................................................... 7 3.1 组网原则................................................................................................... 7 3.2 总体组网方案........................................................................................... 8

3.2.1 自治域划分........................................................................................ 9 3.2.2 RD/RT设计 ..................................................................................... 10 3.2.3 VRF设计 ......................................................................................... 11 3.2.4 PE与CE的接口及路由规范 ......................................................... 13 3.3 中心节点组网方案................................................................................. 14

3.3.1 内部路由策略建议.......................................................................... 15 3.3.2 BGP路由策略 ................................................................................. 17 3.4 二级分支机构组网方案......................................................................... 22

3.4.1 内部路由策略建议.......................................................................... 23 3.4.2 BGP路由策略 ................................................................................. 24 3.5 三、四级分支机构组网方案................................................................. 26

3.5.1 内部路由策略建议.......................................................................... 26 3.5.2 BGP路由策略 ................................................................................. 26 3.6 互联网出口方案..................................................................................... 27 3.7 IP地址规划 ............................................................................................ 28 3.8 QoS部署 ................................................................................................ 28

3.8.1 QoS设计 ......................................................................................... 28 3.8.2 QoS实施方案 ................................................................................. 30

3.8.2.1 PE QOS方案 ..................................................................... 31 3.8.2.2 CE QOS方案建议 ............................................................ 33

3.9 网络高可用性实现................................................................................. 38

3.9.1 平安深圳、上海IDC接入高可用性设计 ..................................... 38 3.9.2 重要机构网点接入高可用性设计.................................................. 38 接入设计............................................................................................................... 39 4.1 接入设备配置要求................................................................................. 39 4.2 接入方式................................................................................................. 39 网管专家服务配置............................................................................................... 40 相关风险说明....................................................................................................... 42 遗留问题跟踪....................................................................................................... 44

3

4

5 6 7

第2页 / 共44页

中国平安机构直联项目实施方案

文档控制

版本历史

更改日期 0108 0110 0128 0203 0220 0230 0312 版本 1.0 1.1 1.1 1.2 2.0 3.3 4.0 部门及更改人 版本说明 0322 0329 0409 1015 5.0 6.0 7.0 8.0 新建 增加3.4 网络高可用性实现 增加六、七、九、十 章 增加第四章 完善了第三章,取消第8章组播和第十二章网点割接 征求意见稿 深圳交流听取客户交流反馈意见，对组网结构、路由及QOS策略也进行优化调整, 增加资源核查。 根据客户反馈意见，进行调整 在内部版基础上，整理对外版本 根据新的拓扑互访需求，调整RT/RT/VRF设计 根据客户在10月份与集团项目组确认的网络互访关系，调整部分设计

第3页 / 共44页

中国平安机构直联项目实施方案

1 前言

本实施方案是在技术建议书和分析报告的基础上，结合平安目前的网络现状和网络运行而制订的，目的是为了能全面细致的描述中国平安保险(集团)股份有限公司机构直联组网的技术实施内容从而达到并满足平安的业务和网络发展需求以及按照技术建议书中的设计方案高质量的完成工程建设目标。

本方案按照技术划分为以下部分----客户组网需求、组网技术方案、接入设计、网管专家服务配置、相关风险说明等方面。

2 客户组网需求

2.1 客户网络现状

中国平安的信息化建设处于国内前列，目前，其全国IT 系统已经形成了大集中的架构，所有业务系统均在深圳数据中心和上海备份中心，负责进行全国的业务处理。中国平安目前的全国广域网络是一个三层的树状分级结构架构，各省二级机构通过SDH 数字电路连接到深圳数据中心，带宽为2M-8M 不等。本省三级机构通过SDH 数字电路连接到本省的二级机构，带宽2M。

现有网络结构如下图所示：

第4页 / 共44页

中国平安机构直联项目实施方案

2.2 客户组网需求

随着中国平安业务在全国范围内的迅速发展，需要在全国大量县域范围内建立分支机构，为了满足全国范围内县域网点实现广域互连、扁平化管理、迅速提升信息化水平的需求，支持中国平安全国范围内快速部署网点服务机构、迅速拓展业务，县域网点需要采用直接接入到深圳、上海数据中心的联网方式，而不再接入到省一级、二级机构，目的是支持现有的、先进的全国集中式IT 网络架构，减少对现有网络的改造和调整。

基于上述项目需求，选择中国电信 CN2 网络，基于MPLS VPN 技术实现全国网点机构包括银行等网点直联深圳、上海数据中心的组网的需求。此次项目的整体解决方案框架示意图如下：

第5页 / 共44页

中国平安机构直联项目实施方案

本项目全国新建一个扁平化的VPN网，平安各三、四级机构将不再进行省内汇聚，直接访问深圳、上海平安集团总数据中心，平安所有机构（网点）的CE路由器设备通过专线方式透明接入CN2 ，组建全国互连的VPN 广域网络，从而支持三、四级机构（网点）的业务拓展。

组网互访需求如下：

1) 中国平安VPN全国组网满足所有二、三、四级机构直接访问一级机构

（总部，位于深圳和上海），不同省份的各级机构均不能直接互访； 2) 现阶段省内机构分为产险和寿险两种性质，省内产险和寿险的所有二、

三、四级机构之间可以互访；

3) 实现访问深圳中心节点的业务路由优先双向从深圳出口访问，上海作为

备份出口，避免出现非对称路径；

4) 实现访问上海中心节点业务路由优先双向从上海出口访问，深圳作为备

份出口，避免出现非对称路径；

5) 同一机构双方向接入链路为主备关系，同方向链路实施负载分担； 6) 深圳和上海总部之间的业务访问，直接通过内部互联链路； 7) 各分支机构访问互联网采用互联网代理方式，互联网访问只使用深圳出

口；

8) 对于合作伙伴，将其等同为扁平化网络结构下的一个分支机构，采用相

同的方式接入VPN，并且访问流向模型应该为仅能访问深圳、上海数

第6页 / 共44页

中国平安机构直联项目实施方案

据中心。为了保障业务数据的安全性和访问的安全性，对合作伙伴能够访问的区域和数据进行隔离。

中国平安VPN网络业务承载需求如下：

1) 视频业务：一级机构和二级机构部署MCU，二级机构和一级机构的视

频会议互访需求，二级机构和三级机构之间有互访需求，最优先保障视频会议的服务质量，每路视频会议使用384kps带宽。

2) 需要保障企业ERP关键应用质量，ERP应用均使用通过IPSEC进行加

密传输，在发生拥塞情况下，按预留带宽进行服务质量保障，优先级别低于视频业务。

3) 企业网络其它应用：包括邮件、FTP服务等互联网业务访问，在发生拥

塞情况下，按预留带宽进行服务质量保障，优先级别最低。

3 组网技术方案

3.1 组网原则

（1）网络的可靠性：对重要网络节点，采用双电路接入双PE方式，通过动态路由协议，提高网络的自愈能力，避免出现单故障点。

（2）流量的负载分担：必须使网络的流量能够比较合理地分布在各条电路上。

（3）网络的扩展性：使得网络的扩展可以在现有的网络的基础上通过简单的增加设备和提高电路带宽的方法来解决。

（4）对业务流量模型变化的适应性：未来网络的业务流量模型将会随业务的发展而发生变化，可以通过QOS策略及带宽调整进行匹配。

（5）降低管理复杂程度：路由协议选择应使得故障定位和流量调整的难度和复杂性降低。

第7页 / 共44页

中国平安机构直联项目实施方案

3.2 总体组网方案

深圳电脑中心上海电脑中心EIGRPIPSEC GW1IPSEC GW2IDC CE1IPSEC GW1EIGRPIDC CE1IPSEC GW1ASBRIDC CE1IDC CE2ASBRASBRASBRNxGEEBGPNxGEEBGPEBGPNxGEEBGPNxGEPEPEPEPECN2 NetworkPEPE4M-30M2M2M2M4M-30M????????分支机构分支机构

本项目组网方案中，采用“星形＋部分网状”组网模式。其中全国组网满足二、三、四机构直接访问1级总部（深圳和上海），为星形组网；同省的二、三、四级机构（包括不同性质的机构）之间也能互访，为部分网状组网。

对于合作伙伴，将其等同为扁平化网络结构下的一个分支机构，采用相同的方式接入VPN，并且访问流向模型应该为仅能访问深圳、上海数据中心。为了保障业务数据的安全性和访问的安全性，中国电信建议对合作伙伴能够访问的区域和数据进行隔离。

第8页 / 共44页

中国平安机构直联项目实施方案

分支机构分支机构eigrp分支机构eigrpeigrpEIGRP 888eigrpeigrpeigrpeigrp深圳IDC CE 1深圳IDC CE 2上海IDC CE 1上海IDC CE 2AS 23848ebgpebgpebgpebgpCN2 AS4809ebgpebgpebgp分支机构分支机构分支机构IP专线 TDM专线

3.2.1 自治域划分

深圳和上海使用一个AS号，二级机构复用同一个AS号，三、四级机构复用同一个AS号，AS号资源分配如下：

中心网络，包括:深圳IDC站点、上海IDC站点，深圳中心、上海中心采用原有BGP AS 23848。

二级机构AS：65132； 三、四级机构站点AS：65133； CN2 AS号4809。

第9页 / 共44页

中国平安机构直联项目实施方案

3.2.2 RD/RT设计

RD设计：由于要继承旧版方案的设计，因此使用5个RD号，区分一级机构（总部）、产险二级机构、寿险二级机构、产险三、四级机构、寿险三、四级机构。

根据组网访问需求，VPN采用“星形＋部分网状”的体系结构，全国二、三、四级机构均可访问总部；同省的所有二、三、四级机构可互访，跨省机构间不可直接互访。

由于同省的所有二、三、四级机构要求能互相访问，由于相同等级的机构使用相同的AS号， PE上应开启AS-Overide。

RT设计思路：

1) 总部和二、三、四级机构之间的通信：分配一对RT（AAAAA00和AAAAA01）； 2) 省内二、三、四级机构之间的通信：以省为单位分配一个RT（AAAAA10～50）。

RD/RT规划如下：

表 1 平安保险RD/RT分配表 VPN RD 总部RT 平安保险 AAAAA AAAAA00 所有二、三、四级机构RT AAAAA01 省份 安徽 北京 重庆 福建 甘肃 广东 广西 贵州 海南 河北 河南 黑龙江 湖北 湖南 吉林 江苏 江西 辽宁 内蒙古 宁夏 省内二、三、四级机构RT AAAAA10 AAAAA11 AAAAA12 AAAAA13 AAAAA14 AAAAA15 AAAAA16 AAAAA17 AAAAA18 AAAAA19 AAAAA20 AAAAA21 AAAAA22 AAAAA23 AAAAA24 AAAAA25 AAAAA26 AAAAA27 AAAAA28 AAAAA29 一级机构（总部）RD：AAAAA 产险二级机构RD：AAAAA+1 寿险二级机构RD：AAAAA+2 产险三、四级机构RD：AAAAA+11 寿险三、四级机构RD：AAAAA+12 第10页 / 共44页

中国平安机构直联项目实施方案

青海 山东 山西 陕西 上海 四川 天津 西藏 新疆 云南 浙江 预留 AAAAA30 AAAAA31 AAAAA32 AAAAA33 AAAAA34 AAAAA35 AAAAA36 AAAAA37 AAAAA38 AAAAA39 AAAAA40 AAAAA41~50 3.2.3 VRF设计

VRF命名为：CTVPNAAAAA-pingan， VRF设计如下： ? 总部（深圳和上海） ip vrf CTVPNAAAAA-pingan

description PingAn VPN in ShenZhen rd 4809:AAAAA

route-target import 4809:AAAAA00 4809:AAAAA01 route-target export 4809: AAAAA00

ip vrf CTVPNAAAAA-pingan

description PingAn VPN in Shanghai rd 4809:AAAAA

route-target import 4809:AAAAA00 4809:AAAAA01 route-target export 4809: AAAAA00

? 二级总部（安徽产险） ip vrf CTVPNAAAAA+1-pingan

description PingAn VPN in AnHui_chanxian rd 4809:AAAAA+1

route-target import 4809:AAAAA00

第11页 / 共44页

中国平安机构直联项目实施方案

route-target import 4809:AAAAA10 route-target export 4809:AAAAA01 route-target export 4809:AAAAA10

? 二级总部（安徽寿险） ip vrf CTVPNAAAAA+2-pingan

description PingAn VPN in AnHui_shouxian rd 4809:AAAAA+2

route-target import 4809:AAAAA00 route-target import 4809:AAAAA10 route-target export 4809:AAAAA01 route-target export 4809:AAAAA10

? 三、四级分支（安徽蚌埠产险）: ip vrf CTVPNAAAAA+11-pingan

description PingAn VPN in Bengbu_chanxian rd 4809:AAAAA+11

route-target import 4809:AAAAA00 route-target import 4809:AAAAA10 route-target export 4809:AAAAA01 route-target export 4809:AAAAA10

? 三、四级分支（安徽蚌埠寿险）: ip vrf CTVPNAAAAA+12-pingan

description PingAn VPN in Bengbu_shouxian rd 4809:AAAAA+12

route-target import 4809:AAAAA00 route-target import 4809:AAAAA10 route-target export 4809:AAAAA01 route-target export 4809:AAAAA10

第12页 / 共44页

中国平安机构直联项目实施方案

3.2.4 PE与CE的接口及路由规范

1. 考虑IPSEC开销， PE-CE 接口MTU要求配置1620，其它参数根据业务配置

规范。

2. 对于分支机构接入到PE的接入点，为防止远端故障，以及简化后续的维护

工作量，建议优先采用EBGP。

3. 由于省内二、三、四级机构有互访需求，同时相同等级的机构采用同一个AS

号，因此建议在所有的PE-CE链接中，启用AS-Override。

4. 由于总部和二、三级分支机构站点大部分是双CE-PE链路接入，为避免路由

环路，建议客户在CE上配置route-map，避免学到本站点另一个CE所宣告的汇总路由网段。

5. 为防止不同层级的分机机构互访，禁止从中心节点或二级机构站点CE向PE

发送非本站点的其它站点的路由。

6. 对于CE采用双归接入到PE的接入点，无论采用主备路由策略或负载分担，

建议均通过CE作路由策略。

7. 根据VPN调单，对路由数量控制的策略，对一、二、三、四级机构，PE按每

个VPN端口（per port）限制接受CE最大路由条目分别为： 1) 一级机构：1000 2) 二级机构： 20 3) 三四级机构：3

对一、二级机构，在路由条目数超过90%产生告警，过设定值时进行BGP链接重启，重启周期为30分钟 。

对三、四级机构，在路由条目数超过设定值时进行BGP链接重启，重启周期为30分钟 。 8. BGP参数要求：

1) 不采用认证。

2) 对中心站点PE和CE,EBGP ebgp-multihop 2；其它站点采用缺省1。 3) Timer设置： keepalive设为30s，hold time设为90s。（如以太PE-CE

第13页 / 共44页

中国平安机构直联项目实施方案

接入：keepalive设为10s，hold time设为30s）。 4) 允许发送和接受标准community。

5) CE关闭BGP路由波动抑制；PE打开BGP路由波动抑制。 6) 打开BGP eBGP多路径maximum-paths 8。 7) 关闭BGP自动路由汇总特性。 8) 关闭BGP与IGP的同步要求。

9) Cisco路由器专有特性：打开bgp deterministic-med。 10) 统一对未携带MED属性的路由视为MED=0。 11) PE 采用重分发的方式将直连路由导入BGP。

3.3 中心节点组网方案

路由策略示意图如下所示：

1) 实现访问深圳中心节点的业务路由优先双向从深圳出口访问，上海作为

备份出口，避免出现非对称路由；

2) 实现访问上海中心节点业务路由优先双向从上海出口访问，深圳作为备

份出口，避免出现非对称路由；

3) 深圳和上海总部之间的业务访问，直接通过内部互联链路。

第14页 / 共44页

中国平安机构直联项目实施方案

深圳总部A.A.A.A:上海总部超大IGP Metric M1B.B.B.BS4S1S2S3S4IPSEC GW1Metric M2汇总静态路由分发CE1EBGPLoacal_pre 200A.A.A.A: MED 0B.B.B.B: MED 70EIGRP: 888IPSEC AS: 23848GW2Metric M3汇总静态路由分发CE2EBGPLoacal_pre 100A.A.A.A: MED 10B.B.B.B: MED 100IBGPMetric M2汇总静态路由分发EBGPLoacal_pre 200B.B.B.B: MED 0A.A.A.A: MED 70CE3IPSEC GW3CE4IPSEC GW4Metric M3汇总静态路由分发EBGPLoacal_pre 100B.B.B.B: MED 10A.A.A.A: MED 100CN2 AS: 4809优先EBGPIBGP优先EBGP二级分支机构三、四级分支机构

3.3.1 内部路由策略建议

深圳和上海内部配置EIGRP构建内部路由；深圳和上海的之间链路的IGP 设置超大Metric M1 （M1>>M2,M1>>M3，M3>>M2）。

深圳总部两台CE至两台PE的两条链路按主备策略实施。

在深圳和上海出口CE配置如下汇总静态路由并分发到EIGRP （Metric M2 M3），分发的metirc要远小于M1，

IP route 10.0.0.0 255.0.0.0.0 next-hop PE_loopback IP route 172.16.0.0 255.255.0.0.0 next-hop PE_loopback IP route 192.168.0.0 255.255.0.0 next-hop PE_loopback

在分发的同时，要配置route-map 和ip_prefix来控制具体是哪条路由。 具体的配置模板如下：

第15页 / 共44页

中国平安机构直联项目实施方案

深圳CE1：

ip route 10.0.0.0 255.0.0.0 下一跳对应PE的loopback地址 ip route 172.16.0.0 255.255.0.0 下一跳对应PE的loopback地址 router eigrp 888 no auto-summary

redistribute static metric 10000 100 255 255 1500 route-map toEigrp route-map toEigrp permit 10 match ip address prefix-list plVpn

ip prefix-list plVpn seq 10 permit 172.16.0.0/16 ip prefix-list plVpn seq 20 permit 10.0.0.0/8

深圳CE2：

ip route 10.0.0.0 255.0.0.0 下一跳对应PE的loopback地址 ip route 172.16.0.0 255.255.0.0 下一跳对应PE的loopback地址 router eigrp 888

redistribute static metric 10000 1000 255 255 1500 route-map toEigrp

route-map toEigrp permit 10 match ip address prefix-list plVpn

ip prefix-list plVpn seq 10 permit 172.16.0.0/16 ip prefix-list plVpn seq 20 permit 10.0.0.0/8

上海CE3：

ip route 10.0.0.0 255.0.0.0 下一跳对应PE的loopback地址 ip route 172.16.0.0 255.255.0.0 下一跳对应PE的loopback地址 router eigrp 888

redistribute static metric 10000 100 255 255 1500 route-map toEigrp route-map toEigrp permit 10 match ip address prefix-list plVpn

ip prefix-list plVpn seq 10 permit 172.16.0.0/16 ip prefix-list plVpn seq 20 permit 10.0.0.0/8

第16页 / 共44页

中国平安机构直联项目实施方案

上海CE4：

ip route 10.0.0.0 255.0.0.0 下一跳对应PE的loopback地址 ip route 172.16.0.0 255.255.0.0 下一跳对应PE的loopback地址 router eigrp 888

redistribute static metric 10000 1000 255 255 1500 route-map toEigrp route-map toEigrp permit 10 match ip address prefix-list plVpn

ip prefix-list plVpn seq 10 permit 172.16.0.0/16 ip prefix-list plVpn seq 20 permit 10.0.0.0/8

3.3.2 BGP路由策略

基本具体配置如下：

1) CE和PE之间采用loopback地址 EBGP连接；

2) 深圳的2个CE之间建立IBGP连接；上海的2个CE之间建立IBGP连

接；上海CE不和深圳CE建IBGP。 路由策略如下：

1) 深圳内部汇总路由为A.A.A.A； 2) 上海内部汇总路由为B.B.B.B；

3) 在4个中心站点CE分别通过BGP Network A.A.A.A和B.B.B.B到VPN； 4) 通过MED + Loca_prefrence控制，以控制路由选择优先级以及实现对称

路由；

5) 由于站点是双链路接入，因此要通过route-map配置，避免从PE学到本

站点的网段，防止路由环路； 具体的配置模板建议如下： 深圳CE1：

//也可以使用 aggregate-address summary-only汇聚命令替代静态路由重分发方式进行路由汇聚

Ip route AAA0 255.255.255.0 null0 250 //汇总业务路由

第17页 / 共44页

中国平安机构直联项目实施方案

Ip route BBB0 255.255.255.0 null0 250 //汇总业务路由 router bgp 23848

bgp router-id bgp log-neighbor-changes bgp deterministic-med

neighbor X.X.X.X remote-as 4809 neighbor X.X.X.X ebgp-multihop 2 neighbor X.X.X.X route-map rp-in in neighbor X.X.X.X route-map rp-out neighbor X.X.X.X send-community standard neighbor X.X.X.X update-source loopback 0 neighbor X.X.X.X send-community standard neighbor CE2_loopback0 remote 23848

neighbor CE2_loopback0 send-community standard neighbor CE2_loopback0 update-source loopback 0 maxmum-paths 8

network A.A.A.0 mask 255.255.255.0 network B.B.B.0 mask 255.255.255.0

route-map rp-in deny 10

match ip address prefix-list default-route route-map rp-in permit 20 set local-preference 200

route-map rp-out permit 10

match ip address prefix-list pl-aaaa set metric 0

set community <23848:nn> additive route-map rp-out permit 20

match ip address prefix-list pl-bbbb set metric 70

set community <23848:nn> additive

第18页 / 共44页

中国平安机构直联项目实施方案

ip prefix-list pl-aaaa seq 10 permit aaa0/24 ip prefix-list pl-bbbb seq 10 permit bbb0/24 ip prefix-list default-route seq 10 permit 0.0.0.0/0

深圳CE2：

Ip route AAA0 255.255.255.0 null0 250 //汇总业务路由 Ip route BBB0 255.255.255.0 null0 250 //汇总业务路由

router bgp 23848

bgp router-id bgp log-neighbor-changes bgp deterministic-med

neighbor Y.Y.Y.Y remote-as 4809 neighbor Y.Y.Y.Y ebgp-multihop 2 neighbor Y.Y.Y.Y update-source loopback 0 neighbor Y.Y.Y.Y send-community standard neighbor Y.Y.Y.Y route-map rp-in in neighbor Y.Y.Y.Y route-map rp-out neighbor CE1_loopback0 remote 23848

neighbor CE1_loopback0 send-community standard network A.A.A.0 mask 255.255.255.0 network B.B.B.0 mask 255.255.255.0

neighbor CE1_looback0 update-source loopback 0 maxmum-paths 8

route-map rp-in deny 10

match ip address prefix-list default-route route-map rp-in permit 20 set local-preference 100 route-map rp-out permit 10

match ip address prefix-list pl-aaaa set metric 10

第19页 / 共44页

中国平安机构直联项目实施方案

set community <23848:nn> additive route-map rp-out permit 20 match ip address prefix-list pl-bbbb set metric 100

set community <23848:nn> additive

ip prefix-list pl-aaaa seq 10 permit aaa0/24 ip prefix-list pl-bbbb seq 10 permit bbb0/24 ip prefix-list default-route seq 10 permit 0.0.0.0/0

上海CE1：

Ip route AAA0 255.255.255.0 null0 250 //汇总业务路由 Ip route BBB0 255.255.255.0 null0 250 //汇总业务路由

router bgp 23848

bgp router-id bgp log-neighbor-changes bgp deterministic-med

neighbor Z.Z.Z.Z remote-as 4809 neighbor Z.Z.Z.Z ebgp-multihop 2 neighbor Z.Z.Z.Z update-source loopback 0 neighbor Z.Z.Z.Z send-community standard neighbor Z.Z.Z.Z route-map rp-in in neighbor Z.Z.Z.Z route-map rp-out out neighbor CE2_looback0 remote 23848

neighbor CE2_looback0 update-source loopback 0 maxmum-paths 8

network A.A.A.0 mask 255.255.255.0 network B.B.B.0 mask 255.255.255.0

route-map rp-in deny 10

match ip address prefix-list default-route route-map rp-in permit 20

第20页 / 共44页

中国平安机构直联项目实施方案

set local-preference 200

route-map rp-out permit 10

match ip address prefix-list pl-bbbb set metric 0

set community <23848:nn> additive route-map rp-out permit 20

match ip address prefix-list pl-aaaa set metric 70

set community <23848:nn> additive

ip prefix-list pl-aaaa seq 10 permit aaa0/24 ip prefix-list pl-bbbb seq 10 permit bbb0/24 ip prefix-list default-route seq 10 permit 0.0.0.0/0

上海CE2：

Ip route AAA0 255.255.255.0 null0 250 //汇总业务路由 Ip route BBB0 255.255.255.0 null0 250 //汇总业务路由

router bgp 23848

bgp router-id bgp log-neighbor-changes bgp deterministic-med

neighbor Y.Y.Y.Y remote-as 4809 neighbor Y.Y.Y.Y ebgp-multihop 2 neighbor Y.Y.Y.Y update-source loopback 0 neighbor Y.Y.Y.Y send-community standard neighbor Y.Y.Y.Y route-map rp-in in neighbor Y.Y.Y.Y route-map rp-out neighbor CE1_looback0 remote 23848 network A.A.A.0 mask 255.255.255.0 network B.B.B.0 mask 255.255.255.0

neighbor CE1_looback0 update-source loopback 0

第21页 / 共44页

中国平安机构直联项目实施方案

maxmum-paths 8

route-map rp-in deny 10

match ip address prefix-list default-route route-map rp-in permit 20 set local-preference 100

route-map rp-out permit 10

match ip address prefix-list pl-bbbb set metric 10

set community <23848:nn> additive route-map rp-out permit 20 match ip address prefix-list pl-aaaa set metric 100

set community <23848:nn> additive

ip prefix-list pl-aaaa seq 10 permit aaaa/24 ip prefix-list pl-bbbb seq 10 permit bbbb/24 ip prefix-list default-route seq 10 permit 0.0.0.0/0

3.4 二级分支机构组网方案

情景一：2台PE双链路直连2台CE

情景一

情景二：2台PE双链路直连1台CE

情景二

第22页 / 共44页

中国平安机构直联项目实施方案

? 所有主备策略由CE控制。

? CE inbound流量控制：CE可对不同路由设置MED调节inbound流量。 ? CE outbound流量控制： CE使用对不同的路由设置local-preference

属性调节CE outbound流量。

3.4.1 内部路由策略建议

CE1

ip route 10.0.0.0 255.0.0.0 null 0 250 ip route 172.16.0.0 255.255.0.0 null 0 250 ip route 0.0.0.0 0.0.0.0 null 0 250

router eigrp 888

redistribute static metric 10000 100 255 255 1500 route-map toEigrp route-map toEigrp permit 10 match ip address prefix-list plVpn

ip prefix-list plVpn seq 10 permit 172.16.0.0/16 ip prefix-list plVpn seq 20 permit 10.0.0.0/8 CE2

ip route 0.0.0.0 0.0.0.0 null 0 ip route 10.0.0.0 255.0.0.0 null 0 ip route 172.16.0.0 255.255.0.0 null 0

router eigrp 888

redistribute static metric 10000 1000 255 255 1500 route-map toEigrp route-map toEigrp permit 10 match ip address prefix-list plVpn

ip prefix-list plVpn seq 10 permit 172.16.0.0/16 ip prefix-list plVpn seq 20 permit 10.0.0.0/8

第23页 / 共44页

中国平安机构直联项目实施方案

3.4.2 BGP路由策略

基本具体配置如下：

1) CE和PE之间采用直连链路地址 EBGP连接； 2) 出口的2个CE之间建立IBGP连接（使用lo0）； 路由策略如下：

1) 内部汇总路由为C.C.C.C；

2) 通过MED+Loca_prefrence控制，以控制路由选择优先级以及实现对称路

由；

3) 由于站点是通过双链路接入，因此需要通过route-map配置，避免从PE

学到本站点的网段，防止路由环路； 具体的配置模板建议如下： CE1：

ip route C.C.C.0 255.255.0.0 null 0 250 //业务路由

Router BGP 65132

bgp router-id bgp log-neighbor-changes bgp deterministic-med

neighbor X.X.X.X remote-as 4809 neighbor X.X.X.X route-map rp-in in neighbor X.X.X.X route-map rp-out neighbor X.X.X.X send-community standard neighbor CE2_looback0 remote 65132

neighbor CE2_ loopback0 update-source loopback0 neighbor CE2_ loopback0 send-community standard network C.C.C.C mask 255.255.255.0

route-map rp-in deny 10

match ip address prefix-list reject-route route-map rp-in permit 20 set local-preference 200

第24页 / 共44页

中国平安机构直联项目实施方案

route-map rp-out permit 10 set metric 0

set community <65132:nn> additive

ip prefix-list reject-route seq 10 permit 0.0.0.0/0 ip prefix-list reject-route seq 20 permit 10.0.0.0/8 CE2：

ip route C.C.C.0 255.255.0.0 null 0 //业务路由

Router BGP 65132

bgp router-id bgp log-neighbor-changes bgp deterministic-med

neighbor X.X.X.X remote-as 4809

neighbor X.X.X.X send-community standard neighbor X.X.X.X route-map rp-in in neighbor X.X.X.X route-map rp-out out neighbor CE1_looback0 remote 65132

neighbor CE1_ loopback0 update-source loopback0 neighbor CE1_ loopback0 send-community standard network C.C.C.0 mask 255.255.255.0

route-map rp-in deny 10

match ip address prefix-list reject-route route-map rp-in permit 20 set local-preference 100

route-map rp-out permit 10 set metric 100

set community <65132:nn> additive

第25页 / 共44页

中国平安机构直联项目实施方案

ip prefix-list reject-route seq 10 permit 0.0.0.0/0 ip prefix-list reject-route seq 20 permit 10.0.0.0/8

3.5 三、四级分支机构组网方案

1台PE双链路直连1台CE

情景一

如果采用双链节接入，方案见二级组网技术方案。

3.5.1 内部路由策略建议

CE1

ip route 0.0.0.0 0.0.0.0 null 0 ip route 10. 0.0.0 255.255.0.0 null 0 ip route 172.16.0.0 255.255.0.0 null 0

router eigrp 888

redistribute static metric 10000 100 255 255 1500 route-map toEigrp route-map toEigrp permit 10 match ip address prefix-list plVpn

3.5.2 BGP路由策略

基本具体配置如下：

1) CE和PE之间采用直连链路地址 EBGP连接；

2) 如果是站点是双链路接入的话，通过route-map配置，避免从PE学到本

站点的网段，防止路由环路； 路由策略如下：

3) 内部汇总路由为C.C.C.0/24；

第26页 / 共44页

中国平安机构直联项目实施方案

具体的配置模板建议如下： CE1：

ip route C.C.C.0 255.255.0.0 null 0 //业务路由

Router BGP 65133

bgp router-id bgp log-neighbor-changes bgp deterministic-med bgp timer 30 90

neighbor X.X.X.X remote-as 4809

neighbor X.X.X.X send-community standard neighbor X.X.X.X route-map rp-in in

network C.C.C.0 mask 255.255.255.0 route-map rp-out

route-map rp-in deny 10

match ip address prefix-list reject-route route-map rp-in permit 20

route-map rp-out permit 10 set community <65133:nn> addictive

ip prefix-list reject-route seq 10 permit 0.0.0.0/0 ip prefix-list reject-route seq 20 permit 10.0.0.0/8

3.6 互联网出口方案

中国平安的所有分支机构统一经由深圳总部访问互联网，采用代理方式，因此深圳总部不需要向分支机构发布缺省路由。

第27页 / 共44页

中国平安机构直联项目实施方案

3.7 IP地址规划

保持平安目前的IP地址分配规范，采用10.0.0.0的网段作为内部网络的私有网段。

1) 网络IP地址的分配方法为（10.X.Y.0）：将X位的网段分配二级机构。

其中，平安银行为8和9，平安证券为17，深圳Server Farm区为18，电话中心为26，华东电脑中心为30，静安广场为28和29，张江后援管理中心为40。

2) 机构CE与CN2 PE互联链路地址段分配（按每机构主备两条链路分配）； 3) 新分配网段X.X.X.X作为机构新的CE与CN2 PE主用互联链路地址的

IP分配,每链路分配IP地址掩码为30位；

4) 原专线链路的IP地址保留作为未来的备用链路IP； 5) 机构局域网保留原来的地址段。

6) 网管服务监控平台网段为61.129.61.0/26。

3.8 QoS部署 3.8.1 QoS设计

CN2采用基于DiffServ架构的QOS技术体系，基于IP Precedence和MPLS EXP标记位最大支持8个业务等级分类。目前，CN2网络为IP VPN业务提供5个业务等级，用于支持不同的客户内部应用。中国电信IP VPN业务等级对应的应用建议如下：

从端到端的QoS设计理念，由下图可见，为保障客户VPN内流量的QoS，实施的基本原则是：

1) 客户端CE路由器对不同应用类型的IP数据包根据约定的业务等级进行

分类（采用IP TOS字段/IP Precedence标识）

2) 在中国电信CN2网络侧（局端）的PE路由器（Ingress PE）上，将不

第28页 / 共44页

中国平安机构直联项目实施方案

同的IP Precedence映射进MPLS报头中的EXP（IP报文封装成MPLS报文），以便在CN2网络内部加以区分传递，同时，根据各个业务等级的带宽进行必要的速率控制（Policng或Shaping）和丢弃（WRED）优先

3) 在CN2网络内部，通过为不同业务等级分配不同的冗余带宽资源，等

级越高预留的带宽比例越高，从而保障网络的轻载避免流量拥塞的出现 4) 在CN2网络另外一侧的PE路由器（Egress PE）上，将MPLS报文还原

为IP报文，此时IP Precedence字段未变，保留了业务等级的信息，故该PE同样可以根据各个业务等级的带宽进行必要的速率控制（Policng或Shaping）和丢弃（WRED）优先

CE Controlled Packet CE Controlled Packet Classifier (=Colouring)Classifier (=Colouring)LLQ, Shaping, FragmentingLLQ, Shaping, Fragmenting、、ClassificationClassification、、MarkingMarkingIngress PE MPLSProviderClassesCustomer ClassesCustomer PremiseMappingMappingEgress PE Customer ClassesCE

由上述可知，在CN2网络中不同等级的VPN流量在CN2网络核心将得到不同的资源预留，通过为高等级流量提供更多的冗余带宽来降低网络拥塞的可能；在网络边缘，通过最小带宽保障来实现各个等级的最小带宽，同时，利用WRED机制使得客户内部不同等级流量间发生拥塞时，较高等级丢弃概率较低以保障其应用的优先。

对于平安保险的VPN组网需求，我们建议在VPN中采用三个QoS等级的设计和部署，如“视频应用――白金等级，重要数据/业务系统应用――金等级，普通数据应用――银等级”，以更好地满足不同应用差异化的需要。

第29页 / 共44页

中国平安机构直联项目实施方案

假设平安保险的VPN只设定一个QoS等级，如“所有应用――白金等级”，虽然在CN2网络核心，该VPN内所有的流量都将得到仅次于钻石等级的带宽预留，几乎不存在拥塞的可能。但在CN2网络边缘的PE路由器上，由于VPN各点的带宽间存在不对称性，流量可能从一个大带宽站点向一个小带宽站点发送，或者某个应用（如Emule）的流量可能大量突发，从而导致某些站点所连接PE的VPN端口（分配给平安保险的VPN端口）流量拥塞，使得关键业务/应用因为自身流量的互相挤占而受影响。比如，平安保险的视频流量就很可能因为某些消耗大带宽的应用的冲击，导致其可用带宽不够而影响视频效果甚至造成视频中断。

而采用多个QoS等级在匹配不同的应用时，由于各个等级都有自己的保障带宽，因此视频应用、重要数据/业务系统应用、普通数据应用都有一个最小带宽的保障，在拥塞情况下，防止某些应用的突发而造成对其它应用的影响；此外，由于优先级的高级，视频应用、重要数据/业务系统应用在CN2网络中传送时可以得到相对普通数据应用更高的性能，同时在网络边缘PE路由器的出向，对数据业务通过WRED来实现丢弃以降低对TCP应用的影响，其中重要数据/业务系统应用被丢弃的概率较低，而视频应用通过Queue-limit来防止因为可能出现的抖动。这样，相对于只采用一个QoS等级的做法，平安保险的流量将得到更加细分的对待和处理，既能有效保障不同应用的实际需要、避免低优先级流量对高优先级应用的影响，又能充分利用带宽、一定程度上降低完全采购高等级带宽所带来的成本。

3.8.2 QoS实施方案

中国平安VPN网络承载的多种数据业务，各种业务的承载需求如下：

1) 一级机构和二级机构部署MCU，二级机构和一级机构的视频会议互访

需求，二级机构和三级机构之间有互访需求，优先保障视频会议的服务质量；

2) 需要保障企业ERP关键应用质量，ERP应用通常通过IPSEC进行加密

传输，在发生拥塞情况下，不受其它低优先级业务占带宽，并优先保证ERP的服务质量。

第30页 / 共44页

中国平安机构直联项目实施方案

3) 企业普通网络应用，包括邮件和互联网业务访问，互联网访问是采用代

理。

原有专线网络向VPN网络扁平化迁移后，网络的整体性能会提升，但同时也会带来用户应用的突发性。为保障用户总部至各分支点各类应用的正常运行，通过在VPN网络边缘引入QOS等技术手段可以一定程度解决分支点用户接入段电路拥塞问题，但更重要的是需要在用户应用层面或总部用户网络设备上对总部至各分支点的流量进行规划和控制。就流量突发有可能带来的服务质量问题，需要双方通力合作，对网络应用流量进行详细分析、针对企业应用和网络的特点，从应用层面、用户网络内部、VPN网络边缘QOS部署等方面整体考虑。

3.8.2.1 PE QOS方案

为保证平安三类业务的服务质量，为视频应用和企业ERP关键应用预留充足带宽比例，中国电信CN2网络PE路由器的QoS实施策略如下： 业务等级 用户标识 中国电信网内标标识（EXP） set mpls exp 5 set mpls exp 3 带宽(bps) 或比例 P % 入方向策略 出方向策略 白金(P) 金(G) IPP5 IPP3+6 set mpls exp 5 可用剩余G% set mpls exp 3 银(S) Class-default set mpls exp 可用剩余S% IPP2 2 G+S=100； IPP0 PQ Policing P% CBWFQ Bandwidth remaining G% WRED set mpls CBWFQ exp 2 Bandwidth remaining S% WRED 以采用“白金”＋“金”＋“银”三个等级为例，PE路由器的QoS配置模板如下：

? 对二三四级机构=<30%,66%,34%> ? 对一级机构，=<40%,88%,12%>

3.8.2.1.1 中心节点的PE QoS方案 ? PE的入方向

policy-map pmPingAn-GE-in class ipp5

set mpls experimental 5 class ipp3+6

set mpls experimental 3 class class-default

第31页 / 共44页

中国平安机构直联项目实施方案

set mpls experimental 2

? PE的出方向

policy-map pmPingAn-GE-out class ipp5 priority

police cir percent 40 //按照700路视频计算，每路视频500 Kbps conform-action transmit exceed-action drop class ipp3+6

bandwidth remaining percent 88 //ERP关键应用占用剩余带宽的88% random-detect

random-detect prec-based

random-detect precedence 3 50 ms 100 ms 1 random-detect precedence 6 50 ms 100 ms 1 class class-default

bandwidth remaining percent 12 //互联网等普通应用占用剩余带宽的12% random-detect

random-detect prec-based

random-detect precedence 0 50 ms 100 ms 1

random-detect precedence 2 50 ms 100 ms 1 //其中random-detect阈值为：50 ms 100 ms 统计包长512字节

? 端口配置服务策略 int gX/X

service-policy input pmPingAn-GE-in service-policy output pmPingAn-GE-out

3.8.2.1.2 二、三、四级分支机构节点的PE QoS方案 ? PE的入方向

policy-map pmPingAn-in class ipp5

set mpls experimental 5 class ipp3+6

set mpls experimental 3 class class-default

set mpls experimental 2

? PE的出方向

policy-map pmPingAn-out class ipp5 priority

police cir percent 30 //一路视频按照512 Kbps的带宽做优先队列 conform-action transmit exceed-action drop class ipp3+6

bandwidth remaining percent 66 //ERP关键应用占用剩余带宽的66% random-detect

第32页 / 共44页

中国平安机构直联项目实施方案

random-detect prec-based //以优先级为区别执行WRED random-detect precedence 3 75 ms 150 ms 1 random-detect precedence 6 75 ms 150 ms 1 class class-default

bandwidth remaining percent 34 //互联网等普通应用占用剩余带宽的34% random-detect

random-detect prec-based

random-detect precedence 0 75 ms 150 ms 1

random-detect precedence 2 75 ms 150 ms 1 //其中random-detect阈值为：75 ms 150 ms 统计包长512字节

如果CE为以太2M接入，中间经过MSTP或者SDH转接，这种情况的配置如下：

policy-map pmPingAn-2M-out.p class class-default

shape average 1800000 //2M*0.89约等于1800000 bps service-policy pmPingAn-out

? 端口配置服务策略 int gX/X.X

service-policy input pmPingAn-in

service-policy output pmPingAn-2M-out.p

3.8.2.2 CE QOS方案建议

业务等级 用户标识 对应应用 带宽(bps) 或比例 P % 站点CE网外CE出方向内网入方策略 向策略 set ipp5 PQ Policing P% 白金(P) IPP5 金(G) IPP3+6 视频会议 IPSEC信令控制协议 企业关键业务应用 银(S) Class-default 普通数据业IPP0，IPP1 务，包括IPP2，IPP4 Email，互联网访问等 可用剩余G% set ipp3 CBWFQ Bandwidth remaining G% WRED 可用剩余S% set ipp0 CBWFQ Bandwidth remaining S% WRED 备注：考虑到以后业务扩展，保留IPP2，IPP1标识，所以CE银业务设置为IPP0，但在CN2网内按银业务等级进行调度。

3.8.2.2.1 中心节点的CE QoS方案建议

针对从用户流量突发产生的引起的服务质量问题，提出以下中心 CE QOS方案建议：

第33页 / 共44页

中国平安机构直联项目实施方案

方案一：按区域预留带宽和最大带宽限速，一个（子）接口可以支持64个队列；

1、在中心节点CE出方向：视频使用PQ；互联网应用按片区使用不同WRR队列，企业关键应用按区域设置不同的WRR队列，以片区为单位预留最小和限制最大带宽。

2、如华南地区到深圳总部延时较为较小，有可能会导致该地区访问深圳中心站点流量突发行为更突出；针对这种情况，在深圳中心CE，为华南地区流量预留一定比例的带宽和限制最大带宽。

方案二：中心站点扩展子接口，按片区进行带宽规划，方案一和方案二可以相结合，扩展支持更多的区域。

1、中心节点按片区划分若干个子接口，在中心节点PE-CE在子接口中按片区进行带宽的规划，以子接口形式进行带宽预留和最大限速。

2、方案无需对分支机构PE-CE进行任何的调整，沿用原有的RD/?RT规划，只是在中心节点划分若干个子接口接入同一VRF，每个子接口对应一个片区的业务路由。

方案三：针对由于突发行为严重带来服务质量问题的分支机构，在中心站点CE站点预留一定比例的带宽和限制最大带宽。

方案四：以每个分支机构为单位，在中心站点CE站点预留一定比例的带宽和限制最大带宽。该方案扩展性存在问题，对板卡能力需要评估。

以下给出中心站点CE通常参考配置实例，建议进行根据实际情况进行调整：

? CE内网侧接口业务标记：在CE 进行业务分类标记（内网侧接口做业务等

标识）

ip host my_MCU1 <10.?.?.?> ip host my_MCU2 <10.?.?.?>

Class-map match-all ipp5 match ip precedence 5

class-map match-any ipp3+6 match ip precedence 3 match ip precedence 6

//匹配视频业务+IPSEC信令

access-list 100 permit ip any host my_MCU1 access-list 100 permit ip any host my_MCU2

第34页 / 共44页

中国平安机构直联项目实施方案

access-list 100 permit ip host my_MCU1 any access-list 100 permit ip host my_MCU2 any

access-list 100 permit udp any eq isakmp any //匹配IPSEC信令 access-list 100 permit udp any any eq isakmp //匹配IPSEC信令

//匹配ERP企业关键应用业务

access-list 110 permit tcp any eq 80 any access-list 110 permit tcp any any eq 80 access-list 110 permit esp any any access-list 110 permit ahp any any

class-map match-any cmHigh //For video control &IPSEC 信令 match access-group 100

class-map match-any cmERP //For ERP & Critical Services match access-group 110

? 在CE站点网内侧input接口上对业务标识 interface fastethernet 1/2 description internal interface max-reserved-bandwidth 100

policy-service pmUserName-IN input

? CE入方向

policy-map pmUserName-IN class cmHigh

set ip precedence 5 class cmERP

set ip precedence 3 class class-default // set ip precedence 0

? CE外网侧出方向的策略 policy-map pmPingAn-GE-out

class ipp5 //上海由于CE和IPSEC GW同一个设备，配置请参见3.9.2.2 Priority

police cir percent conform-action transmit exceed-action drop class ipp3+6

bandwidth remaining percent random-detect

random-detect prec-based

random-detect precedence 3 50 ms 100 ms 1 random-detect precedence 6 50 ms 100 ms 1 class class-default

bandwidth remaining percent random-detect

第35页 / 共44页

中国平安机构直联项目实施方案

random-detect prec-based

random-detect precedence 0 50 ms 100 ms 1 random-detect precedence 2 50 ms 100 ms 1

? 在CE外网侧的接口上做调度（对于一级机构1000M GE接入） int gi4/0

service-policy output pmPingAn-GE-out

3.8.2.2.2 二、三、四级分支机构节点的CE QoS方案建议

? CE内网侧接口业务标记：在CE 进行业务分类标记（内网侧接口做业务等

标识）

ip host my_MCU1 <10.?.?.?> ip host my_MCU2 <10.?.?.?>

//匹配视频业务

access-list 100 permit ip any host my_MCU1 access-list 100 permit ip any host my_MCU2 access-list 100 permit ip host my_MCU1 any access-list 100 permit ip host my_MCU2 any

//匹配ERP企业关键应用业务

access-list 110 permit tcp any eq 80 any access-list 110 permit tcp any any eq 80

//匹配IPSEC信令

access-list 120 permit udp any eq isakmp any access-list 120 permit udp any any eq isakmp

class-map match-any cmVideo //For video control match access-group 100

class-map match-any cmCritical //For ERP & Critical Services match access-group 110

? CE内网侧入方向

policy-map pmUserName-IN class cmVideo

set ip precedence 5 class cmCritical set ip precedence 3

增加进入IPSEC tunnel 操作； class class-default set ip precedence 0

第36页 / 共44页

中国平安机构直联项目实施方案

? 在CE内网侧接口input方向对业务进行标识 interface fastethernet 1/2 description internal interface max-reserved-bandwidth 100

policy-service pmUserName-IN input

? CE外网侧出方向 Class-map match-any high match ip precedence 5

matich access-group 120 //ipsec ike class-map match-any ipp3+6 match ip precedence 3 match ip precedence 6

policy-map pmPingAn-out //WRED适合2M-20M接入速率 class high

Priority percent set ip precedence 5 class ipp3+6

bandwidth remaining percent random-detect

random-detect prec-based

random-detect precedence 3 < maxth > 1 random-detect precedence 6 < minth > < maxth> 1

class class-default

bandwidth remaining percent random-detect

random-detect prec-based

random-detect precedence 0 < minth > 1 random-detect precedence 2 < minth > < maxth > 1

其中random-detect阈值为：75 ms 150 ms 统计包长512字节 对2M电路接入：

maxth=2048000x0.1/（8*512）=75 pkts minth=maxth/2=37 pkts

? 二、三、四级机构，为以太2M接入，中间经过MSTP或者SDH转接，那

么：

policy-map pmPingAn-2M-out.p class class-default

shape average 1800000 //2Mx0.89=1800000 bps service-policy pmPingAn-out

int fa4/0.1000

service-policy output pmPingAn-2M-out.p service-policy input pmPingAn-in

第37页 / 共44页

中国平安机构直联项目实施方案

? 二、三、四级机构，如果为以太4M接入，中间经过MSTP或者SDH转接，

那么：

policy-map pm pmPingAn-4M-out.p class class-default

shape average 3600000 //4Mx0.89=3600000 bps service-policy pmPingAn-out

int fa4/0.1000

service-policy output pmPingAn-4M-out.p service-policy input pmPingAn-in

3.9 网络高可用性实现

3.9.1 平安深圳、上海IDC接入高可用性设计

深圳和上海建立2个物理路由，通过裸光纤直接方式或DWDW+裸光纤方式和2个独立PE互联。

深圳数据中心初期按高靠性设计和负载分担的方式以双CE双GE的方式接入中国电信在深圳的CN2 双SR路由器，上海作为容灾备份中心以单CE单双GE的方式接入中国电信在上海CN2的双SR路由器。为提供故障发现的速度，IDC 出口CE和PE互联采用eBGP互连，在互联接口上启用BFD， BFD Interval时间建议为500ms。通过BFD机制触发EBGP路由更新，提供路由收敛的速度。

3.9.2 重要机构网点接入高可用性设计

重点机构通过双CE、双PE方式实现站点的高可用性。

第38页 / 共44页

中国平安机构直联项目实施方案

4 接入设计

4.1 接入设备配置要求

1. 客户端设备CE至少应支持上连的中国电信设备所能提供的接口类型。

客户端CE设备应具备路由功能，支持静态、BGP4。一般情况下，建议选用的设备具备承载1000条以上路由的能力。对于单CE需要接入双PE的情况，该CE应具备不少于两个的上联接口。

2. 客户选用管理型业务时，CE设备若由客户自备，设备类型应为Cisco或

华为全系列路由器之一；同时需申请开通一条从客户MPLS VPN网络任一站点到网管专家服务业务平台的管理专线链路，并在被管CE设备上配置SNMP协议数据和简单路由（具体实现方案见附录三）。

3. 各站点CE与PE的互联地址由客户自行分配，客户应分配一或两段地址

用于和PE互联并告知中国电信。

4. 客户内部网络的私有地址均可遵循RFC1918中规定的预留IP地址空间

范围自行分配。客户应对内部网络的IP地址分配做规划，避免产生地址块的不连续导致路由条目过多。

5. 通过双电路接入PE的客户站点，CE与PE间的路由协议优选选用EBGP；

单电路接入PE的客户站点，CE与PE间的路由协议采用EBGP或静态路由。CE与PE间的路由协议不采用IGP协议。

6. 原则上由中国电信为客户网络分配私有AS号，若客户需要自带AS号接

入需与中国电信协商。

7. 客户站点单端口选择多于一个业务等级时，客户CE应能进行相应的流

量分类标识。

4.2 接入方式

? 以太网接入

第39页 / 共44页

中国平安机构直联项目实施方案

图：以太网接入方式

图：GE over DWDM接入方式

5 网管专家服务配置

保持平安目前的IP地址分配规范，采用10.0.0.0的网段作为内部网络的私有网段。网管服务监控平台网段为61.129.61.0/26。

上海理想的网管路由器连接到上海总部的两台PE设备上，以2M链路的方

第40页 / 共44页

中国平安机构直联项目实施方案

式接入。网管路由器和PE之间通过静态路由相连。

在网管路由器上配置以下静态路由： ? ip route X.X.X.X 255.*.*.* A.A.A.A / X.X.X.X 255.*.*.*为所有链路的汇

总网段，如果不能汇总，则直接写10.0.0.0 255.0.0.0，A.A.A.A为网管路由器所连接的主用PE的接口地址。

? ip route X.X.X.X 255.*.*.* 0 B.B.B.B 2 / X.X.X.X 255.*.*.*为所有链路

的汇总网段，如果不能汇总，则直接写10.0.0.0 255.0.0.0， B.B.B.B为网管路由器所连接的备用PE的接口地址，该路由的metric值设为2。

上海总部PE的配置：

? 将与网管路由器相连的子接口加入总部的VRF；

? 配置到网管路由器的静态路由：ip route vrf CTVPN80000-Pingan 61.129.61.0

255.255.255.192 C.C.C.C / C.C.C.C为PE对端的网管路由器的地址； ? PE的BGP的配置中，需要在address-family ipv4 vrf CTVPN80000-Pingan内

重分发静态路由：redistribute static

平安保险的各级机构CE网管部分的配置模板如下：

（一）路由设置模板

如果客户CE和PE采用BGP连接，则CE会收到上海总部PE发来的网管路由信息，因此CE上不必增加路由配置。

如果客户CE和PE采用静态路由，则CE增加一条静态static路由

ip route 61.129.61.0 255.255.255.192 CE对联的PE地址（注意：上面的路由是26位掩码）

（二）网管配置模板

#Snmp Details (Some devices do not support Views) access-list 65 permit 61.129.61.0 0.0.0.63

snmp-server view GNCVIEW mib-2 included snmp-server view GNCVIEW cisco included

snmp-server community Ragga0ck3rd0M view GNCVIEW ro 65 snmp-server community Raggawall0p3R view GNCVIEW rw 65

# Traps to be set Will Vary depending of features. snmp-server enable traps

snmp-server host 61.129.61.50 version 2c Ragga0ck3rd0M

第41页 / 共44页

中国平安机构直联项目实施方案

! Legacy IOS Configuration if SNMP views not supported !snmp-server host 61.129.61.50 Ragga0ck3rd0M

snmp-server trap-source f0/0 （采用PE-CE直连接口地址，如f0/0为直连接口 )

! Make sure trap source is managed IP address in nView （三）测试

Ping 61.129.61.63 (test the connectivity with NCC; 61.129.61.50&51 not prohibit ping)

Show snmp (to check whether the snmp was enabled and related parameters)

6 相关风险说明

一、IP地址和AS分配

1. 用户网内分支节点CE的地址如果和中心节点的地址相同，可能会导致

该中心节点的业务中断。

2. 用户的2个原来不互通的VPN网可以通过在PE上调整RT 值互通，但

如果2个网存在IP地址冲突，会导致站点间无法正常访问。

3. 如果新加节点的AS号与中心节点相同，会导致新加节点无法访问中心

节点。

4. 如果新加节点的AS号与同级分支机构的不同，会带来不应发生的互访。

二、路由聚合

5. CE上需要做路由聚合，中心站点汇聚路由不应该包含其他分支机构的路

由，否则导致分支机构之间通过中心站点互访。同样，分支机构仅汇总本分支机构路由，否则有可能导致被误汇总的分支机构访问失效。 6. 用户在CE上进行路由聚合的情况下，如果添加新的路由时，在出口CE

上没有如果聚合出来，可能会导致业务不通。

第42页 / 共44页

中国平安机构直联项目实施方案

三、路由协议

7. BGP路由策略的不当调整可能会影响用户的控制效果。

8. 如果用户利用community属性控制流量，而当community属性没有被透

传时，用户得不到预期的控制效果。

9. 由于路由器设备处理的路由条目数是有一定上限的，为保证所有承载在

CN2网络上的VPN客户网络的安全运行，CN2对CE-PE间的路由采取了最大数量限制政策，即CE向PE广播的路由条数如果超出购买的最大路由条数限制，会导致该BGP中断。

10. 某个分支机构CE错误广播出缺省路由，可能导致全网的互联网访问中

断。

11. 避免BGP和IGP之间路由重分发，IGP和BGP重分发容易导致全网路

由波动。

12. 用户网内的IGP路由的数量过多，会导致网络性能下降乃至完全瘫痪。

四、QoS及IPSEC封装

13. 对业务标识错误，导致qos调度策略错误，影响QOS调度效果。 14. QOS限速必须考虑二层开销，对MSTP以太接入，需要考虑10%开销。 15. BGP 和IPSEC信令必须进行QOS保障，否则容易导致协议中断。 16. IPSEC封装降低信道利用率，在QOS设计带宽预留时候，需要特殊考虑。 17. QOS各业务等级带宽需根据日常的实际运行情况进行调整。

18. 一二级中心点带宽和分支机构带宽过于悬殊，应做好CE的流量规划和

QOS调度，同时需要加强用户中终端应用行为的管控，否则会造成QOS在极端拥塞情况下，有可能造成部分节点严重拥塞或流量饿死的情况。

五、流量控制

19. 流量自然选路的情况下，用户负载分担电路的流量分布可能不能均衡。

第43页 / 共44页

7 遗留问题跟踪

见以下附件：

平安VPN组网项目技术方案问题跟踪表（客

中国平安机构直联项目实施方案

第44页 / 共44页

本文来源：https://www.bwwdw.com/article/3g7p.html