四川电力调度数据网络详细设计及实施方案V18 - 图文

四川电力调度数据网工程

四川电力调度数据网工程

网络详细设计及实施方案

中国软件与技术服务股份有限公司 China National Software & Service Co.,Ltd.

2005.5.

中国软件与技术服务股份有限公司

四川电力调度数据网络工程详细设计及实施方案

目 录

1. 网络总体方案设计 ............................................................................................................................. 1 1.1. 概述 .............................................................................................................................................. 1 1.2. 设计原则 ...................................................................................................................................... 2 1.3. 网络拓扑 ...................................................................................................................................... 3 1.4. 传输链路通道 .............................................................................................................................. 4 1.5. 命名设计 ...................................................................................................................................... 6 1.6. 各节点业务接入 ........................................................................................................................ 10 2. OSPF路由协议规划 ......................................................................................................................... 12 2.1. OSPF ROUTER ID规划 ................................................................................................................. 12 2.2. OSPF子区（AREA）规划 ........................................................................................................ 12 2.3. OSPF划分区域的特殊考虑 ....................................................................................................... 15 2.4. OSPF对外发布路由时进行聚合 ............................................................................................... 17 2.5. 在OSPF中引入其他路由协议的路由 ..................................................................................... 17 2.6. 在OSPF中统一路由尺度（COST）的计算 ........................................................................... 17 3. BGP路由协议规划 ........................................................................................................................... 18 3.1. AS号划分 ................................................................................................................................... 18 3.2. 路由反射器的规划 .................................................................................................................... 18 4. IP地址分配 ....................................................................................................................................... 20 4.1. IP地址分配方案 ......................................................................................................................... 20 4.2. 对于设备LOOPBACK地址的分配 ............................................................................................. 20 4.3. 对于设备间链路地址的分配 .................................................................................................... 20 4.4. 核心、汇聚局域网地址 ............................................................................................................ 22 4.5. CE网管设备地址 ....................................................................................................................... 22 5. 业务接入方案 ................................................................................................................................... 23 5.1. 总体规划原则 ............................................................................................................................ 23 5.2. 核心层节点业务系统接入 ........................................................................................................ 23 5.3. 骨干层节点业务接入方案： .................................................................................................... 24 5.4. 接入层（厂站）节点业务接入方案： ..................................................................................... 25 5.5. RTU接入方案 ............................................................................................................................ 26 6. MPLS VPN设计和配置 ................................................................................................................... 29 6.1. VPN部署方案 ............................................................................................................................ 29 6.2. VPN相关公共资源规划 ............................................................................................................ 29

中国软件与技术服务股份有限公司

四川电力调度数据网络工程详细设计及实施方案

6.2.1. VRF命名规则规定如下： .................................................................................................. 29 6.2.2. RT—Route-target命名规则 ................................................................................................. 29 6.3. 分层PE方式部署MPLS VPN .................................................................................................. 31 7. 四川省调度网与华中网调跨域解决方案 ....................................................................................... 33 7.1. 互联设备的选择 ........................................................................................................................ 33 7.2. 跨域互联方式 ............................................................................................................................ 34 7.2.1. 三种跨域方案的选择 ......................................................................................................... 34 7.2.2. loopback地址的使用 .......................................................................................................... 34 7.2.3. RT的变更 ............................................................................................................................ 34 7.2.4. 路由策略的使用 ................................................................................................................. 35 8. QOS部署方案 ................................................................................................................................... 36 9. 网络管理方案 ................................................................................................................................... 38 9.1. 总体需求 .................................................................................................................................... 38 9.2. 对PE与CE设备统一网管 ....................................................................................................... 38 9.3. 网管职能划分 ............................................................................................................................ 39 9.4. VPN网管 .................................................................................................................................... 39 9.5. 路由器/交换机相关参数设置 ................................................................................................... 40 9.5.1. SNMP相关版本设置 .......................................................................................................... 40 9.5.2. SNMP设置团体名 .............................................................................................................. 40 9.5.3. Trap报文相关属性设置 ..................................................................................................... 40 10. 网络安全方案 ................................................................................................................................. 42 10.1. 通过MPLS VPN确保不同类型业务及地域之间的有效隔离 .............................................. 42 10.2. 通过用户状态进行存取控制功能，保证设备控制安全 ....................................................... 42 10.3. 限制对SNMP和TELNET用户访问 ....................................................................................... 42 10.4. 路由信息交换的认证 .............................................................................................................. 43 10.5. 对所有重要事件记录日志 ...................................................................................................... 43

中国软件与技术服务股份有限公司

四川电力调度数据网络工程详细设计及实施方案

1. 网络总体方案设计 1.1. 概述

本工程所建设的四川电力调度数据网络覆盖四川省调、成都、德阳、绵阳、广元、乐山、眉山、自贡、攀枝花、西昌、资阳、内江、宜宾、泸州、南充、广安、达川和巴中等地调，以及其他电厂、变电站共计152个站点，其中包括1个省调、17个地调、43个电厂及11个500kV变电所、80个220kV变电站。其业务的流向主要为各个地调、各统调统分电厂、500kV变电站、220kV变电站流向省调。网络采用路由设备组网，本工程建成后，该网络将承载EMS系统、电能量计量系统、水调自动化系统、电网动态稳定监控系统、电力市场支撑系统、保护故障信息系统以及RTU上网等，使四川电力调度数据更安全、可靠、实时地传送，以确保四川电网安全、可靠、稳定、经济的运行。

本工程按三层结构考虑：核心层、骨干层和接入层。核心层节点为：四川省调（双节点）、乐山地调、自贡地调和南充地调节点，骨干层节点为剩余的14个地调级节点，接入节点设于电厂、500kV变电站和220kV变电站等，同时在核心节点及骨干节点处设置接入节点，提供当地用户业务的接入。

四川电力调度数据网络工程本次建设省调核心节点（双节点）、自贡、乐山、南充核心节点和成都、德阳、绵阳、广元、内江、宜宾、泸州、资阳、眉山、广安、达川、西昌、攀枝花、巴中骨干节点。

本网络的建设相对独立，与国家电力调度数据网络设在各省（市）的骨干节点设备背靠背连接接入华中电力调度数据网络。

运行维护管理方面，在四川电力调度通信中心设立四川电力调度数据网络的网管中心，负责电力调度数据网络的管理，并配置维护终端，方便现场的检测调试工作。

本工程网络采用IP路由交换设备组网，采用IP over SDH的技术体制。 本网络中传输的业务按安全等级进行分类，在全网实现MPLS/VPN。网络中所有路由设备（包括接入路由器）均具有MPLS PE的功能。

中国软件与技术服务股份有限公司

- 1 -

四川电力调度数据网络工程详细设计及实施方案

1.2. 设计原则

在网络的拓扑设计中，我们遵守了如下原则。 ? 拓扑可靠性

1) 在各网络的拓扑设计中应遵循N-1的电路可靠性和N-1的节点可靠

性原则。

2) N-1的电路可靠性：拓扑中去掉任何1条连线（电路），不影响节点

的连通性。这就要求每个节点至少有两条不相关的电路与其他节点相连。

3) N-1的节点可靠性：拓扑中去掉任何1个节点，不影响其他节点的

连通性。

? 双出口

每个骨干层网络到核心层网络有两个出口，两个出口应位于不同的地理位置（至少不在一个机房内），防止因外部原因（如停电）造成两出口同时失效。两出口的外联电路中，至少有两条没有相关性。

? 局域网两点接入

四川省调局域网通过两台核心交换机上接入到核心层网络。其他各骨干节点的局域网通过两台设备分别连接到本地的骨干层设备上。通过多台设备接入保证了业务不会因一个节点故障而失去和网络的连通。

? 流量优化

根据网络的流量和流向合理配置电路及其带宽。网络流量分布均匀，各电路带宽得到较充分的利用，不存在网络带宽瓶颈。应适度考虑在“N-1”的情况下网络的流量。

? 经济性

在保证可靠和畅通的前提下，网络电路的数量、总里程和带宽应尽可能减小，以降低网络的运行费用。

? 扩展性

网络电路和节点的增加、减少以及修改应不影响网络的总体拓扑。

中国软件与技术服务股份有限公司

- 2 -

四川电力调度数据网络工程详细设计及实施方案

1.3. 网络拓扑

四川调度数据网采用分层结构，由三层组成，即核心层、骨干层和接入层。 为保证网络的可靠性，在网络的拓扑设计中，应尽可能遵循N-1的电路可靠性和N-1的节点可靠性设计原则，即任何一条单一传输电路或单一节点设备故障不会影响整个网络的运行。

根据传输电路的情况，调度数据网络核心节点之间采用完全或不完全网状网连接，骨干节点尽量与两个核心节点相连，骨干节点之间可互联，接入节点至少与一个骨干节点相连，根据业务量及地理位置，接入节点也可直接接入核心节点。

四川电力调度数据网络结构图

? 核心层 ：

由省调核心（双）节点，自贡、乐山、南充3个地调的5台NE40路由器，各核心节点配置两台LS-S3526C接入交换机（省调配置两台），通过两个环形网络构成。其中省调、自贡、乐山、南充地调5个节点构成2个环形核心层。当任何两个节点间的链路出现故障时，通过路由收敛，均可保障快速启用另一条链路的数据转发功能。主要功能如下：

1) 提供与其它核心节点的连接。

中国软件与技术服务股份有限公司

- 3 -

四川电力调度数据网络工程详细设计及实施方案

2) 提供与骨干节点的连接。 3) 提供节点之间的路由选择机制。 4) 转发IP数据包。 5) 提供网络的安全机制。

6) 提供相关业务的服务质量保证机制。 ? 骨干层：

由成都、绵阳NE16E骨干节点，德阳、广元、内江、宜宾、泸州、资阳、眉山、广安、达川、西昌、攀枝花和巴中NE08等14个骨干节点组成个骨干层。每个骨干节点配置2台LS-S3526C接入交换机，供配置28台LS-S3526C接入交换机，实现各地调及所辖厂站的业务数据的不间断转发。主要功能如下：

1) 汇接接入节点的业务。 2) 转接其它骨干节点的业务。 ? 接入层：

各节点分别通过路由器采用2M上联到骨干层节点。为增加网络的可靠性，本次各厂站节点在设计中可考虑双2M链路上联方式，链路捆绑后连接到所属行政区的地调节点。功能如下：

1) 提供用户业务的接入。 2) 扩大业务覆盖范围。

3) 扩展网络端口密度和接口种类。 4) 实现质量保证和访问控制。 5) 实现接入用户的可管理性。

1.4. 传输链路通道

根据四川电力通信传输网现状及今后的发展，可供四川电力调度数据网使用的中继电路如下表所示：

序号 1 2 3 4 通道名称 省调A－成都地调 省调B－成都地调 省调B－德阳地调 省调A－绵阳地调 规划通道 2x2M 1x2M 2x2M 2x2M 本期实施情况 2x2M 1x2M 2x2M 2x2M

中国软件与技术服务股份有限公司

- 4 -

四川电力调度数据网络工程详细设计及实施方案

序号 5 6 7 8 9 通道名称 省调A－广元地调 省调B－资阳地调 省调A－自贡地调 省调B－自贡地调 省调A－南充地调 省调B－南充地调 省调B－眉山地调 省调A－乐山地调 省调B－乐山地调 省调B－广安地调 省调B－泸州地调 省调B－攀枝花地调 乐山地调－自贡地调 乐山地调－眉山地调 南充地调－自贡地调 南充地调－广安地调 南充地调－达川地调 南充地调－巴中地调 自贡地调－泸州地调 自贡地调－西昌地调 自贡地调－资阳地调 自贡地调－宜宾地调 自贡地调－内江地调 资阳地调－内江地调 西昌地调－攀枝花地调 绵阳地调－广元地调 绵阳地调－德阳地调 南充地调－宜宾地调 南充地调－德阳地调 达川地调－广安地调 巴中地调－达川地调 规划通道 2x2M 1x2M 3x2M 3x2M 3x2M 3x2M 1x2M 3x2M 3x2M 1x2M 1x2M 1x2M 3x2M 2x2M 3x2M 2x2M 2x2M 2x2M 2x2M 2x2M 2x2M 2x2M 2x2M 1x2M 1x2M 1x2M 1x2M 1x2M 1x2M 1x2M 1x2M 本期实施情况 2x2M 1x2M 3x2M 3x2M 3x2M 3x2M 1x2M 3x2M 3x2M 1x2M 1x2M 1x2M 3x2M 2x2M 3x2M 2x2M 2x2M 2x2M 2x2M 1x2M 2x2M 1x2M 2x2M 1x2M 1x2M 1x2M 1x2M 1x2M 1x2M 1x2M 1x2M 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 四川电力调度数据网中继传输通道一览表

本工程网络系统的WAN端口本期主要考虑采用N*2Mbit/s/G.703接口。未来根据发展的需要还将考虑SDH接口（POS）等。

其分配特点：

(1) 省调、南充地调、自贡地调、乐山地调之间为全光纤电路，提供全连接

的3×3M通道。

中国软件与技术服务股份有限公司

- 5 -

四川电力调度数据网络工程详细设计及实施方案

(2) 成都、德阳、绵阳、广元、资阳、内江、眉山7个地调汇接点为全光纤

电路，每个点都提供了可以连接到省调的两条线路，共3x2M通道。 (3) 泸州、广安、达川、巴中、宜宾、西昌6个地调的主通信电路为微波或

微波加光纤混合电路，每个点都提供了通过核心地调或者直接连接省调的两条线路，共3x2M通道。

(4) 攀枝花地调通过2条1x2M通道直接连接省调以及西昌地调。

1.5. 命名设计

设备的命名方案：

为了保证以后的管理方便，设备命名需有一定的规范性。 设备采用以下命名方法： SCAA-YY-X。

? AA：表示该设备所属的级别和名称，通常的规则是取汉字拼音的首字

母缩写。

省调-SCSD 乐山-SCLS 自贡-SCZG 南充-SCNC 成都-SCCD 绵阳-SCMY 德阳-SCDY 广元-SCGY 眉山-SCMS 攀枝花-SCPZH 西昌-SCXC 资阳-SCZY 内江-SCNJ 宜宾-SCYB 广安-SCGA 达川-SCDC 巴中-SCBZ 泸洲-SCLZ ? YY：设备型号。如NE40、NE16、NE08、AR46、S3526。

? X：表示如果前三项相同的设备，用数字编号1、2标识。如果没有备份

的设备则无此项标识，例如地调的设备。

? 厂站设备命名规则：AA-厂站名称的拼音缩写的小写字母-设备类型。设

备类型中以R代表路由器 ，S代表二层交换机。（实际命名时可以以具体路由器或交换机的型号代替，如AR46、S3526）。

? 变电站命名规定目前采用“地调拼音＋B”的方式：如宜宾地调YiBB。 此次设备的命名详细列表如下：

序号 节点名称 1 省调A 设备名称 SCSD-NE40-1 SCSD-AR46-1 SCSD-AR46-2 设备型号 NE-40 AR-4680 AR-4680

中国软件与技术服务股份有限公司

- 6 -

四川电力调度数据网络工程详细设计及实施方案

序号 节点名称 设备名称 SCSD-S3526-1 SCSD-S3526-2 SCSD-NE40-2 SCSD-AR46-1 设备型号 S3526C S3526C NE-40 AR-4680 AR-4680 S3526C S3526C NE-40 S3526C S3526C NE-40 S3526C S3526C NE-40 S3526C S3526C NE-16E S3526C S3526C NE-16E S3526C S3526C NE-08 S3526C S3526C NE-08 S3526C S3526C NE-08 S3526C S3526C NE-08 省调B SCSD-AR46-2 SCSD-S3526-1 SCSD-S3526-2 SCLS-NE40 2 乐山 SCLS-S3526-1 SCLS-S3526-2 SCNC-NE40 3 南充 SCNC-S3526-1 SCNC-S3526-2 SCZG-NE40 4 自贡 SCZG-S3526-1 SCZG-S3526-2 SCCD-NE16 5 成都 SCCD-S3526-1 SCCD-S3526-2 SCMY-NE16 6 绵阳 SCMY-S3526-1 SCMY-S3526-2 SCDY-NE08 7 德阳 SCDY-S3526-1 SCDY-S3526-2 SCGY-NE08 8 广元 SCGY-S3526-1 SCGY-S3526-2 SCMS-NE08 9 眉山 SCMS-S3526-1 SCMS-S3526-2 SCPZH-NE08 10 攀枝花 SCPZH-S3526-1 S3526C SCPZH-S3526-2 S3526C SCXC-NE08 NE-08 S3526C S3526C NE-08 S3526C S3526C 11 西昌 SCXC-S3526-1 SCXC-S3526-2 SCZY-NE08 12 资阳 SCZY-S3526-1 SCZY-S3526-2

中国软件与技术服务股份有限公司

- 7 -

四川电力调度数据网络工程详细设计及实施方案

序号 节点名称 13 内江 设备名称 SCNJ-BR SCNJ-S3526-1 SCNJ-S3526-2 SCYB-NE08 设备型号 NE-08 S3526C S3526C NE-08 S3526C S3526C NE-08 S3526C S3526C NE-08 S3526C S3526C NE-08 S3526C S3526C NE-08 S3526C S3526C 14 宜宾 SCYB-S3526-1 SCYB-S3526-2 SCLZ-NE08 15 泸州 SCLZ-S3526-1 SCLZ-S3526-2 SCGA-NE08 16 广安 SCGA-S3526-1 SCGA-S3526-2 SCDC-NE08 17 达川 SCDC-S3526-1 SCLC-S3526-2 SCBZ-NE08 18 巴中 SCBZ-S3526-1 SCBZ-S3526-2

端口的域名命名规则：

端口类型－接口板号－端口号，其中端口类型包括： ? FE：百兆以太网接口； ? GE：千兆以太网接口； ? POS：155M SDH接口； ? P04：622M SDH接口； ? P16：2.5G SDH接口； ? ATM：155M ATM接口； ? E1：2M E1接口； ? ······，······。

具体名称由接口所在的槽位及排列顺序决定。 如：FE-0-0 MP命名规则：

multilink接口统一命名为：mp－group A/B/C，其中： ? A表示所捆绑的E1口所在的槽位

中国软件与技术服务股份有限公司

- 8 -

四川电力调度数据网络工程详细设计及实施方案

? B表示所捆绑的E1口所在的卡位 ? C表示相应板卡操位编码 服务器的命名：

? 网管服务器：nms.节点名称.sichuan.spnet.net ? 认证服务器：radius.节点名称. sichuan.spnet.net ? 域名服务器：dns.节点名称. sichuan.spnet.net 端口描述的命名规则： 网络设备接口描述编码方式为： ? 省调与成都的第一条物理E1：

SD1-CD-1（“-1”是以接口的先后顺序来定义的，如果到省调有多条线路，则定位“-2” 。）

? 成都与省调的第一条物理E1：

SD1-CD-1注意一定不能描述为CD-SD1-1，对于同一条链路两端描述必须一致。

如果是MP，则为：SD1-CD-M ? 成都与绵阳的链路：

CD-MY，采用两端连接的IP地址中较小的一端为主，写在前面。 ? 厂站使用小写，二滩et

? 路由器与交换机之间：SD1-S1（路由器打头） ? 路由器与交换机之间的网管接口：SD1-S1-NM VLAN命名规则：

? 对于S3526C交换机，与省调A，相连的vlan接口VLAN100（vpn-rt）、

VLAN200（vpn-nrt）；与省调B相连的vlan接口为VLAN199（vpn-rt）、VLAN299（vpn-nrt）；

? 对于S3526C交换机，与地调路由器相连的vlan接口为VLAN100

（vpn-rt）、VLAN200（vpn-nrt）；

? 交换机与路由器相连的网管vlan使用VLAN1000；

? 对于用户业务VLAN，vpn-rt使用vlan101-198，vpn-nrt使用vlan201-298。

中国软件与技术服务股份有限公司

- 9 -

四川电力调度数据网络工程详细设计及实施方案

1.6. 各节点业务接入

应用业务系统的接入方式：

本期调度专网承载的业务按照安全区分区要求划分为2个VPN分别进行信息交换，分别为安全区I VPN和安全区II VPN，对应实时和非实时二类业务，二类业务存在于各个节点（厂站及调度中心）。各业务系统通过FE端口接入当地调度数据专网交换机。

(1) 省调和地调业务接入

如下图所示，在省调、地调各业务接入节点配置三层交换机，每个VPN接入一台三层交换机，三层交换机直接接入PE。在省调，三层交换机分别接入省调的两个核心路由器（左图），由于S3526C不支持等值路由，我们在VPN-RT内采用省调A作为默认路由高优先级级出口，在VPN-NRT内采用省调B作为默认路由高优先级级出口；在地调，三层交换机接入地调的核心或骨干路由器（右图）。

P E MP L S 网络 PE M PL S 网 络 PE 三层交换机 三层交换机 三层交换机 三层交换机 SI TE A VP N 1 VP N 2 SI TE A VP N1 VP N2

省调业务接入 地调业务接入

(2) 厂站业务接入

如下图所示，在厂站各业务接入节点配置接入路由器及二层交换机，采用VLAN技术，每个VPN接入一台二层交换机，两台二层交换机接入厂站路由器。

中国软件与技术服务股份有限公司

- 10 -

四川电力调度数据网络工程详细设计及实施方案

PE M PL S 网 络 PE PE 二层交换机 二层交换机 SI T E A VP N 1 VP N 2

厂站业务接入

(3) 现有网络节点接入

NE40NE40AR4680PEAR4680PECECECECEVPN-RTVPN-NRTVPN-RTVPN-NRT原有路由器新增路由器 接入现有业务

对于原有业务的接入路由器，本次统一接入到新增的AR4680上，原有的路由器作为CE。

中国软件与技术服务股份有限公司

- 11 -

四川电力调度数据网络工程详细设计及实施方案

2. OSPF路由协议规划

在本期工程中，采用OSPF作为骨干层、骨干层和接入层网络的内部IGP路由协议。

2.1. OSPF router id规划

每台设备的router id设置为与该设备的loopback地址相同。

2.2. OSPF子区（AREA）规划

采用OSPF作为IGP，构建骨干路由。OSPF是一种收敛迅速、消耗系统资源较少的高效的链路状态路由协议，在很多大型的骨干网的环境中得到了成功的应用。

OSPF里最重要的概念之一是存在层次和区域。OSPF允许把连续网络汇集起来，以进行分组。这样的组，和路由器一起维护到内含网络的接口，称为区域(area) 。每个区域独立运行基本链路状态路由算法的一个副本。

与把整个自治系统当作单个链路状态域相比，区域的拓扑结构更优越一些，它能隐藏起来，使之从区域外面不可见。同样地，其它区域里的路由器不知道其区域外的拓扑结构，这样明显地减少路由选择流量。

在网络里可以创建多个区域，不需要自治系统里的全部路由器都去维持整个链路状态数据库。只有同一区域里的路由器要有相同的数据库。

由于创建了区域，自治系统里的路由分成两种：区域内(连接到区域内的目标)和区域间(连接到本地区域外的目标)。

通过设计，OSPF协议可把网络强制分层。对于能实施OSPF的网络，必须存在或能创建层次结构。区域的概念促使管理员在网络里创建层次。

随着区域间路由选择的引入，出现了主干区域(backbone area)的概念。区域之间的所有流量必须流经主干区域。OSPF主干区域是专用OSPF区域0。OSPF主干始终包含全部的ABR，并负责在非主干区域之间发布路由选择信息。主干区域必须连续。如果不连续的话，必须创建虚拟链路使之连续，以保证流量不被

中国软件与技术服务股份有限公司

- 12 -

四川电力调度数据网络工程详细设计及实施方案

中断。

流量不能不流经主干区域。但是，若整个网络只有一个区域，那区域ID就不重要了，因为不需要主干区域。若单个区域设置成非主干区域，引入第二个区域时，把第二个区域当作主干区域来建立，因为所有区域间的流量必须流经过它。

OSPF层次的主要优点在于隐含了其它区域的拓扑结构，这样能明显地减少路由选择协议流量。区域可能是一个或多个网络、一个或多个子网、或是网络或子网的任意组合。若需要进一步减少路由更新，可能需要总结网络或子网。总结使用连续的地址块。

本工程区域划分图如下：

省调A省调B南充乐山核心层自贡攀枝花眉山成都绵阳德阳广元资阳内江宜宾泸州巴中广安达川骨干层西昌接入层四川电力调度数据网拓扑结构示意图 注：图中没有注明接入层的区域划分情况，接入层属于各所属的骨干所在的区域。

按照四川省各地区代码（见附录1），划分对应的区域号码，而对于省调直接连接的厂站区域分配为99。具体区域对应如下表：

节点 省调1 省调2 乐山局

Area划分细则 和其它核心、骨干层节点互联的接口属于Area 0 和其它核心、骨干层节点互联的接口属于Area 0 和其它核心、骨干层节点互联的接口属于Area 0 中国软件与技术服务股份有限公司

- 13 -

四川电力调度数据网络工程详细设计及实施方案

节点 Area划分细则 和本地区接入层节点互联的接口属于Area 11 和其它核心、骨干层节点互联的接口属于Area 0 自贡局 和本地区接入层节点互联的接口属于Area 3 和其它核心、骨干层节点互联的接口属于Area 0 南充局 和本地区接入层节点互联的接口属于Area 13 和核心层节点互联的接口属于Area 0 省调厂站 和本地区接入层节点互联的接口属于Area 99 和核心、骨干层节点互联的接口属于Area 0 成都局 和本地区接入层节点互联的接口属于Area 1 和核心、骨干层节点互联的接口属于Area 0 绵阳局 和本地区接入层节点互联的接口属于Area 7 和核心、骨干层节点互联的接口属于Area 0 德阳局 和本地区接入层节点互联的接口属于Area 6 和核心、骨干层节点互联的接口属于Area 0 广元局 和本地区接入层节点互联的接口属于Area 8 和核心、骨干层节点互联的接口属于Area 0 内江局 和本地区接入层节点互联的接口属于Area 10 和核心、骨干层节点互联的接口属于Area 0 宜宾局 和本地区接入层节点互联的接口属于Area 15 和核心、骨干层节点互联的接口属于Area 0 泸州局 和本地区接入层节点互联的接口属于Area 5 和核心、骨干层节点互联的接口属于Area 0 资阳局 和本地区接入层节点互联的接口属于Area 20 和核心、骨干层节点互联的接口属于Area 0 眉山局 和本地区接入层节点互联的接口属于Area 14 和核心、骨干层节点互联的接口属于Area 0 广安局 和本地区接入层节点互联的接口属于Area 16

中国软件与技术服务股份有限公司

- 14 -

四川电力调度数据网络工程详细设计及实施方案

节点 达川局 Area划分细则 和核心、骨干层节点互联的接口属于Area 0 和本地区接入层节点互联的接口属于Area 17 和核心、骨干层节点互联的接口属于Area 0 西昌局 和本地区接入层节点互联的接口属于Area 50 和核心、骨干层节点互联的接口属于Area 0 攀枝花局 和本地区接入层节点互联的接口属于Area 4 和核心、骨干层节点互联的接口属于Area 0 巴中局 和本地区接入层节点互联的接口属于Area 19 接入层 属于各自地调的相应Area 2.3. OSPF划分区域的特殊考虑

由于目前每个地调中只有一台设备，也就是每个OSPF区域中只有一台ABR，容易存在单点故障问题。而且隶属于不同地调的厂站之间可能会存在冗余链路来提高可靠性，基于以上原因，在OSPF区域的实际规划中可能存在如下图的情形：

四川省调网络AREA 0西昌攀枝花AREA 1厂站厂站厂站厂站N*2ME1地调路由器厂调路由器 特殊区域示例1

中国软件与技术服务股份有限公司

- 15 -

四川电力调度数据网络工程详细设计及实施方案

此时的区域划分原则是：将两个地调下连的所有设备划分为一个同area，两个地调设备同时担当该区域的ABR。需要注意的是：两个ABR之间的线路需要规划为非骨干区域（因为要对非骨干区域内的路由进行地址聚合操作，所以需要确保非骨干区域的连通性），同时在两者之间配置虚连接（确保骨干区域的连通性）。

另外，考虑到某些接入层厂调的设备会以“乱序”的方式与汇聚层的地调节点进行连接。这样可能存在如下的OSPF区域划分：

特殊区域示例2

此时的区域划分需要注意：如果所有的核心层、汇聚层和接入层都划为一台区域，则会太大；如果在省调的核心层设备与所有同时与他们相连的接入层设备分别划分为一个area则会导致区域太多，并且没有规律（对IP地址规划十分不利）。所以建议按照每台汇聚层设备与之相连的厂站链路接口划分为一个区域，同时厂站上联核心层省调设备接口均划分在AREA 99内。根据RFC2328，厂站路由器所在区域均与BACKBONE有连接，并非ABR不许配置虚连接。

中国软件与技术服务股份有限公司

- 16 -

四川电力调度数据网络工程详细设计及实施方案

2.4. OSPF对外发布路由时进行聚合

为了较少在整个OSPF路由域中的路由条目，在区域边界路由器（ABR）和ASBR处，可以进行路由聚合操作，向区域外部发送聚合后的路由信息。

本次工程中可以考虑在ABR处对如下路由进行聚合后发布： ? 核心区域中的互联地址

? 核心节点与骨干节点之间的互联地址； ? 骨干节点和接入层节点之间的互联地址。

本次工程中可以考虑在ASBR处对如下路由进行聚合后发布： ? 所连交换机的网管地址。

注：路由聚合可以视现场更具体的情况而定。

2.5. 在OSPF中引入其他路由协议的路由

OSPF可以引入其他路由协议产生的路由，包括直连路由、静态路由、RIP。本次工程的具体路由引入情况视现场情况而定。

2.6. 在OSPF中统一路由尺度（COST）的计算

为确保路由器选择最优路径，统一OSPF路由尺度（cost）的计算，计算公式为：1000/带宽，带宽的单位是Mbps，各种接口的路由尺度如下表所示。

接口类型 GE 155M POS 100M FE N×E1 Cost 1 6 10 600/N 通过设置合理的Cost值来实现流量的负载或分担：比如把接入节点连接省调节点和骨干节点的链路设置不同的Cost，来实现正常情况下流量从接入节点到骨干节点，而接入节点到省调节点的链路作为备份。

中国软件与技术服务股份有限公司

- 17 -

四川电力调度数据网络工程详细设计及实施方案

3. BGP路由协议规划 3.1. AS号划分

由于四川电力数据网属于私有网络，按照常规的规划原则，应该在规划BGP协议时采用保留自治域号（64512－65535）。但本次规划设计统一采用公用的AS自治域号（1－64511），主要基于以下原因：

? 每个地市网内部同样会使用私有自治域号组建自己的VPN网络，这样

在双方网络互联时有可能产生冲突。

? 在BGP协议中可以很方便的使用一条命令将所有的私有AS号全部过

滤，这样如果日后各地市内部的市级网需要与四川电力数据网互联时，可以方便的将私有自治域号全部屏蔽。

? 由于公有的自治域号的资源十分丰富，可用地址空间为6万个，远远大

于私有自治域号的地址空间（1024个），所以，即使日后与其他网络相连，或者新旧网络进行割接，产生冲突的概率将十分低，可以忽略。 ? 由于四川电力数据网的地址空间全部使用私有地址空间（10.51.x.x），所

以该网络不会与internet相连，即使存在相连的可能性，也一定要使用地址转换等技术，不会将BGP中的路由发布出去。即：不存在同internet上的公用AS自治域号冲突的可能性。

建议本工程PE和CE互连采用直连路由方式，只需给MPLS网络分配一个AS号即可。根据国调统一分配原则，四川省调的AS分配为30051。

3.2. 路由反射器的规划

IBGP设计目标是追求网络的稳定性，减少路由振荡；可扩展性，降低路由器开销，允许支持更多的设备；简单性，使网络易于管理。

IBGP采用了特殊水平分割方式来避免出现路由循环，即IBGP路由器不向其他IBGP Peer转发从某个IBGP peer学习到的路由，因此要求所有BGP路由器之间必须构成Full Mesh全连接才能够保证路由的正确传递。这种IBGP全连接会增加系统CPU和网络传输开销，降低系统性能，严重影响网络的可扩展性。

中国软件与技术服务股份有限公司

- 18 -

四川电力调度数据网络工程详细设计及实施方案

解决IBGP的全连接问题有两种方式：路由反射器和自治域联盟，前者的可扩展性和简单性都好于后者，因此在可以企业网中采用路由反射器（Route Reflector, RR）的方式。

IBGP主要用于将国调或华中网调路由传递到骨干、接入层。同时将本网路由传递到国调或华中网调。由于所有路由器运行在同一个BGP的AS中，按照BGP协议的要求，所有这些路由器必须保证是全连通的，即：任意两台路由器之间都必须配置邻居关系。这样会导致N平方问题，为了解决这个问题，必须使用BGP反射器技术。本项目中IBGP规划内容主要为RR的规划。RR的设计模式基本上是遵循网络的物理结构，一方面可以达到最佳的路由转发效率，提高可扩展性，同时也可以避免路由决策和数据转发的分离造成的次优路由现象。四川电力调度数据网所有节点都作为MPLS VPN的PE节点，需要建立IBGP全连接，运行MBGP协议实现VPN路由及信息的传递。

四川电力调度数据网大约有150台路由器，要实现IBGP全连接，需要建立5000条连接关系，为了减少MP-IBGP连接的数量，建议采用路由反射策略。一般而言，一个cluster 只有一个路由反射器，但为防止路由反射器发生故障引起路由刷新信息的终止，在每个cluster 中配置多个路由反射器，此时该cluster 中的每个路由反射器都必须配置相同的cluster 标识符。本项目中BGP路由规划建议采用两级RR结构。

第一级反射器：

其中省调B和南充核心路由器为路由反射器（RR）；反射客户机为其余16台所有骨干层节点路由器以及省调A核心路由器。

采用路由反射策略后，IBGP连接数量大量减少，降低了管理难度，同时又便于业务扩展。

中国软件与技术服务股份有限公司

- 19 -

四川电力调度数据网络工程详细设计及实施方案

4. IP地址分配

分配方法见附件：四川电力调度地址分配表。

4.1. IP地址分配方案

四川省电力调度数据网的IP地址采用B类地址空间：10.51.BB.CC。IP的第三个8位组BB取值为0—254。四川调度数据网主要业务有：调度自动化（EMS）管理信息系统（MIS）电量计费（TMS）保护管理系统（PIMS）电力市场 (EMOS) 通信监控系统(CCS)，省调每个各系统共占用4段地址，各地区局应用系统共占用1段地址，全省厂站RTU和计费终端各占用1/4段地址。

4.2. 对于设备Loopback地址的分配

各路由器的Loopback地址的使用，在不同的方面都需要它的参与，这主要包括了以下的几种情况：

? 路由器的Loopback地址，是保证内部路由协议的正常运行的重要条件； ? 选择Loopback地址作为IBGP会话建立的基本，对于会话的稳定性能够

提供很好的支持。

综合这些方面，各路由器的Loopback地址，对于整个网络的正常运行，有着至关重要的作用，因而对于各个路由器的Loopback的分配和管理，应当采取统一的专有地址空间。通过为所有的路由器分配一个专有的地址空间，能够更为有效地进行路由器的路由配置和管理，以及方便今后的故障的诊断和排除。

Loopback地址分配采用32位掩码的原则。

4.3. 对于设备间链路地址的分配

路由器间链路的IP地址，从业务的相关性上，他们一般不具有全局的功能，而只是提供完成两个路由器之间的连接。因而从这个角度上讲，这部分的地址空间的分配应当考虑以下的方面：

? 尽可能以分层次的方式为他们分配地址。

中国软件与技术服务股份有限公司

- 20 -

四川电力调度数据网络工程详细设计及实施方案

? 由于链路地址空间不具有全局性，因而并不需要在全网范围内为每个链

路保持精确路由。而采取分层次的地址分配方式，能够将链路地址逐级汇总，从而使得这些地址在各路由器的路由表中占有较少的空间。以降低对路由器的要求，并保证路由器的处理效率。 ? 提供足够的预留空间，以满足今后新增链路的需要。

采用上面的分层次的链路地址分配结构，能够保证路由处理的高效性。而在实施的过程中，应当考虑到在根据业务需要新增链路的时候，这种分层次的结构尽量不会被打破。那么，就需要在初期分配的时候，考虑到不远的将来可能进行的扩容，从而进行相应的预留。

互连链路地址采用30位掩码的分配方式。分配原则如下：

? 省调核心与自贡、乐山、南充地调路由器互联地址：3条链路，共3*4=12。

考虑将来可能会在省调核心部署备份路由器，需要与现有省调核心路由器互连，将余留1条链路，即1*4＝4。即需要提供4个子网掩码为30位的子网使用。

? 省调核心与眉山、成都、绵阳、德阳、广元、资阳、内江等7个地调路

由器互联地址：7条链路，共7*4=28个子网掩码为30位的子网使用。 ? 各地调骨干路由器设备互连地址分配如下：

1) 乐山与眉山互连：提供1个30位子网掩码的子网。 2) 乐山与自贡互连：提供1个30位子网掩码的子网。 3) 自贡与南充互连：提供1个30位子网掩码的子网。 4) 自贡与攀枝花互连：提供1个30位子网掩码的子网。 5) 自贡与西昌互连：提供1个30位子网掩码的子网。 6) 自贡与泸州互连：提供1个30位子网掩码的子网。 7) 自贡与宜宾互连：提供1个30位子网掩码的子网。 8) 自贡与内江互连：提供1个30位子网掩码的子网。 9) 自贡与资阳互连：提供1个30位子网掩码的子网。 10) 南充与巴中互连：提供1个30位子网掩码的子网。 11) 南充与广安互连：提供1个30位子网掩码的子网。 12) 南充与达川互连：提供1个30位子网掩码的子网。

共计需要提供12个30位子网掩码的子网地调间汇聚路由器互连使用。 ? 各地调接入层路由器路上联每条链路需要4个IP，即1个30位掩码的

子网。四川电力调度网络下辖43个电厂及11个500kV变电所、80个

中国软件与技术服务股份有限公司

- 21 -

四川电力调度数据网络工程详细设计及实施方案

220kV变电站，共计需要134个30位掩码的子网。

4.4. 核心、汇聚局域网地址

每个局域网按照业务种类进行子网划分，每种类型的业务将工作在同一个子网，依据每类业务类型包含主机的数量，建议可分配30个地址。

4.5. CE网管设备地址

主要是QuidView网管系统要求管理CE设备，但由于CE的上联PE的链路地址对全网并不是公开的，因此要单独在CE与PE的链路划分一个子接口，为此CE与PE互连的子接口将分配一个29位掩码的子网。

同时在CE上设置loopback接口地址，设置为网管10.51.160.X/24网段，作为网管地址。

中国软件与技术服务股份有限公司

- 22 -

四川电力调度数据网络工程详细设计及实施方案

5. 业务接入方案 5.1. 总体规划原则

四川电力调度数据网的业务包括调度中心及各厂站的各种应用系统，一般通过局域网交换机将业务接入到骨干网PE。

各应用系统通过其通信前置机或通信网关与交换机连接，一般主机或业务系统通过默认路由指向本地局域网的路由网关而与远程通信，并利用的网关的三层特性隔离局域网的本地流量及广播报文不进入骨干设备，并在局域网内采用802.1Q标准的VLAN技术实现不同应用系统的隔离。为保证业务可靠和方便管理，建议不同业务采用不同业务交换机接入PE设备。

5.2. 核心层节点业务系统接入

为提高网络的可靠性，调度中心的业务系统接入采用双机备份组网连接。 四川省调业务接入组网如下：

在省调核心层的本地局域网配置2台三层交换机作为业务交换机，核心节点路由器NE40即作为MPLS网络域内P路由器，又作为PE路由器。各部分功能如下：

? P路由器作为MPLS网络域内的标记交换路由器，实现MPLS VPN标记

栈中顶层标记的压入、交换、弹出功能。

中国软件与技术服务股份有限公司

- 23 -

四川电力调度数据网络工程详细设计及实施方案

? PE路由器是汇聚网MPLS域的边缘，三层交换机CE是本地局域网接入

MPLS VPN的设备；

? 在交换机局域网接入侧，将不同的业务设置在不同的VLAN中实现本地

隔离；在PE设备上，BGP协议通过redistribute connect命令发布PE与CE之间的直连路由。

其他核心层节点（乐山、自贡、南充）业务接入：

5.3. 骨干层节点业务接入方案：

骨干层业务接入与核心的业务接入是相同的，只是接入的设备是NE16E/08E。

其它地调节点业务接入：

中国软件与技术服务股份有限公司

- 24 -

四川电力调度数据网络工程详细设计及实施方案

5.4. 接入层（厂站）节点业务接入方案：

接入层的业务接入的设备方案与骨干层业务接入技术方案一类似，也是两台业务交换机接入到PE路由器上。

在接入层的本地局域网是配置2台二层交换机作为CE，两台交换机为局域网用户提供2个方向的可靠接入。各部分功能如下：

? 在交换机局域网接入侧，将不同的业务设置在不同的VLAN中实现本地

隔离；

? 在PE设备上，BGP协议通过redistribute connect命令发布PE与CE之

间的直连路由。

中国软件与技术服务股份有限公司

- 25 -

四川电力调度数据网络工程详细设计及实施方案

5.5. RTU接入方案

5.5.1. 电力厂站RTU及电能量采集装置接入说明 5.5.2. RTU设备介绍

在电力系统运行中，需要实时采集电厂等地设备及网络的信息资源，一般通过RTU设备、电能量采集装置等进行，对这些设备的接入是电力调度网络非常重要的一种业务。

在原有网络中，RTU设备通常是通过异步串口及异步专线或拨号，远程连接到各级调度中心通信前置机的多串口卡上，通过前置机与服务器进行通信。

RTU设备及电能量采集装置需要用串口方式接入数据网络，可以对电力厂站RTU及电能量采集装置的数据接入及远程管理提供综合支持。

5.5.3. RTU接入方式

对于厂站RTU及电能量采集装置的数据接入及远程管理，组网方案如下：

主站主站CE核心NE40RTU接入服务器S3526AR4680RTU接入服务器PEMPLS/VPNPE厂站路由器TCP/IPRS232Ethernet接入路由器接入路由器VPN-RTVPN-NRTRTURTU

在地调厂站处RTU的接入方式：

中国软件与技术服务股份有限公司

- 26 -

四川电力调度数据网络工程详细设计及实施方案

存在RTU的设备的地调厂站处增加一台RTU接入路由器，该设备做为CE设备专属于某个VPN，向上通过以太网口与该厂站的PE路由器相连，向下通过异步串口与RTU设备相连。厂站的RTU设备出来的异步数据通过RS232电缆传输到路由器的异步串口。

在省调或者地调中心的主站接入方式：

由于在主站侧（地调或者省调中心）的工作站设备可以通过以太网接口使用IP技术相连，则这些主站侧设备可以通过以太网接入相应的VPN所属的CE。

在省调厂站处RTU的接入方式：

省调的厂站路由器AR46上已经配置了异步串口卡（由于AR46具备PE&CE一体化接入RTU的功能，所以无需再额外配置RTU接入路由器），在省调厂站的RTU设备可以直接连接到AR46上。

数据流向：

厂站的RTU设备或者提供异步口的其它电力设备出来的异步数据通过RS232电缆传输到路由器的异步串口，然后路由器把异步数据转化成IP数据，通过广域网传到调度中心的工作站上的以太网口；反向的数据正好和上面的流程相反，从而构成整个数据的传输过程。

5.5.4. 配置及功能说明

1）根据调度中心的业务安全性要求，对RTU及电能量采集装置的接入分别位于不同的VPN里，如RTU接入在VPN1，电能量采集装置在VPN2。VPN1与VPN2在本地位于不同的VLAN中或不同的物理局域网中，在广域网则通过MPLS VPN隔离，只有同一VPN内部设备才能互通。

2）在调度中心的VPN1中，设置一台Quidway AR4680接入路由器，通过以太网口接入到IP网中；并通过异步串口（AS）与主站RTU接入前置机的多串口卡相连，相互通过RS232协议通信，作为中心接入设备。

VPN2中，同样的配置用于接入电能量采集装置。

3）在厂站节点，在VPN1中设置一台接入路由器，通过以太口接入到IP网中；并通过异步(AS)串口与RTU的数据采集串口连接，相互之间通过RS232协议通信，作为厂站业务接入设备；同时通过异步串口与RTU的管理口连接，以

中国软件与技术服务股份有限公司

- 27 -

四川电力调度数据网络工程详细设计及实施方案

便通过IP网进行远程管理。

在VPN2中也作同样的配置。

4）在调度中心及厂站的Quidway系列接入设备上启动串行终端接入服务器功能，根据数据流采集及业务模式的需要，可以将调度中心端设置为客户端，也可以将厂站设置为服务器端。由于电力调度中心的RTU及电能量数据采集通常是由中心发起的查询，因此建议将厂站接入设备设置为服务器端，调度中心侧的接入设备设置为客户端，这样可以由中心通过查询数据等机制在中心设备上发起IP呼叫。

5）在调度中心的接入设备上，通常采用端口状态驱动呼叫方式，即在接入路由器检测到接入串口已经有设备接入（UP）时，会自动根据相应的配置，呼叫厂站接入RTU的路由器，如果对端状态正常，则呼叫成功建立连接；

如果对端状态不正常，则保持为等待状态，此后一旦本地有数据要发送，则由数据驱动再次发起呼叫。

在连接建立成功之后，就可以进行正常的数据传递了。

6）在厂站接入设备上，可以根据端口设置允许接入的中心设备IP地址，保证安全。

7）备用的接入设备，除其IP地址外，应该配置与主用接入设备一样，以便在主用出现故障时，能及时切换。

8）对于RTU的远程管理，可以采用在电信维护等网络中大量使用的反向TELNET，或哑终端接入服务技术，将设备管理口信息在本地操作终端上显示，并执行本地操作终端上发送的指令，达到远程管理的目的。

中国软件与技术服务股份有限公司

- 28 -

四川电力调度数据网络工程详细设计及实施方案

6. MPLS VPN设计和配置 6.1. VPN部署方案

四川电力数据网采用MPLS VPN实现业务的安全接入。

三层MPLS VPN的基本能力由RFC2547描述，考虑到目前路由数目和流量不是很大，采用普通的MPLS VPN方式部署。今后一旦路由过多，可以考虑采用采用分层PE（对于华为设备）和VRF-to-VRF（非华为设备）相结合的解决方案。

四川电力调度数据网中路由器设备：包括核心路由器、骨干路由器、厂站接入路由器，全部启用MPLS。

核心层、骨干层、接入节点通过接入交换机接入本地业务系统，均做为PE。在节点内部，各业务系统以VLAN方式隔离，或以不同交换机接入到PE，在PE上以VLAN方式接入。

6.2. VPN相关公共资源规划 6.2.1. VRF命名规则规定如下：

实时VPN：VPN－RT 非实时 VPN：VPN－NRT RD—router distinguish命名规则

使用16bits：32 bits格式，分配规则为 “AS号：VPN类别” 。其中AS号统一使用骨干AS号30051；VPN类别：实时VPN-1001；非实时VPN-1002。

设备 骨干/骨干接入节点和接入层设备 实时VPN的RD 非实时VPN的RD 30051：1001 30051：1002 6.2.2. RT—Route-target命名规则

使用16bits：32 bits格式，分配规则为“AS号：VPN类别” 。其中AS号统一使用骨干AS的30051。

中国软件与技术服务股份有限公司

- 29 -

四川电力调度数据网络工程详细设计及实施方案

具体的访问规则如下：

? 同一VPN内：省调与地调可以相互访问，省调与省调调厂站可以相互

访问；

? 同一VPN内：地调与地调厂站可以相互访问；

? 同一VPN内：原则上地调与地调之间不可以相互访问，厂站与厂站之

间不可以相互访问；

? 不同VPN内的设备肯定不可以相互访问。

实时VPN RT规划列举见下表：

设备类型 省调路由器 省调厂站路由器 地调路由器 RT（Import） RT（Export） NRT（Import） NRT（Export） 30051:1001 both 30051:2001 both 30051:1002 both 30051:2002 both 30051:2001 30051:2001 30051:1001 30051:1001 30051:2002 30051:2002 30051:1002 30051:1002

每个地调路由器在上述基础上再增加如下规则：

设备类型 地调路由器 地调厂站路由器 RT（Import） RT（Export） NRT（Import） NRT（Export） 30051:1AA1 30051:2AA1 30051:2AA1 30051:1AA1 30051:1AA2 30051:2AA2 30051:2AA2 30051:1AA2 其中每个地调的黑体字部分AA参见地调基本编码，该编码与上面介绍的该地调下辖的OSPF区域号相同。

如果不同地调之间存在互访需求，则在两台地调设备上同时增加如下RT规则：

设备类型 地调路由器A 地调路由器B RT（Import&Export） NRT（Import&Export） 30051:AABB1 30051:AABB1 30051:AABB2 30051:AABB2 其中：AABB分别是地调A和B的基本编码，序号小的放在前面。 例如：成都地调（01）要求与省调互访，与下面的地调厂站互访，与自贡（03）和绵阳（07）两个地调互访，则在成都地调上的RT规则为：

中国软件与技术服务股份有限公司

- 30 -

四川电力调度数据网络工程详细设计及实施方案

设备类型 RT（Import） RT（Export） NRT（Import） NRT（Export） 30051:2001 30051:1011 成都地调 30051:01031 30051:01071 30051:01031 30051:01071 30051:01032 30051:01072 30051:01032 30051:01072 30051:1001 30051:2011 30051:2002 30051:1012 30051:1002 30051:2012 6.3. 分层PE方式部署MPLS VPN

四川省电力调度网采用一个独立的AS部署路由，在一个AS内将有超过几十台路由器作为PE设备接入业务（包括核心/骨干设备、厂站接入设备等）。这就要求厂站设备也必须具备骨干设备的处理能力才能满足要求，为避免这样的情况，采用分层PE方式部署MPLS VPN。这种部署方式与AS内路由采用某种具体的IGP没有关系，只要求IGP保持链路的连通并在一个AS内即可。

分层式PE是将PE的功能分布到多个设备上，它们承担不同的角色，并形成层次结构，共同完成一个集中式PE的功能。对处于较高层次的设备的路由和转发性能要求高，而对处于较低层次的设备的路由和转发性能要求低。

VPN1 Site1VPN2 Site1VPN1 Site3UPE1MP-BGPPEMPLSMPLSSPEVPN1 Site2VPN2 Site2VPN2 Site3UPE2·分层PEPE 分层PE中，直接连接用户的设备称为下层PE （Underlayer PE），简写为UPE，连结UPE并位于网络内部的设备称为上层PE（Superstratum PE），简写为

中国软件与技术服务股份有限公司

- 31 -

四川电力调度数据网络工程详细设计及实施方案

SPE。这种框架结构称为PE的分层结构(Hiberarchy of PE)，简写为HoPE。

UPE仅维护其直接连接的VPN Site的路由，但不维护VPN中其它远程Site的路由；SPE维护其通过UPE所连接的Site所在的VPN中的所有路由，包括本地和远程Site中的路由UPE为其直接连接的Site的路由分配内层标签，并发布给SPE；SPE只发布VRF默认路由给UPE，并携带标签，UPE和SPE之间采用标签转发。

UPE是一个传统的PE，而SPE要在传统PE的基础上增加功能 MPLS VPN的部署如下： ? MPLS VPN域：

SPE：连接厂站的省调、地调节点设备。 PE：其它核心和汇聚层路由器。 UPE：各直调厂站路由器。 CE：局域网链接的各个业务系统。 ? MP-IBGP部署策略：

所有的PE、SPE、UPE节点都应运行MP-IBGP，为了减少IBGP的链接数量， 采用分层PE，VPN路由信息的更新仅在核心和汇聚层的路由器（SPE和PE）间进行，收敛时间更快；同时各个厂站的路由器（UPE）仅需知道直连的VPN路由，不需要知道和处理所有的VPN的信息，大大减少了直调厂站节点路由器的处理压力，可以使用处理能力相对较小的设备。

SPE和UPE之间可以直连，也可相隔一个IP网络或是MPLS 网络。 UPE是遵循通常MPLS VPN标准的普通PE设备，SPE遵循draft-libin- hiberarchy-pe-bgp-mpls-vpn.txt（草案）定义的VPN实现建议，目前华为Quidway 系列路由设备可以作为SPE。

中国软件与技术服务股份有限公司

- 32 -

四川电力调度数据网络工程详细设计及实施方案

7. 四川省调度网与华中网调跨域解决方案

四川省内会有若干华中网调直调的厂站，对于厂站接入方式应按照行政管理归属来决定接入到网调节点还是省调节点。四川省调度网会从这些厂站调取相关信息，因此存在与华中网调跨域互通的需要，下面对跨域解决方案进行详细的阐述。

7.1. 互联设备的选择

与国调、网调跨域连接

为了确保网省调互联方案的健壮性，原则上选择两组设备进行互联。 ? 在网调侧选择：

原则上两台网调NE16设备都可以作为其中的一个互联节点，但通常选择两台设备中负担较轻的一台，那么选择华中网调中的1节点。另外一台必须选择四川省的省调节点。

中国软件与技术服务股份有限公司

- 33 -

四川电力调度数据网络工程详细设计及实施方案

? 在省调侧选择：

省调侧设备的选择方式可以遵循以下原则：

1) 两个节点中必须有一个是该省网的核心节点。

2) 两个省调节点与网调互联时必须通过直接的电路进行连接。 3) 最好选择BGP反射器，防止路由信息在网络中重复传递。 选择省调B与南充两个节点作为跨域节点。

7.2. 跨域互联方式 7.2.1. 三种跨域方案的选择

目前业界对与两个自治系统之间的MPLS/VPN互联方式主要有以下三种方案：

(1) VRF to VRF：该方案只适合小型网络之间的互联，不适合省调这种大型

网络部署。

(2) MP-EBGP：该方案配置较为简单，易于维护。

(3) Multi-Hop：该方案需要BGP支持公网发送标签的能力，设备负担较重，

且配置十分复杂。

通过前期的理论论证及实验测试，推荐使用第二种方案进行华中网与四川省调之间的互联。

7.2.2. loopback地址的使用

对于互联的两台路由器之间，公网的EBGP邻居使用互联地址来建立邻居关系。私网的EBGP邻居则使用loopback地址互联。由于同时使用两组路由器建立邻居关系，所以即使其中的一组邻居之间的连接链路断掉，由于私网的EBGP使用loopback接口建立，在他们之间的EBGP邻居关系不受影响，业务也不会中断。

7.2.3. RT的变更

由于国调网络中RT的规划原则与省调网络中的RT规划原则不尽相同，所

中国软件与技术服务股份有限公司

- 34 -

四川电力调度数据网络工程详细设计及实施方案

以很有必要对互联路由的RT进行重新规划。原则如下：

对于需要互联的省调及下属厂站，加入新的RT规则接受和发布路由，该RT定义如下：

? 实时VPN：发布SCDnet import的RT值，引入SCDnet export的RT值 ? 非实时VPN：发布SCDnet import的RT值，引入SCDnet export的RT值 该RT规则在如下设备上配置：省调中的NE40-B和南充NE16及所需跨域传输数据的各厂站。

7.2.4. 路由策略的使用

由于省网调互联时并不需要将网调所有的路由都通知省调，同理也不需要将省调的所有路由都发布给网调。所以必须在两者之间发布路由时通过路由策略进行控制，有选择的发布路由。

为了精确控制，防止由于误操作导致的路由表激增，在SCDnet 四川节点和SCDnet华中1节点下实施相应的路由过滤操作。

中国软件与技术服务股份有限公司

- 35 -

四川电力调度数据网络工程详细设计及实施方案

8. QoS部署方案

四川电力调度数据网采用Differ Serv，主要有实时业务、非实时业务等。实时业务：EF业务，（即保证带宽，又保证时延）；非实时业务和网管业务：AF业务（保证带宽，时延要大于EF业务）；其它业务：BE业务，无带宽和时延保证，在网络不发生拥塞时可以保证服务质量。

QOS保证的实现举例如下：在本地以太网交换机到路由器的出口处，进行流分类、流标识、CAR限速、802.1p映射、GTS整形等操作。将业务设置为不同的优先级。

? 实时业务：Ip Precedence=5 ? 网管数据：IP Precedence=3 ? 非实时业务：IP Precedence=1

在骨干网中实施基于CBWFQ/LLQ的队列调度，保证带宽和优先级。在发生拥塞时，如果1、2为实时业务，3、4为网管数据，5、6为非实时业务，7、8为其它数据。按照8、7、6、5、4、3、2、1的顺序到达，通过LLQ队列调度后，将实时业务映射到PQ中，将准实时业务和网管数据映射到BQ中，将其它数据映射到WFQ中，通过相关调度算法，发包顺序变为2、1、4、6、3、5、8、7，实现了给不同的业务，提供了不同的等级的QoS服务。

四川电力调度数据网的MPLS/BGP VPN应用中，在VPN网络内部可以对报文进行分类、着色，各种QoS处理。报文在骨干网PE间传送时，QoS属性被透传到对端PE，中间不会被修改。

另一方面，在骨干网上可以对VPN用户的数据流进行QoS处理。使用MPLS

中国软件与技术服务股份有限公司

- 36 -

四川电力调度数据网络工程详细设计及实施方案

报文标签头的EXP字段保存COS，在网络中按照既定的规则，将不同COS值的报文对应于不同的PHB，按照相应规则进行队列调度，报文丢弃等处理。这里COS的值在入口PE上被设定，将VPN用户IP报文的优先级或DSCP值映射为MPLS报文的COS值，这里设定的服务类型仅在骨干网内有效。

用LLQ进行QOS保障的实现举例如下：在以太网交换机上，将业务设置为不同的IP优先级。在路由器上将IP优先级映射为MPLS优先级。实时业务中的EMS业务：Ip Precedence = 5，进入LLQ队列，占用200K的带宽。

按照如上调度原则，当网络发生拥塞时调度方式如下：当网络发生拥塞时，PQ队列将确保至少200K的带宽，但是如果PQ队列的流量也超过200K时，超过的部分将得不到带宽保证，而会被随机丢弃。

中国软件与技术服务股份有限公司

- 37 -

四川电力调度数据网络工程详细设计及实施方案

9. 网络管理方案 9.1. 总体需求

四川电力数据网将在四川省调建立一套全网网管中心系统（对整个网络的设备进行设备管理），及一套VPN网管系统（对整个网络的VPN进行管理，包括业务部署、业务监控）。

全网网管中心全面负责全网设备的管理，能对全网所有设备进行监视和控制，包括网络中P、PE、CE设备的管理。VPN网管系统对VPN提供提供部署、审计、监控PE连接状态、流量统计功能。

根据四川电力数据网网络规模的要求，采用华为Quidview网管系统对其进行网络管理。由于调度数据网络本身的调度数据流量和网管数据流量较少，所以采用带内网管方式。

9.2. 对PE与CE设备统一网管

本次工程要求设备网管不仅能够管理所有的PE设备，而且还能够同时管理VPN中的CE设备。为了安全考虑，要求网管工作站仅对P、PE、CE设备可见，对VPN内的用户设备是不可见的。

由于CE与PE之间的link链路地址属于VPN内部的地址，无法发布到公网（这里的公网是指PE和P设备使用的地址空间），所以为了实现上述需求，必须为每一台CE设备增加一条与PE设备之间的公网LINK链路（出于节约物理链路的考虑，可以在路由器上使用子接口功能，在L3上使用VLAN Trunk功能）。每台CE设备的管理loopback地址也配置为公网地址。

网管工作站同样采用公网的地址空间，直接连接在四川省调局域网上。

中国软件与技术服务股份有限公司

- 38 -

四川电力调度数据网络工程详细设计及实施方案

四川省调VPN网管工作站设备网管工作站报表工作站省调BVPN地址公网link地址省调A公网loopback地址VPN－RTVPN－NRT 省调中心网管工作站

9.3. 网管职能划分

? 拓扑集中显示

直观显示整个网络，提供多种不同的视图，使管理员从不同的角度掌握全网资源状况和运行状态；并且提供便捷的功能入口，在网络拓扑上可以完成大部分的管理操作。

? 故障集中监控

直观显示整个网络的故障状况，提醒管理员告警的发生和清除；以便管理员监控整个网络的运行情况，并采取相应的措施。

9.4. VPN网管

四川电力数据网的VPN网管通过VPN Manager系统实现，该系统立足于管理MPLS VPN网络，实现客户管理、业务部署、性能监控和故障监控功能的无缝融合，是开展MPLS VPN业务的管理工具。

VPN Manager可以提供端到端VPN业务管理解决方案。 VPN Manager解决了VPN业务管理中必须解决的以下问题： ? 直观的、可观察的业务规划

中国软件与技术服务股份有限公司

- 39 -

四川电力调度数据网络工程详细设计及实施方案

? 快速的、可调度的业务部署 ? 已部署业务的发现 ? 业务故障告警、检测 ? 客户管理 ? 全网资源管理 ? 网络性能监控 ? 多厂商设备的管理

VPN Manager的功能覆盖了VPN业务的整个生命周期的管理，从业务规划、业务审计、业务部署到业务监控。

VPN Manager同样接在四川省调（主）的局域网下，为了便于统一管理VPN Manager采用与设备网管相同的物理设备。

9.5. 路由器/交换机相关参数设置 9.5.1. SNMP相关版本设置

SNMP协议的相应版本，本次工程统一使能SNMP V2版本。

9.5.2. SNMP设置团体名

SNMPV2采用团体名认证，与设备认可的团体名不符的SNMP报文将被丢弃。SNMP团体（Community）由一字符串来命名，称为团体名（Community Name）。不同的团体可具有只读（read-only）或读写（read-write）访问模式。具有只读权限的团体只能对设备信息进行查询，而具有读写权限的团体还可以对设备进行配置。

Read值SCDNET Write值SCDL

9.5.3. Trap报文相关属性设置

? 允许被管理设备主动向网管工作站发送Trap报文。 ? 设置Trap目标工作站的地址为网管工作站的地址。

中国软件与技术服务股份有限公司

- 40 -

四川电力调度数据网络工程详细设计及实施方案

? 设置被管理设备发送Trap的源地址为该设备的loopback地址或管理地

址。

中国软件与技术服务股份有限公司

- 41 -

四川电力调度数据网络工程详细设计及实施方案

10. 网络安全方案

10.1. 通过MPLS VPN确保不同类型业务及地域之间

的有效隔离

VPN技术具有天然的安全特性，不同的VPN用户之间由于无法获知对方的路由信息，从而可以理解为存在于不同的私有网络之中，而MPLS VPN由于在公网中使用LSP隧道进行标签交换，较之普通的IP转发具有更好的安全级别。

本次工程通过规划两大类VPN（实时与非实时），确保两种不同业务之间的设备无法获知对方的路由信息。在同一种业务中通过对MPLS VPN中RT（Route-Target）属性的合理设置，可以保证即使是相同的业务，如果没有互访需求，也无法相互访问。

10.2. 通过用户状态进行存取控制功能，保证设备控制安全

华为系列路由器和交换机的命令行提供分级保护功能，禁止低优先级的用户更改设备的重要配置，进入高优先级模式时进行密码验证。

用户的用户级别与命令优先级的关系是：用户只能使用命令优先级不大于用户级别的命令。用户可以根据自己的需要定义命令的优先级，使其在不同的用户级别下使用。

10.3. 限制对SNMP和Telnet用户访问

对远程登录用户，提供了LINE验证、本地验证和AAA验证三级验证。不同的用户可设置不同的用户级别，从而对设备有不同的操作权限（见上）。对Telnet用户还可进行的限制有：

? 配置VTY类型LINE的呼入呼出限制telnet用户访问

通过在PE设备上设置ACL，限制只允许源地址为公网，并禁止其他所有VPN内部用户的私网地址进行登录。此项措施可以简单有效的防止VPN用户通过CE对PE设备进行非法访问。

中国软件与技术服务股份有限公司

- 42 -

四川电力调度数据网络工程详细设计及实施方案

? 配置团体名限制对设备的SNMP访问

SNMP采用团体名认证，与设备认可的团体名不符的SNMP报文将被丢弃。SNMP团体（Community）由一字符串来命名，称为团体名（Community Name）。不同的团体可具有只读（read-only）或读写（read-write）访问模式。具有只读权限的团体只能对设备信息进行查询，而具有读写权限的团体还可以对设备进行配置。

10.4. 路由信息交换的认证

在运行路由协议的路由器上，有些端口具有不安全的属性，最据代表性的如以太网口，该类型的接口由于需要发布本接口网段的路由信息，所以需要启动路由协议，但由于以太网的广播属性，攻击者很容易将一台同样运行OSPF协议的路由设备连接到以太网中，并进而获得整网的路由信息及拓扑结构。所以必须在上述端口上启用silence interface命令，启动该命令后，该接口的网段路由可以照常发布出去，但该接口不会再收发OSPF协议报文，也就不会再与任何其他路由设备建立邻居关系，从而避免了路由泄漏。

10.5. 对所有重要事件记录日志

对于网络安全，不仅要关注网络的事前防范能力，更要做好对事后跟踪能力方面的考虑，在安全事件发生前后，可以通过对用户上网端口、时间、访问地的记录，全面提供用户上网的追溯能力，从而为后期的分析提供第一手的资料。

实际上日志记录等功能是一个非常良好的追溯手段：

? 在出现问题时可以根据记录迅速查找源头，防止事态进一步扩大； ? 同时可以通过法律惩治罪犯，以警后人；

? 利用Syslog记录重要的设备信息(如告警，设备状态变化信息)，可以为

故障定位排除提供有利数据。

日志记录支持控制台(console)、Telnet 终端和哑终端(monitor)、日志缓冲区(logbuf)、日志主机(loghost)等多个方向的日志输出。在条件允许的情况下，对关键设备的日志输出建议采用日志主机的方式。

中国软件与技术服务股份有限公司

- 43 -

四川电力调度数据网络工程详细设计及实施方案

? 配置团体名限制对设备的SNMP访问

SNMP采用团体名认证，与设备认可的团体名不符的SNMP报文将被丢弃。SNMP团体（Community）由一字符串来命名，称为团体名（Community Name）。不同的团体可具有只读（read-only）或读写（read-write）访问模式。具有只读权限的团体只能对设备信息进行查询，而具有读写权限的团体还可以对设备进行配置。

10.4. 路由信息交换的认证

在运行路由协议的路由器上，有些端口具有不安全的属性，最据代表性的如以太网口，该类型的接口由于需要发布本接口网段的路由信息，所以需要启动路由协议，但由于以太网的广播属性，攻击者很容易将一台同样运行OSPF协议的路由设备连接到以太网中，并进而获得整网的路由信息及拓扑结构。所以必须在上述端口上启用silence interface命令，启动该命令后，该接口的网段路由可以照常发布出去，但该接口不会再收发OSPF协议报文，也就不会再与任何其他路由设备建立邻居关系，从而避免了路由泄漏。

10.5. 对所有重要事件记录日志

对于网络安全，不仅要关注网络的事前防范能力，更要做好对事后跟踪能力方面的考虑，在安全事件发生前后，可以通过对用户上网端口、时间、访问地的记录，全面提供用户上网的追溯能力，从而为后期的分析提供第一手的资料。

实际上日志记录等功能是一个非常良好的追溯手段：

? 在出现问题时可以根据记录迅速查找源头，防止事态进一步扩大； ? 同时可以通过法律惩治罪犯，以警后人；

? 利用Syslog记录重要的设备信息(如告警，设备状态变化信息)，可以为

故障定位排除提供有利数据。

日志记录支持控制台(console)、Telnet 终端和哑终端(monitor)、日志缓冲区(logbuf)、日志主机(loghost)等多个方向的日志输出。在条件允许的情况下，对关键设备的日志输出建议采用日志主机的方式。

中国软件与技术服务股份有限公司

- 43 -

本文来源：https://www.bwwdw.com/article/2pnp.html