IPRAN故障排查

IPRAN故障简易排查流程

一、 检查断站设备的光路

当有基站断站以后，排障的第一要领就是检查物理链路：

1. 根据断站点名称查找设备IP地址表，首先跳转到相应的汇聚设备上面，然后再跳转到断站节点；

2. 如果这个节点地址无法登录的话，就检查这个节点环上两侧节点的情况，如果不行，逐跳往旁边登录，直至可以登录；如果可以登录上去就查看一下端口状态，主要关注下面标红色的3个参数即可：

a.最后一次状态变化的时间，用于确定光路断掉的大概时间; b.收发光功率是否在正常范围内，确定是否是光路问题；

c.端口上是否有过多的误码，即error。确定是否是误码过多造成的

A:SD_LC_DE_JR1_YangLiuJiZhan_SAR-M# show port 1/1/1

=============================================================================== Ethernet Interface

=============================================================================== Description : To_YangLiu

Interface : 1/1/1 Oper Speed : 1 Gbps Link-level : Ethernet Config Speed : 1 Gbps Admin State : up Oper Duplex : full Oper State : up Config Duplex : full Physical Link : Yes MTU : 1572 Single Fiber Mode : No

IfIndex : 35684352 Hold time up : 0 seconds Last State Change : 06/18/2013 15:44:47 Hold time down : 0 seconds Last Cleared Time : N/A DDM Events : Enabled

Configured Mode : network Encap Type : null Dot1Q Ethertype : 0x8100

Ing. Pool % Rate : 100 Egr. Pool % Rate : 100 Net. Egr. Queue Pol: default Net. Scheduler Mode: 16-priority

Auto-negotiate : true MDI/MDX : unknown Config Phy-tx-clock: auto-pref-slave Oper Phy-tx-clock: N/A Egress Rate : Default Ingress Rate : n/a Down-when-looped : Disabled Keep-alive : 10 Loop Detected : False Retry : 120 Use Broadcast Addr : False

Loopback : none Swap Mac Addr : Disabled Loopback Time Left : unspecified

Cfm Loopback : Disabled

Sync. Status Msg. : Enabled Rx Quality Level : 0x2(prc) Code-Type : SDH Tx Quality Level : 0xf(dnu) Tx DUS/DNU : Disabled

PTP Asymmetry : 0 Edge Timestamp : Disable Timestamp Capable : True

Configured Address : d4:e3:3f:ae:37:4d Hardware Address : d4:e3:3f:ae:37:4d Cfg Alarm : Alarm Status :

Transceiver Data

Transceiver Type : SFP Model Number : none

TX Laser Wavelength: 1310 nm Diag Capable : yes Connector Code : LC Vendor OUI : 00:1c:ad Manufacture date : 2012/07/18 Media : Ethernet Serial Number : EC122900100816 Part Number : 1AZ667590001 AW Optical Compliance : GIGE-LX Link Length support: 10km for SMF SFP Sync-E Capable : yes

=============================================================================== Transceiver Digital Diagnostic Monitoring (DDM), Externally Calibrated

=============================================================================== Value High Alarm High Warn Low Warn Low Alarm -------------------------------------------------------------------------------

Temperature (C) +39.4 +100.0 +90.0 +0.0 -5.0 Supply Voltage (V) 3.33 3.60 3.50 3.10 3.00 Tx Bias Current (mA) 15.9 60.0 50.0 1.0 0.5 Tx Output Power (dBm) -6.12 -2.00 -3.00 -11.51 -12.50 Rx Optical Power (avg dBm) -8.14 -3.00 -4.00 -18.01 -19.01

===============================================================================

=============================================================================== Traffic Statistics

=============================================================================== Input Output -------------------------------------------------------------------------------

Octets 1175595894584 1154791801687 Packets 4343468329 4302121080 Errors 0 0

===============================================================================

===============================================================================

二、 解决办法：

1. 检查设备光模块发光是否正常；如果设备光模块发光正常的话，那让传输局检查光缆，工程队检查尾纤和法兰头。

2. 如果是端口误码太多，将物理端口shutdown，然后再no shutdown试试。如果不行的话只能更换一个物理网口了。

三、 基站瞬断故障排查：

1.登录到瞬断的设备上，一般成环的节点很少会出现瞬断，但是不排除。首先检查瞬断节点的收发光功率，如果没问题就逐条检查环上的其他节点的光功率。一般情况下是光口实际收光超出临界值；

2. 检查设备温度，看风扇状态：

a.设备温度过高会导致板卡假死，当温度降到板卡可以承受的温度的时候，板卡又会起来，所以就会出现瞬断。 b.查看指令如下：

查看风扇状态，Type表示设备型号。正常状态下3个LED是OFF状态，即没有告警，如果高温的话Critical LED state和Major LED state 会变成RED。另外就是观察风扇状态，Fan Information，下面的是正常的风扇状态，如果不正常的话，Status会变成failed。

A:SD-LC-GT-JR3-NanZhen-SAR8# show chassis

=============================================================================== Chassis Information

=============================================================================== Name : SD-LC-GT-JR3-NanZhen-SAR8 Type : 7705 SAR-8 v2 Location : Coordinates :

CLLI code : Number of slots : 3 Number of ports : 32 Critical LED state : Off Major LED state : Off

Minor LED state : Off Over Temperature state : OK

Base MAC address : 34:aa:99:bc:82:a1

Hardware Data

Part number : 3HE06791AAAA0110 CLEI code : IPMJY10GRA Serial number : NS122564980 Manufacture date : 06262012 Manufacturing string : C06531 Manufacturing deviations :

Time of last boot : 2012/07/29 10:27:56 Current alarm state : alarm cleared

------------------------------------------------------------------------------- Environment Information Module

Status : ok Type : sar8v2-fan

Fan Information

# of on-board fans : 8 Status : up Speed : normal

External Alarms Interface

-------------------------------------------- Input Pin Event State -------------------------------------------- IN-1 1 Critical : ok IN-2 2 Major : ok IN-3 11 Major : ok IN-4 12 Minor : ok --------------------------------------------

Hardware Data

Part number : 3HE06792AAAA0209 CLEI code : IPUCBBAFAA Serial number : NS12246K642 Manufacture date : 08232012 Manufacturing string : C07036 Manufacturing deviations : D02236

Time of last boot : 2012/07/29 10:27:57 Current alarm state : alarm cleared

-------------------------------------------------------------------------------

Power Feed Information

Number of power feeds : 2

Input power feed : A Type : dc Status : up

Input power feed : B Type : dc Status : up

===============================================================================

查看板卡温度：

结果出来以后观察Temperature的参数值，下面的75是最大范围，超过75度以后可能会故障。

A:SD-LC-GT-JR3-NanZhen-SAR8# show card detail

=============================================================================== Card 1

=============================================================================== Slot Provisioned Equipped Admin Operational Card-type Card-type State State -------------------------------------------------------------------------------

1 iom-sar iom-sar up up

IOM Card Specific Data

Clock source : none Named Pool Mode : Disabled Available MDA slots : 6 Installed MDAs : 3

Hardware Data

Part number : 3HE02774AAAC0101 CLEI code : IPUCAMM1AA Serial number : NS121367727 Manufacture date : 04052012 Manufacturing string : C05458 Manufacturing deviations : Administrative state : up Operational state : up Temperature : 36C Temperature threshold : 75C

Software boot (rom) version : X-6.0.R1 on Wed Feb 27 15:18:34 EST 2013 by*

Software version : TiMOS-B-5.0.R9 both/hops ALCATEL-LUCENT SAR* Time of last boot : 2012/07/29 10:28:04 Current alarm state : alarm cleared Base MAC address : 38:52:1a:f0:7c:57 Last bootup reason : hard boot

Memory capacity : 100,896 MB

3. 路由环路造成：

这个问题的话，在你们后期维护基本不会出现，可以关注。这个主要是因为现网中如果同时出现两个相同的地址的话，就会有两条不同的路由，肯定是一条不可达，一条可达的。这时候就会出现瞬断。避免的方法是：后期如果有新增站点，不要重复使用地址即可。

四、瞬断解决办法：

1. 光功率的问题，在确定光模块发光没问题的情况下，只能让传输局和代维检查物理链路（光缆）；

2. 温度过高的问题，SAR-8设备更换风扇即可，SAR-M设备的话只能更换设备（风扇集成的）。

五、 设备光路没问题，但是出现了断站：

1. 检查基站与BBU的物理连接，即2M线和网线：

2. 检查顺序，先检查service里面业务通道的状态是否正常，即epipe和cpipe状态:

A:SD-LC-LQ-JR3-WeiWan-SAR8# show service service-using

===============================================================================

Services

===============================================================================

ServiceId Type Adm Opr CustomerId Last Mgmt Change -------------------------------------------------------------------------------

1080 Epipe Up Down 1 08/28/2013 10:59:20 1212 Epipe Up Up 1 08/28/2013 10:59:20 2108001 Cpipe Up Down 1 08/28/2013 10:59:20 2108002 Cpipe Up Down 1 08/28/2013 10:59:20

2121201 Cpipe Up Up 1 08/28/2013 10:59:20 2121202 Cpipe Up Up 1 08/28/2013 10:59:20 ------------------------------------------------------------------------------- Matching Services : 6

-------------------------------------------------------------------------------

上面这个例子中我们可以看出，1212这个站的接入层是没有问题的，1080的EPIPE（网线），CPIPE（2M）是有问题的。这时候我们可以通过show service sap-using或者show port来查看端口状态。

A:SD-LC-LQ-JR3-WeiWan-SAR8# show service sap-using

===============================================================================

Service Access Points

===============================================================================

PortId SvcId Ing. Ing. Egr. Egr. Adm Opr QoS Fltr QoS Fltr -------------------------------------------------------------------------------

1/1/1 1080 1 none 1 none Up Down 1/1/2 1212 1 none 1 none Up Up 1/5/1.1 2108001 1 none 1 none Up Down 1/5/2.1 2108002 1 none 1 none Up Down 1/5/3.1 2121201 1 none 1 none Up Up 1/5/4.1 2121202 1 none 1 none Up Up ------------------------------------------------------------------------------- Number of SAPs : 6

-------------------------------------------------------------------------------

这是我们可以发现，1/1/1网口是down的，1/5/1和1/5/2是down的这时候，我们就可以定性为，物理连接中断。

六、 解决办法：

工程队检查网线是否插好，或者网线是否有问题；2M线是否插好，2M头（线）是否有问题。

七、 设备板卡故障：

登录到故障节点以后，首先查看service状态，show service service-using。

A:SD-LC-LQ-JR3-WeiWan-SAR8# show service service-using

===============================================================================

Services

===============================================================================

ServiceId Type Adm Opr CustomerId Last Mgmt Change -------------------------------------------------------------------------------

1080 Epipe Up Up 1 08/28/2013 10:59:20 1212 Epipe Up Up 1 08/28/2013 10:59:20 2108001 Cpipe Up Down 1 08/28/2013 10:59:20 2108002 Cpipe Up Down 1 08/28/2013 10:59:20 2121201 Cpipe Up Down 1 08/28/2013 10:59:20 2121202 Cpipe Up Down 1 08/28/2013 10:59:20 ------------------------------------------------------------------------------- Matching Services : 6

-------------------------------------------------------------------------------

这是我们可以看到故障很有规律，全是CPIPE故障，即2M故障。在cpipe中，只要2M对接故障的话，基本就是2M口没有接好之类的。这时候我们可以通过show port来查看。

A:SD-LC-LQ-JR3-WeiWan-SAR8# show port 1/5

============================================================================== Ports on Slot 1

============================================================================== Port Admin Link Port Cfg Oper LAG/ Port Port Port SFP/XFP/ Id State State MTU MTU Bndl Mode Encp Type MDIMDX ------------------------------------------------------------------------------

1/5/1 Up No Ghost 1/5/1.1 Up No Ghost 1514 1514 - accs cem tdm 1/5/2 Up No Ghost 1/5/2.1 Up No Ghost 1514 1514 - accs cem tdm 1/5/3 Up No Ghost 1/5/3.1 Up No Ghost 1514 1514 - accs cem tdm 1/5/4 Up No Ghost 1/5/4.1 Up No Ghost 1514 1514 - accs cem tdm 1/5/5 Up No Ghost 1/5/5.1 Up No Ghost 1514 1514 - accs cem tdm 1/5/6 Up No Ghost

1/5/6.1 Up No Ghost 1514 1514 - accs cem tdm 1/5/7 Up No Ghost 1/5/7.1 Up No Ghost 1514 1514 - accs cem tdm 1/5/8 Up No Ghost 1/5/8.1 Up No Ghost 1514 1514 - accs cem tdm 1/5/9 Up No Ghost 1/5/9.1 Up No Ghost 1514 1514 - accs cem tdm 1/5/10 Up No Ghost 1/5/10.1 Up No Ghost 1514 1514 - accs cem tdm 1/5/11 Up No Ghost 1/5/11.1 Up No Ghost 1514 1514 - accs cem tdm 1/5/12 Up No Ghost 1/5/12.1 Up No Ghost 1514 1514 - accs cem tdm 1/5/13 Up No Ghost 1/5/13.1 Up No Ghost 1514 1514 - accs cem tdm 1/5/14 Up No Ghost 1/5/14.1 Up No Ghost 1514 1514 - accs cem tdm 1/5/15 Up No Ghost 1/5/15.1 Up No Ghost 1514 1514 - accs cem tdm 1/5/16 Up No Ghost 1/5/16.1 Up No Ghost 1514 1514 - accs cem tdm

==============================================================================

这时我们可以发现，所有2M口的port state都是Ghost状态，这个Ghost状态是表示板卡没有生效，即没有插板卡，板卡插入设备后没有生效。这时我们可以通过show card来进行确认。

A:SD-LC-LQ-JR3-WeiWan-SAR8# show card

============================================================================== Card State

============================================================================== Slot/ Provisioned Equipped Admin Operational Num Num Comments Id Type Type State State Ports MDA -------------------------------------------------------------------------------

1 iom-sar iom-sar up up 6 1/1 a8-ethv2 a8-ethv2 up up 8 1/5 a16-chds1v2 a16-chds1v2 up failed 16 A csm-1g csm-1g up up Active B csm-1g up down Standby

===============================================================================

这时我们可以发现5槽位的板卡虽然已经插入到设备上，但是板卡failed（故障）。故障原因已经定性。

八、 解决办法：

携带板卡前往现场进行更换。

本文来源：https://www.bwwdw.com/article/nb4p.html