F5BIG-IPV9故障处理手册
更新时间:2024-06-27 00:21:01 阅读量: 综合文库 文档下载
- F5bigip1600推荐度:
- 相关推荐
F5 BIG-IP V9产品故障处理手册
F5 BIG-IP V9产品 故障处理手册
F5 Networks
2014-03-17
F5 BIG-IP V9产品故障处理手册
BIG-IP发生硬件故障以后的更换流程客户提出更换申报 否 客户更换申报得到确认 是 客户将损坏产品提交付F5的代理商 代理商交付到 AQSIQ 海关清关 代理商将坏件交付F5原厂 F5将新的替换产品送出 海关清关 交付到代理商 替换产品交付到客户
服务体系说明
F5金牌服务由完整的服务体系作为支撑,此服务体系的主要环节说明如下:
I. 服务流程
F5金牌服务的执行流程如下图所示:
F5 BIG-IP V9产品故障处理手册
II. 支持级别
所有的用户服务请求由服务中心(USC)接受后,将被定义其支持级别,支持级别的定义方法如下: 1. 紧急
当前系统停机,网络无法传送流量,或是可传送流量但无法实现关键业务功能。公司的服务团队将尽一切努力,解决这一问题,或提供可选方案。
注意:对于所有紧急情况,强烈建议尽可能首先拨打服务热线电话,与USC取得联系。这将确保您的问题得到最快的响应。 2. 高
当前系统运行性能非常糟糕,或用户业务运营受到显著不良影响。公司将尽一切努力,在约定时间内解决问题。例如:用户添加或更改了一项可降低设备吞吐量的配置,致使设备性能大幅下降等。 3. 中
系统运行性能下降,但大多数业务运转正常。公司将尽一切努力,在约定时间内将遭受性能下降的业务恢复至满意水平。例如:用户界面(UI)问题,或其它不影响功能的异常状况。 4. 低
用户要求获得有关F5产品性能、安装或配置的信息或协助,对用户业务运营会造成很小的影响或几乎不造成任何影响。公司将在约定时间内整理相关信息,交付用户。例如:设备数据、配置备份,特性集查询等。
III. 服务响应
公司服务团队将对不同支持级别的服务请求在不同时限内做出响应,如下表所示:
F5 BIG-IP V9产品故障处理手册
支持级别 紧急 高 中 低
响应时限 1小时 4小时 8小时 第二工作日
F5 BIG-IP V9产品的故障处理手册
第1章 初始化设置相关问题处理说明
1.1. 如何通过机器前面板LCD边上的按键设置BIG-IP的管理网口地
址?
通过LCD按键修改管理网口IP地址的方法如下:
1. 按红色X按键进入Options选项;
2. 在液晶面板上通过按键按以下顺序设置管理网口的网络地址:
Options->System->IP Address/Netmask->Commit
1.2. 为什么通过LCD边上的按键设置BIG-IP的管理网口地址失败?
如果通过LCD按键修改完IP地址以后,选择Commit,地址无法成功改变(例如出现IP地址为全零的情况),很有可能是管理口IP地址与系统内已经配置发生冲突。出现这种情况,关机重启以后,另选一个IP网段来设置管理网口地址。
警告:在设置好网络管理口地址以后,通过网络登陆到BIG-IP上进行其它配置更改时,都要保证网络管理口的网络连接完好。否则有时会出现修改的配置无法被成功加载应用的情况,因为网络管理口为Down的情况会妨碍配置文件的加载。
2014-3-17
F5 Networks China 第1页, 共44页
F5 BIG-IP V9产品的故障处理手册
1.3. 申请License时出现以下错误提示如何处理?
错误提示为“This license has already been activated on a different unit. Please contact technical support for assistance.” 原因是是因为本机的Registration Key与另外一台已经被激活的设备的Registration Key有冲突。碰到这种情况,请联系F5的技术支持工程师协助处理。
1.4. BIG-IP系统如何进行配置备份和恢复?
可以通过以下WEB界面进行配置的备份与修改: 进入System?Archives,点击Create:
配置备份好后,点击设配置文件并下载到外部电脑上:
2014-3-17
F5 Networks China
第2页, 共44页
F5 BIG-IP V9产品的故障处理手册
也可以在CLI使用“b config save
1.5. 如何将BIG-IP的配置恢复到出厂设置?
如果是需要一个完全干净的系统,建议通过重装系统来恢复到出厂设置。如果没办法重装系统,但需要将配置清空以重新进行配置,方法如下:
从管理网口用命令行登陆BIG-IP,然后执行以下命令:
b db all reset b reset b save b base reset
b self allow { default tcp ssh tcp https udp efs tcp snmp proto ospf udp domain udp snmp tcp 4353 tcp domain udp 4353 } b base save
最后运行config设置管理口IP,然后用reboot重启。
2014-3-17
F5 Networks China 第3页, 共44页
F5 BIG-IP V9产品的故障处理手册
第2章 日常维护
2.1. 如何操作BIG-IP前面板上的LCD按键?
通过操作LCD按键可以实现以下功能:
? 在某个屏幕停留 ? 使用LCD菜单 ? 开机 ? 停机 ? 关电 ? 重启
?
在某个屏幕停留
Normally, the screens cycle on the LCD at a constant rate. However, push the Check button to toggle the LCD between Hold and Rotate modes. In Hold mode, a single screen is displayed. The Rotate mode changes the screen displayed on the LCD every 4 seconds.
?
使用LCD菜单
Pressing the X button puts the LCD panel in Menu mode. The buttons Left Arrow, Right Arrow, Up Arrow, and Down Arrow are only functional when the LCD is in Menu mode.
? ?
开机 停机
When you want to power on a unit that is shut down, press the Check button to turn the power on. We recommend you halt the unit before you power it down or reboot it using the LCD menu options.
To halt the unit
1. Press the X button, then use the arrow keys to navigate to the System menu. 2. Press Check. Navigate to the Halt menu.
3. Press the Check button. Press the Check button again at the confirmation screen. 4. Wait 50 seconds before powering the machine off or rebooting it.
?
关电
Hold the X button for 4 seconds to power down the unit. We recommend that you halt the system before you power down the system in this manner. Rebooting the unit Hold the Check button for 4 seconds to reboot the unit. You should only use this option after you halt the unit.
?
清除告警事件
Press the Check button to clear any alerts on the LCD screen. You must clear any alerts on the screen before you can use the LCD.
2014-3-17
F5 Networks China 第4页, 共44页
F5 BIG-IP V9产品的故障处理手册
2.2. 如何解读LED(设备关面板上的状态灯)显示的信息?
LED功能说明如下:
正常状态下,LED的显示情况:
出现告警时的LED状态:
2014-3-17
F5 Networks China 第5页, 共44页
F5 BIG-IP V9产品的故障处理手册
2.3. 如何与BIG-IP进行文件传输?
出于安全考虑,BIG-IP不允许用ftp登陆到BIG-IP上进行文件的上传与下载。 为了与BIG-IP进行文件传输,可以用SSH Secure Shell Client工具带的安全文件传输工具进行文件传输。
Secure File Transfer Client
2014-3-17
F5 Networks China 第6页, 共44页
F5 BIG-IP V9产品的故障处理手册
2.4. 如何实时监视BIG-IP的连接状态?
请使用“b conn”命令,显示示例如下:
192.168.1.254:46704 <-> any:any <-> 192.168.1.1:8 icmp 192.168.4.33:41622 <-> any:any <-> 192.168.20.1:8 icmp 10.9.4.10:1354 <-> 10.10.4.33:ssh <-> 10.10.4.33:ssh tcp 127.1.1.1:33880 <-> 127.1.1.2:nbp <-> any6:any udp 192.168.4.33:36599 <-> any:any <-> 192.168.20.3:8 icmp 192.168.1.254:35139 <-> any:any <-> 192.168.1.1:domain udp 192.168.1.254:35140 <-> any:any <-> 192.168.1.1:domain udp 192.168.1.254:35141 <-> any:any <-> 192.168.1.1:domain udp 192.168.1.254:35142 <-> any:any <-> 192.168.1.1:domain udp 192.168.1.254:35143 <-> any:any <-> 192.168.1.1:domain udp
2.5. 如何实时监视BIG-IP的流量情况?
请使用命令“bigtop –n –delay 1”, 显示示例如下:
| bits since | bits in prior | current | Mar 2 21:17:57 | 1 seconds | time BIG-IP ACTIVE |---In----Out---Conn-|---In----Out---Conn-| 23:48:08 bigip4.f5training.cn 32.30G 50.35G 3.888M 432 432 0 VIRTUAL ip:port |---In----Out---Conn-|---In----Out---Conn-|-Nodes Up-- 10.10.4.100:80 218984 1.499M 51 0 0 0 3 NODE ip:port |---In----Out---Conn-|---In----Out---Conn-|--State---- 192.168.1.1:53 30.57G 40.71G 3.257M 0 0 0 UP 192.168.20.2:80 99624 1.395M 6 0 0 0 UP 192.168.20.1:80 131528 1.006M 29 0 0 0 UP 192.168.20.3:80 12008 137184 1 0 0 0 UP
192.168.1.2:53 0 0 0 0 0 0 NODE DOWN
其中bits in prior 1 second列出的In Out是各Virtual Server及Node上的流量情况。
2.6. 如何监控BIG-IP的性能指标?
通过WEB界面的Overview?Perfrormance进行监控。
2014-3-17
F5 Networks China 第7页, 共44页
F5 BIG-IP V9产品的故障处理手册
第3章 异常处理
3.1. 当处于主机的BIG-IP突然发生故障时,如何尽快恢复业务?
在确保双机配置一致的前提下(通过日常巡检来保证),进行主备切换,看是否能恢复业务。主备切换的方法有:通过Web管理界面进行切换:System?High Availability?Redundancy?Force Standby。
当主备发生切换完后,看备机能否顺利接管业务。
3.2. 如果修改配置以后,导致业务异常如何处理?
在修改配置之前,先作一次配置备份。如果配置修改以后,业务出现异常,恢复配置进行回滚。备份与恢复配置的方法如下:
2014-3-17
F5 Networks China 第8页, 共44页
F5 BIG-IP V9产品的故障处理手册
3.3. 故障诊断时,有时需要用到命令行,如何用命令行登陆BIG-IP?
若有console线,通过19200-8-N-1方式登录,输入用户名/密码 root/default。
注:Console线是Null Modem线,(如在电脑城购买,注意连接头是是否标注有Null Modem字样)线序如下:
DB9F to DB9F 1, 4--- 6 2 ----- 3 3 ----- 2 5 ----- 5 6 ----- 1,4 7 ----- 8 8 ----- 7 9 open open 9 2014-3-17
F5 Networks China
第9页, 共44页
F5 BIG-IP V9产品的故障处理手册
如果没有Console线,则用SSH命令登陆到BIG-IP管理网口的地址。 (BIG-IP管理网口的地址可以在BIG-IP前面的液晶显示板上看到。) 可以使用PUTTY或Secure Shell Client等SSH客户端连接BIG-IP的管理网口地址,进入命令行模式。
察看液晶面板上的管理口ip地址,如192.168.1.245。
若有液晶板上有相应的ip地址,那么请准备一个便携,配上相应网段的ip,通过SSH登录。
若液晶板上无相应的ip地址,即为0.0.0.0,则在液晶板上,按X键,进入system,依次设置IP Address -> Netmask ->Gateway->commit,输入管理口地址,掩码,网关,最后commit,察看液晶面板上的管理地址是否生效。然后通过便携登录管理口。
注:Secure Shell Client 可以用以下链接下载:
http://www.f5.com.cn/f5gz/tools/SSHSecureShellClient-3.2.5.exe。 putty的下载链接如下:
http://www.f5.com.cn/f5gz/tools/putty.zip
3.4. BIG-IP系统处于Inoperational状态如何处理?
BIG-IP刚开机时会处于Inoperational状态,等进程启动完毕,配置文件加载完以后,BIG-IP会改换为Active状态,或Standby状态(双机中的另外一台处于主机的情况下)。
如果系统长时间处于Inoperational状态,一般有两种可能,一种可能是License没有被激活,另外一台可能是配置文件有问题无法被正常加载。
确认IG-IP系统Licnese是否处于有效激活状态有两种方法:
一种是在WEB界面点击System?License,查看License信息是否有效。 一种办法是在命令行执行b version命令。如果系统License有效的话,b version命令会给出下面类似的输出:
2014-3-17
F5 Networks China
第10页, 共44页
Kernel:
Linux 2.4.21-9.2.2.72.0smp Package:
BIG-IP Version 9.2.2 76.6 Final Edition Enabled Features:
ZoneRunner - DNS Zone Management Early Access Features Global Application Support Link Total Cost Load Balancing CNAME Redirection Global Custom Region Definitions Link Capacity Load Balancing GTM Failover To One Data Center IP Classifier Internet Weather Map ……
F5 BIG-IP V9产品的故障处理手册
f5test-1:~# b version
在Enabled Features下面会列出License所许可的所有功能模块。
如果License没有激活或已经到期,则Enable Features下而为空。如果为空,则需要先激活License。
如果License正常,而系统还处理inoperational状态,可参看3.5的办法检查是否/config/bigip_base.conf有问题。
3.5. 通过Web界面修改配置以后,重新启动BIG-IP以后,发现配置
丢失如何处理?
用命令行登陆BIG-IP,检查/config/bigip_base.conf文件,是否有以下几行:
interface mgmt {
media none }
注:(如何用命令行登陆BIG-IP请参见3.3故障诊断时,有时需要用到命令行,如何用命令行登陆BIG-IP?)
当管理网口没有接网线而做了配置修改就会在/config/bigip_base.conf中出现这几行。而这几行将导致机器重启时在这以后的配置不能正常加载。这一问题目前仅限发生于BIG-IP 9.2版本。
如出现这种情况,请在命令行按以下步骤进行操作:
1、 # cp /config/bigip_base.conf /root/ 保存bigip_base.conf文件 2、 # vi /config/bigip_base.conf
2014-3-17
F5 Networks China
第11页, 共44页
F5 BIG-IP V9产品的故障处理手册 把如下语句(若有)删掉 interface mgmt { media none }
3、 检查bigip_base.conf文件中是否有如下语句,其中的192.168.1.245是管理网口地址,实际可能不
一样。
mgmt 192.168.1.245 { netmask 255.255.255.0 }
b load重加加载配置或运行reboot命令重启。
若没有,则手工添加。也可以设为你所需要的管理网段地址。
4、 保存退出,执行
注:为防止这一问题出现,在做配置修改时,要保证管理口有连接(接交换机或着通过交叉线同另外一台BIG-IP的管理口连接),则不会出现此现象。
2014-3-17
F5 Networks China 第12页, 共44页
F5 BIG-IP V9产品的故障处理手册
第4章 WEB与命令行管理
4.1. 通过WEB界面修改配置时出现General Database Error错误,
如何处理?
如果条件允许,先将系统重启后再次修改配置,看问题是否依然存在。 如果问题依然存在,或者不允许重启系统,则需要用SSH客户端以命令行方式登陆BIG-IP。
注:建议从管理网口用命令行登陆。
用SSH登陆命令行以后,看命令行提示符现示系统是否处于Inoperational状态。
如果是处于Inoperational状态,则可能是License没有激活或已经到期。(License到期的现象只发生在采用了临时License的测试设备上)。
如果License已经处于有效激活状态,而系统处于Inoperaitonal状态,则有可能是配置文件有错误,导致配置文件无法被顺利加载。
如果命令行提示符提示系统处于Active状态或Standby状态,而通过WEB界面修改配置出现General Database Error,则有可能是负责WEB管理的进程出现异常,可能采用bigstart tomcat restart的方式看能否解决问题。
4.2. SSH访问具有密码加密传输的优点,请问从哪里获取SSH客户
端?
常用的SSH客户端有:
?
Secure Shell Client ——下载链接
http://www.ssh.com/support/downloads/secureshellwks/non-commercial.html或http://www.f5.com.cn/f5gz/tools/SSHSecureShellClient-3.2.5.exe。 2014-3-17
F5 Networks China
第13页, 共44页
? ?
F5 BIG-IP V9产品的故障处理手册
Putty ――下载链接http://www.f5.com.cn/f5gz/tools/putty.zip
TTSSH —— http://www.zip.com.au/~roca/ttssh.html TTSSH是公司标准软件Tera Term的SSH扩展免费软件。 ?
SecureCRT —— http://www.vandyke.com/ 本软件功能强大,评估版为免费软件。
4.3. 为什么无法用Telnet登陆到BIG-IP的命令行?
出于安全考虑,BIG-IP不允许采用Telnet的方法登陆到BIG-IP。 Please refer to the following SOL for detail.
http://tech.f5.com/home/bigip-next/solutions/toolsscript/sol3848.html
4.4. BIG-IP系统Web管理员admin密码忘记了,如何恢复?
可以通过在命令行执行 passwd admin重新设置admin密码。
方法请参考http://tech.f5.com/home/solutions/sol3350.html --Changing account passwords for the command line and Configuration utility。
4.5. BIG-IP系统root密码忘记了,如何恢复?
如果Root密码丢失,但还可以进入Web管理界面,则可以在System->Platform界面重新设置Root密码。
如果Root密码丢失,且无法进入Web管理界面,则需要进入到单用户模式,重新设置Root密码。方法请参考Solution ID: SOL4178 Booting BIG-IP in single user mode
和Solution ID: SOL3350 Changing account passwords for the command line and Configuration utility。
2014-3-17
F5 Networks China 第14页, 共44页
F5 BIG-IP V9产品的故障处理手册
4.6. 默认的用户名和口令不安全,如何添加新用户或修改现有用户?
Web管理员的密码与命令行登陆root帐可以密码可以通过Web界面进行修改: 登录bigip的WEB管理界面时需使用Admin的用户名,登录bigip的命令行界面需要使用root的用户名,更改这个两个用户名的方法如下:
点击左侧导航条的System?Platform,进入其属性页面:
在右侧的页面中,可以在User Administration中对这两个用户名的密码进行更改。更改完毕后点击Update即可生效。
“root”用户也可以通过CLI“passwd”命令进行修改。
4.7. 如果忘记了SCCP的密码,如何恢复SCCP的密码到出厂设置?
In normal operating conditions the root password on the SCCP is synchronized from the root password on the BIG-IP host, thus the SCCP root password is the same as the BIG-IP root password.
To reset password, the procedure as below:
2014-3-17
F5 Networks China 第15页, 共44页
F5 BIG-IP V9产品的故障处理手册
Resetting the SCCP password to its default value will allow you to access the SCCP, if required. To reset the SCCP password to its factory default value, perform the following steps:
Note: This procedure must be performed from the console (accessed through the console terminal).
1.Power up the BIG-IP system from a powered-off state. 2.At the press any key to stop Autoboot prompt, stop the boot. The system will return a => prompt.
3.From the => prompt, type the following commands: setenv runlevel init=/bin/bash -s -- run flashboot
Note: In order for the command to execute properly, you must include the two dashes (--) at the end of the setenv runlevel init=/bin/bash -s -- line of code, above. The system will return a bash prompt.
4.From the bash prompt, type the following commands: echo \mount /proc
5.Type the following command: Note: 下面的命令须在同一命令行执行
ln -s `awk '/Boot FS/ { printf(\注意:此处应有笔误,原文多了一个\,正确命令应为:
ln -s `awk '/Boot FS/ { printf(\6.Type the following command: Note: 下面的命令须在同一命令行执行
echo -e \7.Type the following commands: mount -a cd /boot rm nvfiles.tgz sync cd / umount /boot 8.Power-cycle the box.
Important: The system must be power cycled for this procedure to be effective.
Note: As the BIG-IP reboots you will see warning messages, which are expected at this stage in the procedure. The warning messages will appear as follows: Warning: Remote Host Identification Has Changed!
Backing up the known_hosts file and re-synchronizing the SSH keys
2014-3-17
F5 Networks China 第16页, 共44页
F5 BIG-IP V9产品的故障处理手册
The known_hosts files now need to be updated on the BIG-IP system and the SCCP, and the SSH keys need to be synchronized to the SCCP, and from the SCCP to the BIG-IP system. The following steps will back up the current known_hosts files and re-synchronize the SSH keys. Note: For this procedure, BIG-IP is also known as the host. 1.Log in to the Console command line as the root account.
2.Rename the /var/ssh/root/known_hosts file, by typing the following command: mv /var/ssh/root/known_hosts /var/ssh/root/known_hosts.orig
3.Synchronize the keys from the BIG-IP to the SCCP, by typing the following command: keyswap.sh sccp
A message will appear, indicating that the authenticity of host sccp (127.2.0.1) cannot be established. 4.At the Are you sure you want to continue connecting (yes/no)? prompt, type yes. You will be prompted for a password. 5.Type the SCCP password default.
You will be prompted several more times (approximately 6 times) for the password. Continue to type the password default for each prompt until you are returned to the BIG-IP command line. 6.Connect to the SCCP by typing the following command: ssh sccp
A message will appear indicating that the authenticity of host sccp (127.2.0.1) cannot be established. 7.At the Are you sure you want to continue connecting (yes/no)? prompt, type yes.
If the SSH keys have been properly synchronized from the host to the SCCP, the system should not prompt you for a password.
You should now be connected to the SCCP, and have an sccp# prompt. 8.Rename the /root/.ssh/known_hosts file, by typing the following command: mv /root/.ssh/known_hosts /root/.ssh/known_hosts.orig
9.Synchronize the keys from the SCCP to the host, by typing the following command:
keyswap.sh host
A message will appear indicating that the authenticity of host sccp (127.2.0.1) cannot be established. 10.At the Are you sure you want to continue connecting (yes/no)? prompt, type yes. You will be prompted for a password.
11.Type the password for the host's root account.
You will be prompted several more times (approximately 6 times) for the password. Continue to type the password default for each prompt until you are returned to the BIG-IP command line. 12.Connect to the host by typing the following command: ssh host
A message will appear, indicating that the authenticity of host sccp (127.2.0.2) cannot be established. 13.At the Are you sure you want to continue connecting (yes/no)? prompt, type yes.
If the SSH keys have been properly synchronized from the SCCP to the host, the system should not prompt you for a password.
You should now be connected to the host, and have the BIG-IP prompt [root@bigip:Standby] root #. 14.Exit the host and return to the SCCP, by typing the following command: exit
15.Exit the SCCP and return to the host, by typing the following command: 2014-3-17
F5 Networks China
第17页, 共44页
exit
16.Reboot the host, by typing the following command:
F5 BIG-IP V9产品的故障处理手册
4.1. 如何将BIG-IP监控到的服务器UP/DOWN信息发到外部Syslog
服务器上?
要将所监控的服务器的状态信息通过syslog发送到外部的syslog服务器的方法如下:
在命令行编辑/etc/syslog-ng/syslog-ng.conf文件, vi /etc/syslog-ng/syslog-ng.conf 在文件末尾增加以下内容:
filter notdebug { level(warning...emerg) and match(\destination loghost { udp(\log {
source(local); filter(notdebug); destination(loghost); };
其中192.168.10.168是syslog服务器, 514为syslog服务器监听端口。 level(warning...emerg) and match(\定义的要发送到syslog服务器的信息,match(\表示匹配Pool member (.*?):(.*?) monitor status down 中的member那一行,这样可以将其它与服务器监控无关的信息过滤掉。
编辑保存文件以后,运行/etc/init.d/syslog-ng restart, 输出以下信息:
Stopping syslog-ng: [OK ] Starting syslog-ng: [OK]
确认syslog运行正常即可。(注意:一定要确保syslog-ng.conf配置正确,使syslog能正常启动,否则会影响系统中其它依赖于syslog的进程)。
2014-3-17
F5 Networks China 第18页, 共44页
F5 BIG-IP V9产品的故障处理手册
4.2. BIG-IP Syslog的事件类型有哪些?
BIG-IP Syslog的事件类型有以下几种:
? 系统事件(System events)
System event messages are based on Linux events, and are not specific to the BIG-IP system。这一类的事件一般记录在/var/log/messages中。
? ? 包过滤事件(Packet filter events)
Packet filter messages are those that result from the implementation of
packet filters and packet-filter rules. 这一类的事件一般记录在/var/log/pktfilter.
? ? 本地流量管理事件(Local traffic events)
Local-traffic event messages pertain specifically to the local traffic management system. 这一类的事件一般记录在/var/log/ltm.
Some of the specific types of events that the BIG-IP system displays on the Local Traffic logging screen are:
? Address Resolution Protocol (ARP) packet and ARP cache events ? bigdbTM database events (such as populating and persisting bigdb variables)
? HTTP protocol events ? HTTP compression events
? IP packet discard events due to exceptional circumstances or invalid parameters (such as a bad checksum)
? Layer 4 events (events related to TCP, UDP, and Fast L4 processing) ? MCP/TMM configuration events ? Monitor configuration events ? Network events (layers 1 and 2)
? Packet Velocity? ASIC (PVA) configuration events ? iRuleTM events related to run-time iRule processing ? SSL traffic processing events
? General TMM events such as TMM startup and shutdown
这些事件对应的级别如下:
2014-3-17
F5 Networks China 第19页, 共44页
F5 BIG-IP V9产品的故障处理手册
? ? 审计事件(Audit events)
Audit event messagesare those that the BIG-IP system logs as a result of changes to the BIG-IP system configuration. Logging audit events is optional. 这一类的事件一般记录在
Audit logging is an optional feature that logs messages whenever a BIG-IP system object, such as a virtual server or a load balancing pool, is configured; that is, created, modified, or deleted. There are three ways that objects can be configured: ? By user action ? By system action
? By loading configuration data
The BIG-IP system logs the messages for these events in the file /var/log/ltm.
4.3. 如何设定BIG-IP Syslog的事件级别?
对于本地流量管理事件,你可以设置最小的记录级别。通过为不同的事件设定不同的日志级别,来控制哪些事件会被记录下来。你可以设定要SYSLOG记录别一级别的事件,目前的事件分为以下级别:
? Emergency ? Alert ? Critical ? Error
2014-3-17
F5 Networks China
第20页, 共44页
F5 BIG-IP V9产品的故障处理手册
? Warning ? Notice ? Informational ? Debug
举例来说,如果你将bigdb事件的最小日志级别设定为Error,那BIG-IP只记录Error以上级别的事件。如果将最小日志级别设成缺省的级别,则BIG-IP将会记录除Debug信息以外的所有事件。
4.4. BIG-IP Syslog事件记录的格式是怎么样的?
BIG-IP Syslog的事件记录的格式的解释请参见下表:
例如:
2014-3-17
F5 Networks China
第21页, 共44页
F5 BIG-IP V9产品的故障处理手册
4.5. 网络设备通常有收集系统信息的宏命令,F5有没有相应命令?
与华为路由器“display base-information”、华为交换机“display diagnostic-information”、思科“show tech-support”和NetScreen防火墙“get tech-support”命令类似,BIG-IP系统也有对应信息收集工具叫F5 Qkview Diagnostic Tool。在CLI界面中执行“qkview”,Qkview工具执行完成后将输出信息保存在文件/var/tmp/
在进行故障诊断和寻求高级技术支持,别忘了执行本命令。
可以通过Web界面执行qkview命令全面采集系统日志信息并下载下来。 通过Qkview工具可以采集BIG-IP上的配置信息及日志信息,以供离线的故障诊断。
如果可以通过Web界面进行管理,则可由System?Support中
运行Qkview工具,运行过程如下:
Qkview运行过程大概会持续3至5分钟,执行结果如下:
2014-3-17
F5 Networks China 第22页, 共44页
F5 BIG-IP V9产品的故障处理手册
点击Download下载Qkview的输出文件 。
注意修改下载文件的文件名以免双机的文件重名冲突。
4.6. 如何查询设备的序列号?
负载均衡器的序列号可能从设备前面板右边的机架安装处获得,是在一个条形码标签下面以bip开头的一串字串。如果设备已经上架,不方便查看设备的序列号的话,也可以通过License文件,获取设备的序列号。License文件保存在/config/bigip.license文件中。在文件中搜寻以下信息:
Registration Key : JSUIF-IISEN-YSJWQ-JRRVP-LIVYDKE Licensed version : 9.2.3 Platform ID : C62a
Appliance SN : Registration Key : JSUIF-IISEN-YSJWQ-JRRVP-LIVYDKE Licensed version : 9.2.3 Platform ID : C62a Appliance SN : bip083200s
其中的bip083200s即为设备的序列号。
2014-3-17
F5 Networks China 第23页, 共44页
F5 BIG-IP V9产品的故障处理手册
4.7. 如何使用TCPDUMP进行Troubleshooting?
当业务无法正常工作时,经常需要在BIG-IP上抓包进行分析定位是什么原因导致数据包没有被常转发。BIG-IP上提供了TCPDUMP抓包分析工具。
TCPDUMP是Unix系统常用的报文分析工具,TCPDUMP经常用于故障定位,如会话保持失效、SNAT通信问题等。本文讲述TCPDUMP命令的基本用法,更详细的使用说明请参见“man tcpdump”。
命令语法:
tcpdump [ -adeflnNOpqRStvxX ] [ -c count ] [ -F file ] [ -i interface ] [ -m module ] [ -r file ] [ -s snaplen ] [ -T type ] [ -w file ] [ -E algo:secret ] [ expression ]
其中:
?
-i
报文捕获监听的接口,如果不指定,默认为系统最小编号的接口(不包括loop-back接口),
一般对指定Vlan名称进行监控,如-i external 是对external vlan进行监控;也可以对指定端口进行监控如 –i 1.1。注意:当vlan 名称过长时,-i后面直接用vlan名称,tcpdump会出现错误提示,这时需要将vlan名改由vlan加vlan ID代替。如有一vlan名称为bip_external,vlan ID为2022,如要对bip_external vlan进行监听,需采用-i vlan2022的方式。 ?
-nn 不将IP地址或端口号转化为域名或协议名称
注:与BIG-IP 4.5版本的TCPDUMP命令不一样,在BIG-IP V9里面必须用两个nn才能使IP地址与端口不会被转化为域名或协议名称显示。
? ? ?
-r -s -w
从文件中读取(该文件由-w选项创建) 确定捕获报文大小
直接将捕获报文写入文件,而不是对其进行解析并通过屏幕显示(与-r选项对应)
注:如果要将TCPDUMP所抓的包保存到文件,建议采用-s1600 –w /var/tmp/filename的方式,-s1600可以保证抓取完整的数据包,而/var/tmp使抓包文件保存在/var/tmp目录。
? ? ?
-x -X
每个报文以十六进制方式显示 每个报文同时以文本和十六进制显示
expression 匹配表达式的分组将进行解析。如果不指定表达式,系统对所有分组进行捕获分析。
F5 Networks China
第24页, 共44页
2014-3-17
F5 BIG-IP V9产品的故障处理手册
复杂表达式可以使用“and”与、“or”或以及“not”非操作进行组合。表达式有三种: ? ? ?
type dir
三种种类:host、net和port。比如:host 10.1.1.1。如果不指定类型,默认为host。 有src、dst、 src or dst和src and dst四种方向。默认为src or dst,即双向。
proto 常见协议有:ip、arp、tcp、udp、icmp等。如果不指定协议类型,默认为所有协议。
举例1:对external接口主机139.212.96.2并且端口为1433的流量进行监控。端口不指定tcp和udp,默认为同时对tcp和udp进行报文捕获。本命令不解析IP地址/端口号为主机名/服务名称,同时显示报文十二进制和文本信息,报文最大为1500字节。
f5-1:~# tcpdump -i external -nn -X -s 1600 port 1433 and host 139.212.96.2 tcpdump: listening on external 21:48:41.295546 139.212.96.2.1201 > 10.75.9.44.1433: . 302192826:302192827(1) ac
k 558871968 win 64360 (DF) 0x0000 012c 0800 4500 0029 38cf 4000 7f06 c3b2 .,..E..)8.@..... 0x0010 8bd4 6002 0a4b 092c 04b1 0599 1203 18ba ..`..K.,........ 0x0020 214f b5a0 5010 fb68 a926 0000 00 !O..P..h.&... 21:48:41.296015 10.75.9.44.1433 > 139.212.96.2.1201: . ack 1 win 64636 (DF) 0x0000 012c 0800 4500 0028 cb2d 4000 7f06 3155 .,..E..(.-@...1U 0x0010 0a4b 092c 8bd4 6002 0599 04b1 214f b5a0 .K.,..`.....!O.. 0x0020 1203 18bb 5010 fc7c a812 0000 0000 0000 ....P..|........ 0x0030 0000 ..
21:48:50.701130 139.212.96.2.1206 > 10.75.9.44.1433: . 304974934:304974935(1) ac
k 565108263 win 64882 (DF) 0x0000 012c 0800 4500 0029 38f7 4000 7f06 c38a .,..E..)8.@..... 0x0010 8bd4 6002 0a4b 092c 04b6 0599 122d 8c56 ..`..K.,.....-.V 0x0020 21ae de27 5010 fd72 0a6b 0000 00 !..'P..r.k... 21:48:50.702567 10.75.9.44.1433 > 139.212.96.2.1206: . ack 1 win 65267 (DF) 0x0000 012c 0800 4500 0028 d3a6 4000 7f06 28dc .,..E..(..@...(. 0x0010 0a4b 092c 8bd4 6002 0599 04b6 21ae de27 .K.,..`.....!..' 0x0020 122d 8c57 5010 fef3 08ea 0000 0000 0000 .-.WP........... 0x0030 0000 ..
举例2:对internal接口主机172.31.230.53和172.31.230.51之间端口8080的流量进行分组捕获。本命令不解析IP地址/端口号为主机名/服务名称,报文最大为1600字节,捕获信息以“/var/tmp/intdump”文件保存:
2014-3-17
F5 Networks China
第25页, 共44页
F5 BIG-IP V9产品的故障处理手册
tcpdump -s 1600 -i internal -w /var/tmp/intdump host 172.31.230.53 and host 172.31.230.51 and port 8080
如果查看该捕获文件,请用tcpdump –r /var/tmp/intdump命令。也可以将捕获的文件下载下来用Ethereal工具解包分析。
4.8. 对某一Virtual Server用TCPDUMP命令无法抓到包如何处理?
可能是该Virtual Server的属性中选用了Performance Layer4类型,导致数据包由四层加层ASIC芯片处理而没有流经CPU引起,碰到这种情况,选取该Virtual Server将type由Performance Layer4临时改为Standard再来用TCPDUMP命令抓包,抓包以后,改回到Performance Layer4。
4.9. TCPDUMP出现“truncated-ip - 1215 bytes missing!”信息是
不是说明网络上有丢包?
在BIG-IP V9里面出现”Truncated-IP xxxx bytes missing”信息,一般来说并不是网络上有丢包引起的,而是在执行TCPDUMP命令时没有加上 –s0或-s1600参数时,而数据包大小超过TCPDUMP缺省的抓包大小(如果不加-s0或-s1600参数,则缺省的每个数据包只抓前面400byes),就会出现truncated-ip的情况。出现这种情况,只需要重新输入tcpdump命令,加上-s0或-s1600即可。
4.10. TCPDUMP 命令中的-i interface中的interface用VLAN名称
(如external或internal)与接口编号(1.1或2.1)有什么区别?
如果采用VLAN名称作为-i的参数,TCPDUMP收集的数据包是经由内部接口到达TMM进程经由中央CPU处理的数据包。
2014-3-17
F5 Networks China 第26页, 共44页
F5 BIG-IP V9产品的故障处理手册
采用VLAN名称作为-i参数的局限性在于,由于PVA四层加速芯片时位于BIG-IP的交换板(Swithboard)上,并不需要经由主机板与交换机板的内部接口到达中央CPU,因此TCPDUMP无法抓取这些四层加速的数据包。
因此采用VLAN名称作为-i的参数一般是用于对采用Standard作为Virtual Server类型的应用抓包时采用。
注:如果Virtual Server是用PVA四层加速芯片作加速处理,则在Virtual Server的属性中PVA Acceleration显示为Full。
(The PVA handles accelerated traffic in the following order:
The PVA receives accelerated traffic from the switch subsystem ? The PVA transforms the packet in order to redirect the packet to the appropriate pool member
? The PVA sends the packet back to the switch subsystem
?
Fully accelerated traffic never reaches the internal trunk and is not processed by TMM. )
如果采用接口编号作为-i的参数,则进出该接口的数据包将先被镜像给SCCP(SCCP是BIG-IP的管理子系统),然后送到主机板上通过TCPDUMP抓包。由于是直接镜像了端口,因此经由四层加速芯处理的数据包也能被TCPDUMP获取。
采用接口编号作为-i的参数的局限性在于,由于数据包是经由SCCP(管理子系统)转发给主机板,数据包的处理速度有限,每秒只能处理200个数据包。因此采用接口编号作为-i的参数一般是用于做基本网络故障诊断时。
(When tcpdump is run on an interface, the packet is copied on switch ingress to the SCCP, which then sends it to the host to be captured by tcpdump. Limitations
Running tcpdump on a switch interface is rate-limited to 200 packets per second. Therefore, if you run tcpdump on an interface that is processing
2014-3-17
F5 Networks China
第27页, 共44页
F5 BIG-IP V9产品的故障处理手册
more than 200 packets per second, the captured tcpdump file will not include all of the packets.
For example, the following command will capture PVA accelerated traffic, but the syntax will result in a rate limit of 200 packets per second。)
注:对于采用了PVA四层加速芯片加速处理的Virtual,而且网络流量又比较大时,如果需要进行抓包分析,建议在上一级交换机作端口镜像,将网络流量输出到外部的抓包主机上处理。
4.11. TCPDUMP 命令中出现“pcap_loop: Error: Interface packet
capture busy”错误信息?
同时执行多个TCPDUMP,出现“pcap_loop: Error: Interface packet capture busy”错误,例如:
[root@bigip1:Active] config # tcpdump: listening on 1.1
[root@bigip1:Active] config # tcpdump -ni 1.3 -s 1600 -X -w/var/tmp/v741-E13.dmp port 22 & [3] 6813
tcpdump: listening on 1.3
[root@bigip1:Active] config # tcpdump -ni 1.4 -s 1600 -X -w/var/tmp/v742-E14.dmp port 22 & [4] 6820
tcpdump: listening on 1.4
[root@bigip1:Active] config # tcpdump: pcap_loop: Error: Interface packet capture busy
tcpdump: pcap_loop: Error: Interface packet capture busy
这种情况一般只发生在TCPDUMP -i参数采用接口编号时。原因主要在于当采用接口编号作为-i参数时,是通过BIG-IP的二层芯片将该接口的数据包镜像到中央CPU作处理。而BIG-IP的二层芯片的接口镜像功能不支持多个接口同时镜像,因此如果同时执行多个用接口名称作-i参数的TCPDUMP命令,就会出现Interface packet capture busy的信息。
注:对于采用VLAN名称作为TCPDUMP –i参数,则不存在这个问题,可以支持对多个VLAN同时执行TCPDUMP抓包命令。
2014-3-17
F5 Networks China 第28页, 共44页
F5 BIG-IP V9产品的故障处理手册
(Currently only one tcpdump session is possible at a time on a switch interface (tcpdump on vlan alllows multiple sessons). This is due to a limitation of the Broadcom SDK, but we may be able to extend the SDK to support multiple sessions.
The root difficulty here is that mirrored packets don't carry a note saying \is where I came from.\ports, and all the packets will funnel to the host -- but we don't know which tcpdump session to route them to. One idea involves a layer 2 lookup on each packet performed by the bcm56xx daemon on the sccp. This would be intense so we continue to have this limitation.)
2014-3-17
F5 Networks China 第29页, 共44页
F5 BIG-IP V9产品的故障处理手册
第5章 配置管理
5.1. 如何备份BIG-IP LTM的配置
备份方法如下有两种,通过WEB界面进行备份方法如下: 进入System?Archives,点击Create:
配置备份好后,点击设配置文件并下载到外部电脑上:
通过命令行进行备份的方法如下:
To back up your current configuration data, perform the following steps:
1. Log in to the command line.登陆到BIG-IP的命令行
2. Save the configuration into a UCS archive by typing the following command, replacing
filename of your choice:
bigpipe config save
2014-3-17
F5 Networks China 第30页, 共44页
F5 BIG-IP V9产品的故障处理手册
Note: F5 Networks recommends that you name the file the same as the BIG-IP host name, since you will need this information before you restore the configuration.
By default, the BIG-IP system will save the UCS archive file in the /var/local/ucs directory.
3. Copy the .ucs file to another system for safekeeping.
Important: In addition to user accounts, passwords, and critical system files, the UCS archive file contains the SSL private keys that are used with your SSL proxies. It is important to store the backup UCS archives in an environment that is as secure as where you store your private keys.
5.2. 备份的配置文件中包含哪些内容
备份的配置保存在.ucs文件中,.ucs包含以下内容:
* All BIG-IP-specific configuration files * BIG-IP product licenses
* User accounts and password information * DNS zone files
* Installed SSL certificates and keys
5.3. 恢复BIG-IP LTM的配置Restoring configuration data
To restore the BIG-IP system configuration, use one of the following procedures:
* Restoring the configuration data for a system that is currently running system software * Installing the operating system and restoring the configuration data to a new system
Restoring the configuration data for a system that is currently running system software
If you are using a system that already has system software running, and you do not want to reinstall the software, perform the following steps:
2014-3-17
F5 Networks China
第31页, 共44页
F5 BIG-IP V9产品的故障处理手册
1. Copy the UCS archive file to the system.
2. Set the hostname of the system to match the hostname of the system on which the UCS archive was created, by typing the following command: hostname
Important: If you do not set the hostname to match the original hostname, the configuration restoration will fail.
3. Restore the configuration from the UCS archive, by typing the following command, replacing
Important: If you are restoring the backup on a different device than the system on which the backup was created, such as an RMA system, the configuration load will fail with a license error, and a BigDB.dat load error similar to the following will be displayed: b config install /var/local/ucs/backup.ucs
Installing full configuration on host bigip1.askf5.com Saving active configuration... Creating UCS for config save request...
Dec 8 12:00:00 bigip1 mcpd[2395]: 01070608:0: License is not operational (expired or digital signature does not match contents). Loading the new /config/BigDB.dat failed.
01080023:3: Error return while getting reply from mcpd: 0x1070370, 01070370:3: Failover (redundant mode) is not licensed. After updating your license, run loaddb -local /config/BigDB.dat.cs
4. If you are running BIG-IP version 9.x software on a 1500, 3400, 6400, 6800, or 8400 hardware platform, type the following command to verify that the new or replaced SSH keys from the UCS file are synchronized between the BIG-IP and the SCCP: keyswap.sh sccp
Note: For additional information about synchronizing SSH keys, refer to SOL3759: Synchronizing SSH keys between the BIG-IP host system and the SCCP. 5. Reboot the system, by typing the following command: reboot
If you installed this system on the same device on which the backup was created, it will load the restored configuration after the system reboots; however, if you restored the backup on a different device, and received the errors noted in step 3 you will need to perform steps 6 and 7. 6. Re-license the system.
7. Finish loading the BigDB.dat information by typing the following command: loaddb -local /config/BigDB.dat.cs
2014-3-17
F5 Networks China
第32页, 共44页
To install the operating system and restore configuration data to a new system, perform the following steps: 1. Network boot the system software from the CD-ROM drive.
2. After the system software installs, reboot the system by typing the following command: reboot
3. Connect to the serial port.
4. From the command line,type the following command: config
5. Follow the prompts to configure the system with an IP address. 6. Copy the UCS archive file to the system.
7. Set the hostname of the system to match the hostname of the system on which the UCS archive was created, by typing the following command: 8. hostname
Important: If you do not set the hostname to match the original hostname, the configuration restoration will fail.
9. Restore the configuration from the UCS archive, by typing the following command, replacing
Important: If you are restoring the backup on a different device than the system on which the backup was created, such as an RMA system, the configuration load will fail with a license error, and a BigDB.dat load error similar to the following will be displayed: b config install /var/local/ucs/backup.ucs
Installing full configuration on host bigip1.askf5.com Saving active configuration... Creating UCS for config save request...
Dec 8 12:00:00 bigip1 mcpd[2395]: 01070608:0: License is not operational (expired or digital signature does not match contents). Loading the new /config/BigDB.dat failed.
01080023:3: Error return while getting reply from mcpd: 0x1070370, 01070370:3: Failover (redundant mode) is not licensed. After updating your license, run loaddb -local /config/BigDB.dat.cs
10. If you are running BIG-IP version 9.x software on a 1500, 3400, 6400, 6800, or 8400 hardware platform, type the following command to verify that the new or replaced SSH keys from the UCS file are synchronized between the BIG-IP and the SCCP: keyswap.sh sccp
11. Reboot the system, by typing the following command: reboot
If you installed this system on the same device on which the backup was created, after the system reboots, it will load the restored configuration; however, if you restored the backup on a different device, and received the errors noted in step 9, then perform steps 12 and 13:
2014-3-17
F5 Networks China
第33页, 共44页
F5 BIG-IP V9产品的故障处理手册
Installing the operating system and restoring the configuration data to a new system
F5 BIG-IP V9产品的故障处理手册
12. Re-license the system.
13. Finish loading the BigDB.dat information by typing the following command: loaddb -local /config/BigDB.dat.cs
2014-3-17
F5 Networks China 第34页, 共44页
F5 BIG-IP V9产品的故障处理手册
第6章 技术支持相关问题
6.1. 寻求F5技术支持时,要提供哪些信息与资料?
一般来说,如果要寻求F5的技术支持(不论是F5第三方技术支持中心或F5全球技术支持中心),都要准备以下信息:
1、
产品序列号(在BIG-IP机架安装耳朵的边上以bip开头的字串),产品序列号是判断设备是否在服务有效期内;
2、
Qkview输出文件:里面包含了BIG-IP的配置信息及日志信息。如果是双机,则两台机器的qkview输出文件都需要提供;
3、 4、 5、 6、
故障描述;
网络拓扑及IP地址说明;
如果必要,还需要提供TCPDUMP的抓包文件,并指出数据包异常现象; 如条件允许,对技术支持人员开放远程访问权限。
6.2. 如何获得更多关于F5产品的技术支持资料、如何查找故障处理
办法?
登陆http://ask.f5.com,只需简单注册一下即可下载F5产品的用户手册、并可以用提问的方法查找问题的答案。
其中常用的F5 BIG-IP用户手册可以从http://tech.f5.com/home/bigip-next/manuals/index.html#ltm 中找到,例如BIG-IP网络与系统管理指南“BIG-IP Network and System Management Guide”--
http://tech.f5.com/home/bigip-next/manuals/bigip9_2_3/bigip9_2_3mgmt/nsm_guide_923.pdf,
BIG-IP流量管理解决方法指南“Solutions Guide for BIG-IP Traffic Management Systems”--
http://tech.f5.com/home/bigip-next/manuals/bigip9_2_2/bigip9_2_2sol/sol_guide.pdf。
2014-3-17
F5 Networks China 第35页, 共44页
F5 BIG-IP V9产品的故障处理手册
6.3. 如果BIG-IP系统损坏(非硬件故障),如何重装系统?
需要通过网络重装系统,安装方法请参考“http://tech.f5.com/home/solutions/sol4411.html”--Reinstalling system software from a network boot server。
6.4. BIG-IP发生硬件故障以后的更换流程?
客户提出更换申报 客户更换申报是 客户将损坏产品提交付F5的代理商 否 代理商交付到 AQSIQ 海关清关 代理商将坏件交付F5原厂 F5将新的替换产品送出 海关清关 交付到代理商 替换产品交付到客户 2014-3-17
F5 Networks China
第36页, 共44页
正在阅读:
F5BIG-IPV9故障处理手册06-27
液压与气压传动课后习题答案 主编贺尚红 中南大学出版社04-22
2020-2021重庆市南开中学初三数学上期中第一次模拟试题(含答案)05-01
校长德育工作反思报告03-13
轨道交通无功补偿解决方案 - 图文06-27
柬埔寨攻略08-11
食品物流学(最后一节课 要点)10-18
2018-2019年高中地理知识点《地球与地图》《地球》《地球仪,经03-21
电商平台整体流程1.003-19
- 多层物业服务方案
- (审判实务)习惯法与少数民族地区民间纠纷解决问题(孙 潋)
- 人教版新课标六年级下册语文全册教案
- 词语打卡
- photoshop实习报告
- 钢结构设计原理综合测试2
- 2014年期末练习题
- 高中数学中的逆向思维解题方法探讨
- 名师原创 全国通用2014-2015学年高二寒假作业 政治(一)Word版
- 北航《建筑结构检测鉴定与加固》在线作业三
- XX县卫生监督所工程建设项目可行性研究报告
- 小学四年级观察作文经典评语
- 浅谈110KV变电站电气一次设计-程泉焱(1)
- 安全员考试题库
- 国家电网公司变电运维管理规定(试行)
- 义务教育课程标准稿征求意见提纲
- 教学秘书面试技巧
- 钢结构工程施工组织设计
- 水利工程概论论文
- 09届九年级数学第四次模拟试卷
- 故障
- 手册
- 处理
- BIG
- IPV
- 专题05+自然地理环境的整体性与差异性-2018年高考题和高考模拟题
- 2018-2019学年人教部编版八年级语文上册全册单元测试题及答案(含
- 超星尔雅创新思维训练作业答案
- 学前儿童家庭教育学综合作业 (1)
- 筹码分布3
- 时分秒的认识--教学设计
- 八字格局讲义
- 26.《理想的风筝》教案设计
- 电梯安装技术
- 土木工程测量课后习题答案(东南大学出版社)
- 飞轮储能系统在1 - 5MW风机上的应用研究 - 韩永杰
- 水准仪使用教案
- 有纪律,讲规矩专题学习心得
- 中国建设工程造价协会文件(中价协015号
- 历史趣谈:三国中死得最冤的六名猛将:蜀国名将魏延排第一
- 大学综合体育中心工程施工组织设计完整版
- 陕西九州通工程冬季施工方案-secret
- 旋喷桩机质量技术交底卡 - 图文
- 应急救援预案
- 人教版小学五年级语文上册全册教案