思科C7500路由器支持
C7500相关术语
Interpreting Reason Codes 5
排除路由器RSP崩溃故障
排除路由器VIP崩溃故障
排除思科路由器CPU利用率过高的故障
排除内存故障
是什么引起 “%RSP-3-RESTART: cbus Complex”?
排除流量延迟或数据包丢弃故障
思科C7200路由器支持
C7200相关术语
排除SNA相关故障
思科C7600路由器支持
排除 ATM模块及链路故障
ATM链路不能正常建立或产生ATM B1/B2/B3 decleared 告警
SIP-400及相关子卡故障
思科Catalyst系列交换机支持
排除 Catalyst 6000系列交换机崩溃故障
Native 模式Catalyst 6000系列交换机
混合模式(Hybrid)Catalyst 6000系列交换机.
排除Catalyst 6000系列交换机模块不在线或发生故障的故障
Native模式 Catalyst 6000系列交换机
混合模式(Hybrid) Catalyst 6000系列交换机.
排除Catalyst 6000系列交换机上的CPU利用率过高的故障
常见原因
排除Catalyst 4000/4500系列交换机 IOS监视器上CPU利用率过高的故障
排除Catalyst交换机上的性能缓慢的问题
思科防火墙支持
排除防火墙崩溃故障
排除防火墙(7.x)上的 VPN连接故障.
排除IOS路由器上的 VPN连接故障
排除防火墙连接故障
排除防火墙NAT不通问题
思科GSR支持
GSR相关术语
GSR 告警卡出现告警信息
GSR 电源模块故障
GSR Engine2 Module QOS Problem
例如,以下输出信息中 22就是Reason Code:
%VIP2-1-MSG: slot4 System exception: sig=22, code=0x0, context=0x603B91E8This table provides a list of possible SIG values and the reason for the error:
SIG值 | 错误原因 |
2 | 异常硬件中断 |
3 | 由于键盘出入‘break’引起退出 |
4 | 非法opcode异常 |
5 | 由于断点或者一个算法异常引起退出 |
8 | 浮点运算异常 |
9 | 预留引起的异常 |
10 | 总线错误引起的异常 |
11 | SegV引起的异常 |
20 | 缓存奇偶校验引起的异常 |
21 | 写总线错误中断 |
22 | 致命硬件错误 |
23 | 软件原因路由器崩溃 |
奇偶校验错误有两种不同类型:
研究表明,软奇偶校验错误出现的频率是硬奇偶校验错误的10到100倍,因此我们强烈建议在更换任何组件之前等待第二个奇偶校验错误的出现,因为这样可以大大减少对网络的影响。
另一个好办法是采用下列格式创建一份VIP崩溃总结文件:
下图显示了CIP崩溃的故障树分析。
如果路由器完全无法访问,首先重启它。然后定期收集上述命令的输出,show log(显示日志) 命令除外,这些命令的信息应当记录到系统日志服务器上。收集输出的间隔时间应当是五分钟。您可以使用这种UNIX外壳脚本来以手动方式或自动收集数据。
内存分配故障意味着:
当切割算法使用的某个参数被修改时(如接口的数量、带宽和最大传输单位(MTU)),就会发生Cbus Complex。下面是可能触发Cbus Complex的一些事件:
以下情况下,一定形式的错误状态(如奇偶校验错误)会出现在CyBus (链接RSP和 IP的总线)上或 MEMD中:
如果 CPU利用率很高,请参见“排除CPU过高故障”部分。
如果高 CPU程序是“ip input”,考虑输入队列丢弃,检查 :
show snasw link detail show dlsw circuit detail show dlsw circuit history show snasw pdlog detail all show snasw statistics show snasw rtp show snasw dlctrace detail show snasw session
使用命令"more"来查看和记录 crashinfo文件会话(或者通过TFTP将崩溃信息发送到TFTP 服务器)
注意:定期检查bootflash,如果sup-bootflash/bootflash已满,请使用 “delete(删除)” 和"squeeze(压缩)" 命令来永久删除不需要的文件,为新的crashinfo文件腾出空间。
若欲了解有关如何排除运行IOS的6500交换机的故障的更多信息,请参考以下链接:
http://www.cisco.com/warp/public/473/193.html
若欲了解有关如何排除运行CatOS的6500交换机的故障的更多信息,请参考以下链接:
http://www.cisco.com/en/US/customer/products/hw/switches/ps700/products_tech_note09186a008015504b.shtml
电源拒绝(power-deny) - 提供给模块的电源不够,转到第2步。
电源已坏(power-bad) - 我们能够看到线路卡但不能分配电源,可能是因为我们不能读取模块的SRROM内容,以确定线路卡类型或某些其他相关问题,转到第12步。
其他 - 很可能是scp通信中断。执行步骤3到6,然后执行步骤7到9。
故障/未知 - 很可能是模块或插槽出错,但必须通过执行步骤7到步骤9来进行确认,也可以常识重启模块或将模块转移到另一个插槽中。在同一插槽中尝试其他模块。
err-disable(错误-禁用) – 查看'show logg' (步骤11),看看是否有关于模块为什么被
err-disable (错误-禁用)的任何日志。
在计划的停机时间内请执行:
设置诊断模式,在交换机上执行:
然后重启模块。
重启模块之后,捕捉以下命令的输出:
与2.1相同
运行思科IOS软件的思科Catalyst 4500监视器上会出现CPU利用率过高的现象。
由于Catalyst 4500 CPU的数据包处理结构体系,20%- 50%的CPU利用率属于正常。因此,首要步骤是了解当前配置和网络设置下交换机的基线CPU利用率。
Switch#show platform cpu packet statistics Switch#show platform cpu packet driver Switch(config)#configure terminal Switch(config)#monitor session 1 source cpu queue all rx Switch(config)#monitor session 1 destination interface gigabitethernet 1/3
注意:目的地接口连接到数据包监视器或运行数据包Sniffer软件的管理员笔记本电脑。
show spanning-tree detail (捕捉 3x) show spanning-tree summary show interface link show log
出现性能缓慢、连接断续或数据包丢失的情况。
交换机的很多性能问题都与数据链接错误有关,因此请检查下列症状是否是可能的原因:
show tech-support show logging show controllers ethernet-controller show interface
若欲了解有关如何排除交换机端口和接口问题的更多信息,请参看以下链接:
http://www.cisco.com/en/US/customer/products/hw/switches/ps700/products_tech_note09186a008015bfd6.shtml#leds
1. 收集系统日志(当问题发生时)
-----------------------
logging enable
logging timestamp
logging standby
logging buffer-size 1048576
logging monitor info
logging buffered informational
logging trap informational
logging host outside 172.16.200.2 <--系统日志服务器的IP
2. 显示asp-drop:
-------------------------
"clear service-policy global" "clear asp drop "
如果问题仍然存在,请收集下列信息:
"show local-host AffectedclientIP detail" (当连接失败时) "show service-policy" 每60秒钟2次,当连接失败时, "show asp drop"每60秒钟2次。
-------------------------
3. 收集
show conn detail" "show xlate debug" "show tech " 关系到受影响的客户端IP(当问题发生时)。
4. 捕捉Sniffer Trace:
按照下列操作,在防火墙内部和外部捕捉流量:
access-list 101 extended permit ip host 1.1.1.1 host 2.2.2.2<---1.1.1.1 & 2.2.2.2 是客户端、服务器的IP。 access-list 101 extended permit ip host 2.2.2.2 host 1.1.1.1 capture CAPOUTSIDE access-list 101 buffer 1024000 interface outside capture CAPINSIDE access-list 101 buffer 1024000 interface inside show capture CAPOUTSIDE show capture CAPINSIDE,查看捕捉到的数据包。 copy /pcap capture:CAPOUTSIDE tftp:1.1.1.1/CAPOUTSIDE.pcap,收集捕捉到的数据包。通过ethereal (www.ethereal.com)查看。
1. 确认业务数据是否被正确的转发到相应的防火墙设备上:
2. 确认业务流量被正常地转发到相应的防火墙设备后,查看NAT功能模块是否工作正常:
3. 业务相关性信息收集:
Class-map: 21app (match-any) (1084/6) 38664 packets, 30258633 bytes 5 minute offered rate 528000 bps, drop rate 0 bps ――>该数值采样时间需要结合各个业务流量特点 Match: ip dscp 26 (1085) Class of service queue: 2 Tx Queue (DRR configured) bandwidth [kbps] bandwidth [%] Weight 700 4 376 Tx queue-limit config Queue 2: queue-limit 451 cells (default) Threshold drop 0 packets, 0 bytes Current queue-depth: 65 cells, Maximum queue-depth: 129 cells ――>Current queue-depth值 要注意观察是否有长时间保持“非零”状态,如果长时间非零而且接近queue-limit则需要重点关注;此外观察 Maximum queue-depth值是否超出queue-limit,同时还在持续增长