目录

简介

先决条件

要求

使用的组件

问题

症状

条件

故障排除

解决方案

确认

解决方法

解析的版本

相关信息

简介

本文档提供故障排除和确认Cisco Nexus 7000系列交换机受已知软件缺陷Cisco bug ID CSCud02139影响所需的步骤。

先决条件

要求

本文档没有任何特定的要求。

使用的组件

本文档中的信息基于以下软件和硬件版本：

- 思科 Nexus 7000 系列交换机

- Cisco Nexus操作系统(NX-OS)版本5.2(5)至5.2(7)（含）

- Cisco NX-OS版本6.0(1)至6.1(3)（含）

本文档中的信息都是基于特定实验室环境中的设备编写的。本文档中使用的所有设备最初均采用原始（默认）配置。如果您使用的是真实网络，请确保您已经了解所有命令的潜在影响。

问题

症状

用户无法使用TACACS身份验证远程登录到Nexus 7000系列交换机虚拟设备环境(VDC)。

此外，日志中还会显示以下消息：

n7k-vdc-1# show log last 200 | grep TACACS

2013 May 13 17:17:31 n7k-vdc-1  TACACS-3-TACACS_ERROR_MESSAGE  All servers

failed to respond

2013 May 13 17:17:46 n7k-vdc-1  TACACS-3-TACACS_ERROR_MESSAGE  All servers

failed to respond

2013 May 13 17:18:06 n7k-vdc-1  TACACS-3-TACACS_ERROR_MESSAGE  All servers

failed to respond

2013 May 13 17:18:12 n7k-vdc-1  TACACS-3-TACACS_ERROR_MESSAGE  All servers

failed to respond

2013 May 13 17:18:16 n7k-vdc-1  TACACS-3-TACACS_ERROR_MESSAGE  All servers

failed to respond

2013 May 13 17:20:26 n7k-vdc-1  TACACS-3-TACACS_ERROR_MESSAGE  All servers

failed to respond

2013 May 13 17:20:39 n7k-vdc-1  TACACS-3-TACACS_ERROR_MESSAGE  All servers

failed to respond

2013 May 13 17:21:50 n7k-vdc-1  TACACS-3-TACACS_ERROR_MESSAGE  All servers

failed to respond

2013 May 13 17:22:09 n7k-vdc-1  TACACS-3-TACACS_ERROR_MESSAGE  All servers

failed to respond

n7k-vdc-1#

条件

在运行Cisco NX-OS版本5.2(5)至5.2(7)以及6.0.1至6.1(3)之间的Nexus 7000系列交换机上遇到此问题。

VDC必须使用TACACS身份验证，如下例所示：

n7k-vdc-1# show run tacacs+

!Command: show running-config tacacs+

!Time: Mon May 13 17:20:57 2013

version 6.1(2)

feature tacacs+

ip tacacs source-interface mgmt0

tacacs-server timeout 30

tacacs-server host 192.0.2.9 key 7 "keypassword"

aaa group server tacacs+ default

server 192.0.2.9

use-vrf management

n7k-vdc-1# show run aaa

!Command: show running-config aaa

!Time: Mon May 13 17:21:30 2013

version 6.1(2)

aaa authentication login default group default

aaa authorization config-commands default group default

aaa authorization commands default group default

aaa accounting default group default

no aaa user default-role

aaa authentication login error-enable

tacacs-server directed-request

故障排除

1. 确认TACACS服务器状态

- 确认Nexus 7000系列交换机能够通过正确的虚拟路由和转发(VRF)成功ping TACACS服务器。

- 确认TACACS服务器仍能成功验证其他设备上的用户。

2. 检查身份验证、授权和记帐(AAA)流程错误日志

使用以下命令检查AAA进程错误日志：

n7k-vdc-1# show system internal aaa event-history errors

1) Event:E_DEBUG, length:54, at 786852 usecs after Mon May 13 17:22:09 2013

[102] All Configured methods failed for default:default

2) Event:E_DEBUG, length:53, at 786796 usecs after Mon May 13 17:22:09 2013

[102] protocol TACACS failed with server group default

3) Event:E_DEBUG, length:54, at 379206 usecs after Mon May 13 17:22:09 2013

[102] All Configured methods failed for default:default

4) Event:E_DEBUG, length:53, at 379172 usecs after Mon May 13 17:22:09 2013

[102] protocol TACACS failed with server group default

5) Event:E_DEBUG, length:54, at 89083 usecs after Mon May 13 17:21:51 2013

[102] All Configured methods failed for default:default

6) Event:E_DEBUG, length:53, at 89051 usecs after Mon May 13 17:21:51 2013

[102] protocol TACACS failed with server group default

3. 检查TACACS+进程错误日志

使用以下命令检查TACACS+进程错误日志：

n7k-vdc-1# show system internal tacacs+ event-history errors

1) Event:E_DEBUG, length:88, at 786728 usecs after Mon May 13 17:22:09 2013

[100] switch_tac_server:  Unreachable servers case .setting error code  for

aaa session 0

2) Event:E_DEBUG, length:77, at 786726 usecs after Mon May 13 17:22:09 2013

[100] switch_tac_server:  no more server in the server group for

aaa session 0

3) Event:E_DEBUG, length:103, at 786680 usecs after Mon May 13 17:22:09 2013

[100] connect_tac_server: non blocking connect failed, switching server for

aaa session id(0) rtvalue(3)

4) Event:E_DEBUG, length:97, at 786677 usecs after Mon May 13 17:22:09 2013

[100] non_blocking_connect(171): getaddrinfo(DNS cache fail) with retcode:-1

for server:192.0.2.9

5) Event:E_DEBUG, length:62, at 786337 usecs after Mon May 13 17:22:09 2013

[100] tplus_encrypt(655):key is configured for this aaa session.

6) Event:E_DEBUG, length:95, at 786287 usecs after Mon May 13 17:22:09 2013

[100] tplus_make_acct_request(1343):Not calling the name-resolution routine

as rem_addr is empty

7) Event:E_DEBUG, length:63, at 786285 usecs after Mon May 13 17:22:09 2013

[100] tplus_make_acct_request(1308):Accounting userdata&colon;console0

8) Event:E_DEBUG, length:63, at 786266 usecs after Mon May 13 17:22:09 2013

[100] init_tplus_req_state_machine:Global source-interface mgmt0

9) Event:E_DEBUG, length:48, at 785842 usecs after Mon May 13 17:22:09 2013

[100] is_intf_up_with_valid_ip(1129):Port is up.

10) Event:E_DEBUG, length:57, at 785812 usecs after Mon May 13 17:22:09 2013

[100] is_intf_up_with_valid_ip(1126):Proper IOD is found.

11) Event:E_DEBUG, length:52, at 785799 usecs after Mon May 13 17:22:09 2013

[100] Exiting function: get_if_index_from_global_conf

12) Event:E_DEBUG, length:66, at 785797 usecs after Mon May 13 17:22:09 2013

[100] Function get_if_index_from_global_conf: found interface mgmt0

13) Event:E_DEBUG, length:53, at 785783 usecs after Mon May 13 17:22:09 2013

[100] Entering function: get_if_index_from_global_conf

14) Event:E_DEBUG, length:68, at 785781 usecs after Mon May 13 17:22:09 2013

[100] init_tplus_req_state_machine:Falling to globally configured one

15) Event:E_DEBUG, length:79, at 785779 usecs after Mon May 13 17:22:09 2013

[100] init_tplus_req_state_machine:No source-interface configured for this group

4. 调试TACACS+身份验证请求

- 为TACACS+身份验证请求启用调试。

- AAA调试输出以下日志：

n7k-vdc-1# debug tacacs+ aaa-request

n7k-vdc-1# show logging logfile last 5

2013 May 13 18:20:26.077572 tacacs: tplus_encrypt(655):key is configured

for this aaa session.

2013 May 13 18:20:26.077918 tacacs: non_blocking_connect(171): getaddrinfo

DNS cache fail) with retcode:-1 for server:192.0.2.9

2013 May 13 18:20:26.077938 tacacs: connect_tac_server: non blocking connect

failed, switching server for aaa session id(0) rtvalue(3)

2013 May 13 18:20:26.077978 tacacs: switch_tac_server:  no more server in the

server group for aaa session 0

2013 May 13 18:20:26.077993 tacacs: switch_tac_server:  Unreachable servers

case .setting error code  for aaa session 0

5. 在TACACS服务器上执行数据包捕获

TACACS服务器上的数据包捕获显示，没有数据包从VDC到达。

6. 在Nexus 7000系列交换机上执行Ethanalyzer捕获

Ethanalyzer捕获显示没有数据包出口到TACACS服务器。

7. 检查VDC上的运行进程

show proc cpu sort命令显示TACACSD进程运行的33个实例（32个已失效）。

n7k-vdc-1# show proc cpu sort | include tacacs

1538           16        16   1014    0.0%  tacacsd

1855           16        10   1625    0.0%  tacacsd

2163           16        10   1678    0.0%  tacacsd

2339           15        23    676    0.0%  tacacsd

3820           15        10   1595    0.0%  tacacsd

3934           16        13   1272    0.0%  tacacsd

4416           25         8   3211    0.0%  tacacsd

4470           16        23    734    0.0%  tacacsd

5577           26        12   2191    0.0%  tacacsd

6592       969767  14589069     66    0.0%  tacacs

6934           16        13   1297    0.0%  tacacsd

8878           16        13   1252    0.0%  tacacsd

8979           16        12   1345    0.0%  tacacsd

10153           26        11   2453    0.0%  tacacsd

10202           15         8   1888    0.0%  tacacsd

10331           26        11   2368    0.0%  tacacsd

10482           16        14   1190    0.0%  tacacsd

14148           15        11   1433    0.0%  tacacsd

14385           14        10   1496    0.0%  tacacsd

14402           15         9   1775    0.0%  tacacsd

20678           16         9   1785    0.0%  tacacsd

20836           16        13   1246    0.0%  tacacsd

21257           15        13   1212    0.0%  tacacsd

21617           15         9   1749    0.0%  tacacsd

22159           15        12   1328    0.0%  tacacsd

23776           15        12   1320    0.0%  tacacsd

24017           25         9   2788    0.0%  tacacsd

29496           15         8   1990    0.0%  tacacsd

29972           15        11   1368    0.0%  tacacsd

30111           25         9   2847    0.0%  tacacsd

30204           15         9   1721    0.0%  tacacsd

30409           16        13   1254    0.0%  tacacsd

32410           15         8   1876    0.0%  tacacsd

解决方案

VDC遇到已知软件缺陷Cisco Bug ID CSCud02139。

TACACSD进程产生陷入停滞的子进程。这最多可以达到32个进程，并且无法再生成任何进程以通过身份验证。

确认

1. 确认TACACSD有33个实例。您可以使用命令show proc cpu sort | grep -c 'tacacsd'以计数实例。

2. 执行ethanalyzer捕获，并确认请求不会离开Nexus 7000系列交换机。

3. 匹配前面的日志消息。

解决方法

有三种可能性。删除所有TACACS配置，并删除并重新读取功能和配置。另一种方法是执行管理引擎切换。或者，您可以重新加载VDC。

解析的版本

- 5.2系列中的NX-OS版本5.2(9)及更高版本

- 6.1系列中的NX-OS版本6.1(3)及更高版本

相关信息

- Cisco Bug工具包 — Cisco Bug ID CSCud02139

- 虚拟设备环境技术概述

- Ethanalyzer:Cisco NX-OS软件内置数据包捕获实用程序

- 技术支持和文档 - Cisco Systems