目錄

簡介

背景資訊

交換矩陣發現工作流

Check01 — 系統狀態

Check02 — DHCP狀態

Check03 — AV詳細資訊

Check04 — 到APIC的IP可達性

Check05 — 基礎VLAN

Check06 — LLDP鄰接關係

Check07 — 交換機版本

Check08 — FPGA/EPLD/BIOS不同步

Check09 — SSL檢查

Check10 — 下載策略

Check11 — 時間

Check12 — 模組、PSU、風扇檢查

中斷方案示例

場景1 — 第一個枝葉未出現在交換矩陣成員中

場景2 — 其他APIC未加入群集

場景3 — 主幹不顯示在交換矩陣成員資格中

場景4 — 發現初始交換矩陣後，群集在完全適應和降級之間搖擺

簡介

本文檔介紹瞭解初始交換矩陣發現過程並對其進行故障排除的步驟，包括問題場景示例。

背景資訊

本文中的資料摘自 思科以應用為中心的基礎設施第二版故障排除 書，特別是 交換矩陣發現 — 初始交換矩陣設定 章節。

交換矩陣發現工作流

ACI交換矩陣發現過程遵循特定的事件序列。基本步驟如下：

1. 連線到第一個APIC的KVM控制檯，並通過輸入如交換矩陣名稱、APIC集群大小和隧道終端(TEP)地址池等值來完成setup指令碼。

2. 完成後，APIC1將開始通過其交換矩陣埠傳送LLDP。LLDP資料包包含具有資訊的特殊TLV，例如infra VLAN及其作為APIC（也稱為控制器）的角色。

3. 在從APIC1接收這些LLDP資料包時，枝葉將對檢測到APIC的所有埠上的次要VLAN進行程式設計。

4. 枝葉開始在現在已知的infra VLAN上傳送DHCP發現。

5. 使用者通過HTTPS登入到APIC1的OOB IP，並在Fabric Membership子選單中註冊第一個葉節點。

6. 一旦為枝葉提供了節點ID,APIC1將使用配置的TEP地址池中的IP地址進行響應,DHCP進程將完成。

7. 註冊的枝葉中繼將DHCP發現從通過LLDP發現的其他直連主幹中繼到APIC1。

8. 使用者將看到這些動態發現的脊柱顯示在Fabric Membership子選單中，並且可以註冊它們。

9. 一旦脊柱被註冊，APIC1將使用TEP池中的IP地址進行響應，然後這些節點的DHCP完成。

10. 主幹中繼DHCP從Pod1的所有其他節點發現。（這是假設主幹和枝葉交換機之間存在全網狀，這是建議的，並且是典型的架構）。

11. 一旦連線到其他APIC的枝葉節點被註冊，APIC集群可以通過它們之間的TCP通訊建立。確保完成APIC2和APIC3上的設定對話方塊。

12. 確認所有APIC已形成群集且完全適合。如果是這種情況，交換矩陣發現已完成。

從4.2版開始，在交換矩陣節點上可以使用新的CLI命令來幫助診斷常見發現問題。以下各節將介紹所執行的檢查並提供其他驗證命令以幫助排除故障。

leaf101# show discoveryissues

Checking the platform type................LEAF!

Check01 - System state - in-service [ok]

Check02 - DHCP status [ok]

TEP IP: 10.0.72.67 Node Id: 101 Name: leaf101

Check03 - AV details check [ok]

Check04 - IP rechability to apic [ok]

Ping from switch to 10.0.0.1 passed

Check05 - infra VLAN received [ok]

infra vLAN:3967

Check06 - LLDP Adjacency [ok]

Found adjacency with SPINE

Found adjacency with APIC

Check07 - Switch version [ok]

version: n9000-14.2(1j) and apic version: 4.2(1j)

Check08 - FPGA/BIOS out of sync test [ok]

Check09 - SSL check [check]

SSL certificate details are valid

Check10 - Downloading policies [ok]

Check11 - Checking time [ok]

2019-09-11 07:15:53

Check12 - Checking modules, power and fans [ok]

Check01 — 系統狀態

當枝葉已分配節點ID並註冊到交換矩陣時，它將開始下載其載入程式，然後轉換到服務中狀態。

Check01 - System state - out-of-service [FAIL]

Check01 - System state - downloading-boot-script [FAIL]

要驗證枝葉的當前狀態，使用者可以運行moquery -c topSystem

leaf101# moquery -c topSystem

Total Objects shown: 1

# top.System

address                  : 10.0.72.67

bootstrapState           : done

...

serial                   : FDO20160TPS

serverType               : unspecified

siteId                   : 1

state                    : in-service

status                   :

systemUpTime             : 00:18:17:41.000

tepPool                  : 10.0.0.0/16

unicastXrEpLearnDisable  : no

version                  : n9000-14.2(1j)

virtualMode              : no

Check02 — DHCP狀態

Check02 - DHCP status [FAIL]

ERROR: node Id not configured

ERROR: Ip not assigned by dhcp server

ERROR: Address assigner's IP not populated

TEP IP: unknown Node Id: unknown Name: unknown

枝葉需要通過DHCP從APIC1接收TEP地址，然後建立到其他APIC的IP連線。枝葉的物理TEP(PTEP)已分配給loopback0。如果未分配地址，使用者可以驗證枝葉正在使用tpcdump實用程式傳送DHCP發現。請注意，我們將使用介面kpm_inb，該介面允許您檢視所有CPU帶內控制平面網路流量。

(none)# tcpdump -ni kpm_inb port 67 or 68

tcpdump: verbose output suppressed, use -v or -vv for full protocol decode

listening on kpm_inb, link-type EN10MB (Ethernet), capture size 65535 bytes

16:40:11.041148 IP 0.0.0.0.68 > 255.255.255.255.67: BOOTP/DHCP, Request from a0:36:9f:c7:a1:0c, length 300

^C

1 packets captured

1 packets received by filter

0 packets dropped by kernel

使用者還可以驗證dhcpd是否在APIC上運行，以及是否在bond0子介面上監聽。繫結介面表示面向APIC埠的交換矩陣。我們將使用bond0.<infra VLAN>格式。

apic1# ps aux | grep dhcp

root     18929  1.3  0.2 818552 288504 ?       Ssl  Sep26  87:19 /mgmt//bin/dhcpd.bin -f -4 -cf /data//dhcp/dhcpd.conf -lf /data//dhcp/dhcpd.lease -pf /var/run//dhcpd.pid --no-pid bond0.3967

admin   22770  0.0  0.0   9108   868 pts/0    S+   19:42   0:00 grep dhcp

Check03 — AV詳細資訊

Check03 - AV details check [ok]

枝葉將驗證已註冊APIC的IP是否在TEP池的有效範圍內。如果尚未記錄APIC資訊，則此檢查將通過。使用者可通過「acidiag avread」命令從枝葉節點的角度檢視當前APIC資訊。請注意，在以下示例中，當枝葉/主幹提示符顯示（無）#時，這表明枝葉/主幹尚未成為交換矩陣的成員。

(none)# acidiag avread

Cluster of 0 lm(t):0(zeroTime) appliances (out of targeted 0 lm(t):0(zeroTime)) with FABRIC_DOMAIN name=Undefined Fabric Domain Name set to version= lm(t):0(zeroTime); discoveryMode=PERMISSIVE lm(t):0(zeroTime); drrMode=OFF lm(t):0(zeroTime)

---------------------------------------------

clusterTime=<diff=0 common=2019-10-01T18:51:50.315+00:00 local=2019-10-01T18:51:50.315+00:00 pF=<displForm=1 offsSt=0 offsVlu=0 lm(t):0(zeroTime)>>

---------------------------------------------

leaf101# acidiag avread

Cluster of 3 lm(t):0(2019-09-30T18:45:10.320-04:00) appliances (out of targeted 3 lm(t):0(2019-10-01T14:52:55.217-04:00)) with FABRIC_DOMAIN name=ACIFabric1 set to version=apic-4.2(1j) lm(t):0(2019-10-01T14:52:55.217-04:00); discoveryMode=PERMISSIVE lm(t):0(1969-12-31T20:00:00.003-04:00); drrMode=OFF lm(t):0(1969-12-31T20:00:00.003-04:00); kafkaMode=OFF lm(t):0(1969-12-31T20:00:00.003-04:00)

appliance id=1  address=10.0.0.1 lm(t):2(2019-09-27T17:32:08.669-04:00) tep address=10.0.0.0/16 lm(t):1(2019-07-09T19:41:24.672-04:00) routable address=192.168.1.1 lm(t):2(2019-09-30T18:37:48.916-04:00) oob address=0.0.0.0 lm(t):0(zeroTime) version=4.2(1j) lm(t):1(2019-09-30T18:37:49.011-04:00) chassisId=c67d1076-a2a2-11e9-874e-a390922be712 lm(t):1(2019-09-30T18:37:49.011-04:00) capabilities=0X3EEFFFFFFFFF--0X2020--0X1 lm(t):1(2019-09-26T09:32:20.747-04:00) rK=(stable,absent,0) lm(t):0(zeroTime) aK=(stable,absent,0) lm(t):0(zeroTime) oobrK=(stable,absent,0) lm(t):0(zeroTime) oobaK=(stable,absent,0) lm(t):0(zeroTime) cntrlSbst=(APPROVED, FCH1929V153) lm(t):1(2019-10-01T12:46:44.711-04:00) (targetMbSn= lm(t):0(zeroTime), failoverStatus=0 lm(t):0(zeroTime)) podId=1 lm(t):1(2019-09-26T09:26:49.422-04:00) commissioned=YES lm(t):101(2019-09-30T18:45:10.320-04:00) registered=YES lm(t):3(2019-09-05T11:42:41.371-04:00) standby=NO lm(t):0(zeroTime) DRR=NO lm(t):101(2019-09-30T18:45:10.320-04:00) apicX=NO lm(t):0(zeroTime) virtual=NO lm(t):0(zeroTime) active=YES

appliance id=2  address=10.0.0.2 lm(t):2(2019-09-26T09:47:34.709-04:00) tep address=10.0.0.0/16 lm(t):2(2019-09-26T09:47:34.709-04:00) routable address=192.168.1.2 lm(t):2(2019-09-05T11:45:36.861-04:00) oob address=0.0.0.0 lm(t):0(zeroTime) version=4.2(1j) lm(t):2(2019-09-30T18:37:48.913-04:00) chassisId=611febfe-89c1-11e8-96b1-c7a7472413f2 lm(t):2(2019-09-30T18:37:48.913-04:00) capabilities=0X3EEFFFFFFFFF--0X2020--0X7 lm(t):2(2019-09-26T09:53:07.047-04:00) rK=(stable,absent,0) lm(t):0(zeroTime) aK=(stable,absent,0) lm(t):0(zeroTime) oobrK=(stable,absent,0) lm(t):0(zeroTime) oobaK=(stable,absent,0) lm(t):0(zeroTime) cntrlSbst=(APPROVED, FCH2045V1X2) lm(t):2(2019-10-01T12:46:44.710-04:00) (targetMbSn= lm(t):0(zeroTime), failoverStatus=0 lm(t):0(zeroTime)) podId=1 lm(t):2(2019-09-26T09:47:34.709-04:00) commissioned=YES lm(t):101(2019-09-30T18:45:10.320-04:00) registered=YES lm(t):2(2019-09-26T09:47:34.709-04:00) standby=NO lm(t):0(zeroTime) DRR=NO lm(t):101(2019-09-30T18:45:10.320-04:00) apicX=NO lm(t):0(zeroTime) virtual=NO lm(t):0(zeroTime) active=YES

appliance id=3  address=10.0.0.3 lm(t):3(2019-09-26T10:12:34.114-04:00) tep address=10.0.0.0/16 lm(t):3(2019-09-05T11:42:27.199-04:00) routable address=192.168.1.3 lm(t):2(2019-10-01T13:19:08.626-04:00) oob address=0.0.0.0 lm(t):0(zeroTime) version=4.2(1j) lm(t):3(2019-09-30T18:37:48.904-04:00) chassisId=99bade8c-cff3-11e9-bba7-5b906a49dc39 lm(t):3(2019-09-30T18:37:48.904-04:00) capabilities=0X3EEFFFFFFFFF--0X2020--0X4 lm(t):3(2019-09-26T10:18:13.149-04:00) rK=(stable,absent,0) lm(t):0(zeroTime) aK=(stable,absent,0) lm(t):0(zeroTime) oobrK=(stable,absent,0) lm(t):0(zeroTime) oobaK=(stable,absent,0) lm(t):0(zeroTime) cntrlSbst=(APPROVED, FCH1824V2VR) lm(t):3(2019-10-01T12:48:03.726-04:00) (targetMbSn= lm(t):0(zeroTime), failoverStatus=0 lm(t):0(zeroTime)) podId=2 lm(t):3(2019-09-26T10:12:34.114-04:00) commissioned=YES lm(t):101(2019-09-30T18:45:10.320-04:00) registered=YES lm(t):2(2019-09-05T11:42:54.935-04:00) standby=NO lm(t):0(zeroTime) DRR=NO lm(t):101(2019-09-30T18:45:10.320-04:00) apicX=NO lm(t):0(zeroTime) virtual=NO lm(t):0(zeroTime) active=YES

---------------------------------------------

clusterTime=<diff=15584 common=2019-10-01T14:53:01.648-04:00 local=2019-10-01T14:52:46.064-04:00 pF=<displForm=0 offsSt=0 offsVlu=-14400 lm(t):21(2019-09-26T10:40:35.412-04:00)>>

---------------------------------------------

Check04 — 到APIC的IP可達性

枝葉收到IP地址後，它將嘗試與APIC建立TCP會話，並開始下載其配置的過程。使用者可以使用「iping」實用程式驗證與APIC的IP連線。

leaf101# iping -V overlay-1 10.0.0.1

PING 10.0.0.1 (10.0.0.1) from 10.0.0.30: 56 data bytes

64 bytes from 10.0.0.1: icmp_seq=0 ttl=64 time=0.651 ms

64 bytes from 10.0.0.1: icmp_seq=1 ttl=64 time=0.474 ms

64 bytes from 10.0.0.1: icmp_seq=2 ttl=64 time=0.477 ms

64 bytes from 10.0.0.1: icmp_seq=3 ttl=64 time=0.54 ms

64 bytes from 10.0.0.1: icmp_seq=4 ttl=64 time=0.5 ms

--- 10.0.0.1 ping statistics ---  5 packets transmitted, 5 packets received, 0.00% packet loss

round-trip min/avg/max = 0.474/0.528/0.651 ms

Check05 — 基礎VLAN

Check05 - infra VLAN received [ok]

僅當節點連線到存在APIC的Pod時，基礎VLAN檢查才會成功。如果情況並非如此，則使用者可以忽略該消息，因為檢查預期會失敗。

枝葉將根據從其他ACI節點接收的LLDP資料包確定次要VLAN。當交換機處於發現狀態時，將接受它收到的第一個資料包。

(none)# moquery -c lldpInst

Total Objects shown: 1

# lldp.Inst

adminSt        : enabled

childAction    :

ctrl           :

dn             : sys/lldp/inst

holdTime       : 120

infraVlan      : 3967

initDelayTime  : 2

lcOwn          : local

modTs          : 2019-09-12T07:25:33.194+00:00

monPolDn       : uni/fabric/monfab-default

name           :

operErr        :

optTlvSel      : mgmt-addr,port-desc,port-vlan,sys-cap,sys-desc,sys-name

rn             : inst

status         :

sysDesc        : topology/pod-1/node-101

txFreq         : 30

(none)# show vlan encap-id 3967

VLAN Name                             Status    Ports

---- -------------------------------- --------- -------------------------------

8    infra:default                    active    Eth1/1

VLAN Type  Vlan-mode

---- ----- ----------

8    enet  CE

如果尚未在連線到APIC的switchport介面上程式設計基礎VLAN，請檢查枝葉檢測到的佈線問題。

(none)# moquery -c lldpIf -f 'lldp.If.wiringIssues!=""'

Total Objects shown: 1

# lldp.If

id           : eth1/1

adminRxSt    : enabled

adminSt      : enabled

adminTxSt    : enabled

childAction  :

descr        :

dn           : sys/lldp/inst/if-[eth1/1]

lcOwn        : local

mac          : E0:0E:DA:A2:F2:83

modTs        : 2019-09-30T18:45:22.323+00:00

monPolDn     : uni/fabric/monfab-default

name         :

operRxSt     : enabled

operTxSt     : enabled

portDesc     :

portMode     : normal

portVlan     : unspecified

rn           : if-[eth1/1]

status       :

sysDesc      :

wiringIssues : infra-vlan-mismatch

Check06 — LLDP鄰接關係

Check06 - LLDP Adjacency [FAIL]

Error: leaf not connected to any spine

為了確定哪些埠連線到其他ACI裝置，枝葉必須接收來自其他交換矩陣節點的LLDP。要驗證已收到LLDP，使用者可以檢查「show lldp neighbors」。

(none)# show lldp neighbors

Capability codes:

(R) Router, (B) Bridge, (T) Telephone, (C) DOCSIS Cable Device

(W) WLAN Access Point, (P) Repeater, (S) Station, (O) Other

Device ID            Local Intf      Hold-time  Capability  Port ID

apic1                 Eth1/1          120                    eth2-1

apic2                 Eth1/2          120                    eth2-1

switch                Eth1/51         120        BR          Eth2/32

switch                Eth1/54         120        BR          Eth1/25

Total entries displayed: 4

Check07 — 交換機版本

Check07 - Switch version [ok]

version: n9000-14.2(1j) and apic version: 4.2(1j)

如果APIC和枝葉版本不同，交換矩陣發現可能會失敗。要驗證枝葉上運行的版本，請使用「show version」或「vsh-c 'show version」。

(none)# show version

Cisco Nexus Operating System (NX-OS) Software

TAC support: http://www.cisco.com/tac

Documents: http://www.cisco.com/en/US/products/ps9372/tsd_products_support_series_home.htmlCopyright (c) 2002-2014, Cisco Systems, Inc. All rights reserved.

The copyrights to certain works contained in this software are

owned by other third parties and used and distributed under

license. Certain components of this software are licensed under

the GNU General Public License (GPL) version 2.0 or the GNU

Lesser General Public License (LGPL) Version 2.1. A copy of each

such license is available at

http://www.opensource.org/licenses/gpl-2.0.php and

http://www.opensource.org/licenses/lgpl-2.1.php

Software

BIOS:      version 07.66

kickstart: version 14.2(1j) [build 14.2(1j)]

system:    version 14.2(1j) [build 14.2(1j)]

PE:        version 4.2(1j)

BIOS compile time:       06/11/2019

kickstart image file is: /bootflash/aci-n9000-dk9.14.2.1j.bin

kickstart compile time:  09/19/2019 07:57:41 [09/19/2019 07:57:41]

system image file is:    /bootflash/auto-s

system compile time:     09/19/2019 07:57:41 [09/19/2019 07:57:41]

...

相同的命令也適用於APIC。

apic1# show version

Role        Pod         Node        Name                      Version

----------  ----------  ----------  ------------------------  --------------------

controller  1           1           apic1                     4.2(1j)

controller  1           2           apic2                     4.2(1j)

controller  2           3           apic3                     4.2(1j)

leaf        1           101         leaf101                   n9000-14.2(1j)

leaf        1           102         leaf102                   n9000-14.2(1j)

leaf        1           103         leaf103                   n9000-14.2(1j)

spine       1           1001        spine1                    n9000-14.2(1j)

spine       1           1002        spine2                    n9000-14.2(1j)

Check08 — FPGA/EPLD/BIOS不同步

FPGA、EPLD和BIOS版本可能會影響枝葉節點按預期啟動模組的能力。如果這些設定已過時，交換機介面可能無法啟動。使用者可以使用以下moquery命令驗證運行和預期版本的FPGA、EPLD和BIOS。

(none)# moquery -c firmwareCardRunning

Total Objects shown: 2

# firmware.CardRunning

biosVer        : v07.66(06/11/2019)

childAction    :

descr          :

dn             : sys/ch/supslot-1/sup/running

expectedVer    : v07.65(09/04/2018)  interimVer     : 14.2(1j)

internalLabel  :

modTs          : never

mode           : normal

monPolDn       : uni/fabric/monfab-default

operSt         : ok

rn             : running

status         :

ts             : 1970-01-01T00:00:00.000+00:00

type           : switch

version        : 14.2(1j)

# firmware.CardRunning

biosVer        : v07.66(06/11/2019)

childAction    :

descr          :

dn             : sys/ch/lcslot-1/lc/running

expectedVer    : v07.65(09/04/2018)  interimVer     : 14.2(1j)

internalLabel  :

modTs          : never

mode           : normal

monPolDn       : uni/fabric/monfab-default

operSt         : ok

rn             : running

status         :

ts             : 1970-01-01T00:00:00.000+00:00

type           : switch

version        : 14.2(1j)

(none)# moquery -c firmwareCompRunning

Total Objects shown: 2

# firmware.CompRunning

childAction    :

descr          :

dn             : sys/ch/supslot-1/sup/fpga-1/running

expectedVer    : 0x14  internalLabel  :

modTs          : never

mode           : normal

monPolDn       : uni/fabric/monfab-default

operSt         : ok

rn             : running

status         :

ts             : 1970-01-01T00:00:00.000+00:00

type           : controller

version        : 0x14

# firmware.CompRunning

childAction    :

descr          :

dn             : sys/ch/supslot-1/sup/fpga-2/runnin

expectedVer    : 0x4

internalLabel  :

modTs          : never

mode           : normal

monPolDn       : uni/fabric/monfab-default

operSt         : ok

rn             : running

status         :

ts             : 1970-01-01T00:00:00.000+00:00

type           : controller

version        : 0x4

如果正在運行的FPGA版本與預期的FPGA版本不匹配，則可以使用「Leaf/Spine EPLD/FPGA不正確，F1582」場景「交換矩陣發現」一章「裝置更換」一節中的步驟進行更新。

Check09 — SSL檢查

Check09 - SSL check [check]

SSL certificate details are valid

在所有交換矩陣節點之間使用SSL通訊來確保控制平面流量的加密。使用的SSL證書是在製造過程中安裝的，根據機箱序列號生成。主題的格式應如下所示：

subject= /serialNumber=PID:N9K-C93xxxxx SN:FDOxxxxxxxx/CN=FDOxxxxxxxx

要在發現交換機期間驗證SSL證書，請使用以下命令。

(none)# cd /securedata/ssl && openssl x509 -noout -subject -in server.crt

subject= /serialNumber=PID:N9K-C93180YC-EX SN:FDO20432LH1/CN=FDO20432LH1

請注意，如果交換機節點仍在發現中，則以上命令將僅作為非根使用者運行。

可通過以下命令找到機箱序列號。

(none)# show inventory

NAME: "Chassis",  DESCR: "Nexus C93180YC-EX Chassis"

PID: N9K-C93180YC-EX     ,  VID: V00  ,  SN: FDO20160TPS

...

此外，憑證必須在目前有效。要檢視證書的有效日期，請使用openssl命令中的'-dates'標誌。

(none)# cd /securedata/ssl && openssl x509 -noout -dates -in server.crt

notBefore=Nov 28 17:17:05 2016 GMT

notAfter=Nov 28 17:27:05 2026 GMT

Check10 — 下載策略

Check10 - Downloading policies [FAIL]

Registration to all PM shards is not complete

Policy download is not complete

枝葉對APIC具有IP可訪問性後，它將從APIC下載其配置，APIC將確認下載已完成。可使用以下命令檢視此進程的狀態。

(none)# moquery -c pconsBootStrap

Total Objects shown: 1

# pcons.BootStrap

allLeaderAcked         : no

allPortsInService      : yes

allResponsesFromLeader : yes

canBringPortInService  : no

childAction            :

completedPolRes        : no

dn                     : rescont/bootstrap

lcOwn                  : local

modTs                  : 2019-09-27T22:52:48.729+00:00

rn                     : bootstrap

state                  : completed

status                 :

timerTicks             : 360

try                    : 0

worstCaseTaskTry       : 0

Check11 — 時間

Check11 - Checking time [ok]

2019-10-01 17:02:34

此檢查顯示使用者的當前時間。如果APIC和交換機時間之間存在太多差異，發現可能會失敗。在APIC上，可以使用date命令檢查時間。

apic1# date

Tue Oct  1 14:35:38 UTC 2019

Check12 — 模組、PSU、風扇檢查

交換機要連線到其他裝置，模組需要開啟並聯機。這可通過「show module」和「show environment」命令進行驗證。

(none)# show module

Mod  Ports  Module-Type                         Model              Status

---  -----  ----------------------------------- ------------------ ----------

1    54     48x10/25G+6x40/100G Switch          N9K-C93180YC-EX    ok

Mod  Sw              Hw

---  --------------  ------

1    14.2(1j)        0.3050

Mod  MAC-Address(es)                         Serial-Num

---  --------------------------------------  ----------

1    e0-0e-da-a2-f2-83 to e0-0e-da-a2-f2-cb  FDO20160TPS

Mod  Online Diag Status

---  ------------------

1    pass

(none)# show environment

Power Supply:

Voltage: 12.0 Volts

Power                              Actual        Total

Supply    Model                    Output     Capacity    Status

(Watts )     (Watts )

-------  -------------------  -----------  -----------  --------------

1        NXA-PAC-650W-PI              0 W        650 W       shut

2        NXA-PAC-650W-PI            171 W        650 W        ok

Actual        Power

Module     Model                     Draw    Allocated    Status

(Watts )     (Watts )

--------  -------------------  -----------  -----------  --------------

1         N9K-C93180YC-EX            171 W        492 W    Powered-Up

fan1      NXA-FAN-30CFM-B              N/A          N/A    Powered-Up

fan2      NXA-FAN-30CFM-B              N/A          N/A    Powered-Up

fan3      NXA-FAN-30CFM-B              N/A          N/A    Powered-Up

fan4      NXA-FAN-30CFM-B              N/A          N/A    Powered-Up

N/A - Per module power not available

Power Usage Summary:

--------------------

Power Supply redundancy mode (configured)                Non-Redundant(combined)

Power Supply redundancy mode (operational)               Non-Redundant(combined)

Total Power Capacity (based on configured mode)               650  W

Total Power of all Inputs (cumulative)                        650  W

Total Power Output (actual draw)                              171  W

Total Power Allocated (budget)                                N/A

Total Power Available for additional modules                  N/A

Fan:

------------------------------------------------------

Fan             Model                Hw         Status

------------------------------------------------------

Fan1(sys_fan1)  NXA-FAN-30CFM-B      --         ok

Fan2(sys_fan2)  NXA-FAN-30CFM-B      --         ok

Fan3(sys_fan3)  NXA-FAN-30CFM-B      --         ok

Fan4(sys_fan4)  NXA-FAN-30CFM-B      --         ok

Fan_in_PS1      --                   --         unknown

Fan_in_PS2      --                   --         ok

Fan Speed: Zone 1:  0x7f

Fan Air Filter : Absent

Temperature:

-----------------------------------------------------------------------------------

Module   Sensor                       MajorThresh   MinorThres   CurTemp     Status

(Celsius)     (Celsius)    (Celsius)

-----------------------------------------------------------------------------------

1        Inlet(1)                      70            42           35         normal

1        outlet(2)                     80            70           37         normal

1        x86 processor(3)              90            80           38         normal

1        Sugarbowl(4)                  110           90           60         normal

1        Sugarbowl vrm(5)              120           110          50         normal

如果模組未聯機，請重新拔插該模組並檢查FPGA、EPLD或BIOS不匹配。

中斷方案示例

場景1 — 第一個枝葉未出現在交換矩陣成員中

在此場景中，使用者在完成設定指令碼後登入到APIC1，交換矩陣成員資格中並未出現交換機。為了成功發現第一個枝葉，APIC應在發現階段從枝葉接收DHCP發現。

檢查APIC1是否正在傳送與設定指令碼中設定的引數匹配的LLDP TLV。

apic1# acidiag run lldptool out eth2-1

Chassis ID TLV

MAC: e8:65:49:54:88:a1

Port ID TLV

MAC: e8:65:49:54:88:a1

Time to Live TLV

120

Port Description TLV

eth2-1

System Name TLV

apic1

System Description TLV

topology/pod-1/node-1

Management Address TLV

IPv4: 10.0.0.1

Ifindex: 4

Cisco Port State TLV

1

Cisco Node Role TLV

0

Cisco Node ID TLV

1

Cisco POD ID TLV

1

Cisco Fabric Name TLV

ACIFabric1

Cisco Appliance Vector TLV

Id: 1

IPv4: 10.0.0.1

UUID: c67d1076-a2a2-11e9-874e-a390922be712

Cisco Node IP TLV

IPv4:10.0.0.1

Cisco Port Role TLV

2

Cisco Infra VLAN TLV

3967

Cisco Serial Number TLV

FCH1929V153

Cisco Authentication Cookie TLV

1372058352

Cisco Standby APIC TLV

0

End of LLDPDU TLV

還驗證APIC1是否從直連枝葉節點接收LLDP。

apic1# acidiag run lldptool in eth2-1

Chassis ID TLV

MAC: e0:0e:da:a2:f2:83

Port ID TLV

Local: Eth1/1

Time to Live TLV

120

Port Description TLV

Ethernet1/1

System Name TLV

switch

System Description TLV

Cisco Nexus Operating System (NX-OS) Software 14.2(1j)

TAC support: http://www.cisco.com/tacCopyright (c) 2002-2020, Cisco Systems, Inc. All rights reserved.

System Capabilities TLV

System capabilities:  Bridge, Router

Enabled capabilities: Bridge, Router

Management Address TLV

MAC: e0:0e:da:a2:f2:83

Ifindex: 83886080

Cisco 4-wire Power-via-MDI TLV

4-Pair PoE supported

Spare pair Detection/Classification not required

PD Spare pair Desired State: Disabled

PSE Spare pair Operational State: Disabled

Cisco Port Mode TLV

0

Cisco Port State TLV

1

Cisco Serial Number TLV

FDO20160TPS

Cisco Model TLV

N9K-C93180YC-EX

Cisco Firmware Version TLV

n9000-14.2(1j)

Cisco Node Role TLV

1

Cisco Infra VLAN TLV

3967

Cisco Node ID TLV

0

End of LLDPDU TLV

如果APIC1從直連枝葉節點接收LLDP，枝葉應該對連線到APIC的埠上的次要VLAN進行程式設計。此VLAN程式設計可通過「show vlan encap-id <x>」命令進行驗證，其中「x」是已配置的基礎VLAN。

(none)# show vlan encap-id 3967

VLAN Name                             Status    Ports

---- -------------------------------- --------- -------------------------------

8    infra:default                    active    Eth1/1

VLAN Type  Vlan-mode

---- ----- ----------

8    enet  CE

如果基礎VLAN尚未程式設計，請檢查枝葉節點檢測到的佈線問題。

(none)# moquery -c lldpIf -f 'lldp.If.wiringIssues!=""'

Total Objects shown: 1

# lldp.If

id           : eth1/1

adminRxSt    : enabled

adminSt      : enabled

adminTxSt    : enabled

childAction  :

descr        :

dn           : sys/lldp/inst/if-[eth1/1]

lcOwn        : local

mac          : E0:0E:DA:A2:F2:83

modTs        : 2019-09-30T18:45:22.323+00:00

monPolDn     : uni/fabric/monfab-default

name         :

operRxSt     : enabled

operTxSt     : enabled

portDesc     :

portMode     : normal

portVlan     : unspecified

rn           : if-[eth1/1]

status       :

sysDesc      :

wiringIssues : infra-vlan-mismatch

當佈線問題屬性設定為「infra-vlan-mismatch」時，指示枝葉已獲知與APIC正在傳送的值不同的基礎VLAN（APIC傳送值可以使用命令「moquery -c lldpInst」進行驗證）。 如果枝葉收到來自曾經是另一個交換矩陣一部分的節點的LLDP，則可能會發生這種情況。實際上，發現中的節點將接受通過LLDP接收的第一個基礎VLAN。要解決此問題，請刪除此枝葉與其他ACI節點（APIC除外）之間的連線，然後使用「acidiag touch clean」和「reload」命令清除重新載入交換機。交換器開機後，確認是否已設定正確的內部VLAN。如果為true，則連線可以恢復到其他節點，並且使用者可以繼續設定ACI交換矩陣。

場景2 — 其他APIC未加入群集

在此場景中，已發現所有交換矩陣節點，但APIC2和3尚未加入APIC群集。

驗證APIC之間的設定指令碼值。必須匹配的值為：

- 交換矩陣域

- 交換矩陣ID

- TEP池

- 基礎VLAN

- GIPo

- 群集大小

- 韌體版本

apic1# cat /data/data_admin/sam_exported.config

Setup for Active and Standby APIC

fabricDomain = ACIFabric1

fabricID = 1

systemName =apic1

controllerID = 1

tepPool = 10.0.0.0/16

infraVlan = 3967

GIPo = 225.0.0.0/15

clusterSize = 3

standbyApic = NO

enableIPv4 = Y

enableIPv6 = N

firmwareVersion = 4.2(1j)

ifcIpAddr = 10.0.0.1

apicX = NO

podId = 1

oobIpAddr = 10.48.22.69/24

在所有3個APIC上使用「acidiag cluster」命令檢驗常見問題。

apic1# acidiag cluster

Admin password:

Product-name = APIC-SERVER-M1

Serial-number = FCH1906V1XV

Running...

Checking Core Generation: OK

Checking Wiring and UUID: OK

Checking AD Processes: Running

Checking All Apics in Commission State: OK

Checking All Apics in Active State: OK

Checking Fabric Nodes: OK

Checking Apic Fully-Fit: OK

Checking Shard Convergence: OK

Checking Leadership Degration: Optimal leader for all shards

Ping OOB IPs:

APIC-1: 10.48.22.69 - OK

APIC-2: 10.48.22.70 - OK

APIC-3: 10.48.22.71 - OK

Ping Infra IPs:

APIC-1: 10.0.0.1 - OK

APIC-2: 10.0.0.2 - OK

APIC-3: 10.0.0.3 - OK

Checking APIC Versions: Same (4.2(1j))

Checking SSL: OK

Done!

最後，使用「avread」驗證這些設定是否在所有的APIC上匹配。請注意，此命令與顯示類似輸出的典型「acidiag avread」命令不同，但為了更輕鬆的使用而對其進行分析。

apic1# avread

Cluster:

-------------------------------------------------------------------------

fabricDomainName        ACIFabric1

discoveryMode           PERMISSIVE

clusterSize             3

version                 4.2(1j)

drrMode                 OFF

operSize                3

APICs:

-------------------------------------------------------------------------

APIC 1                  APIC 2                  APIC 3

version           4.2(1j)                 4.2(1j)                 4.2(1j)

address           10.0.0.1                10.0.0.2                10.0.0.3

oobAddress        10.48.22.69/24          10.48.22.70/24          10.48.22.71/24

routableAddress   0.0.0.0                 0.0.0.0                 0.0.0.0

tepAddress        10.0.0.0/16             10.0.0.0/16             10.0.0.0/16

podId             1                       1                       1

chassisId         3c9e5024-.-5a78727f     573e12c0-.-6b8da0e5     44c4bf18-.-20b4f52&    cntrlSbst_serial  (APPROVED,FCH1906V1XV)  (APPROVED,FCH1921V1Q9)  (APPROVED,FCH1906V1PW)

active            YES                     YES                     YES

flags             cra-                    cra-                    cra-

health            255                     255                     255

apic1#

場景3 — 主幹不顯示在交換矩陣成員資格中

在此場景中，在交換矩陣中發現了第一個枝葉，但是在「交換矩陣成員資格」子選單下沒有出現用於發現的脊線。

驗證從枝葉到主幹的物理連線。在下面的示例中，枝葉交換機通過介面e1/49連線到主幹。

leaf101# show int eth1/49

Ethernet1/49 is up

admin state is up, Dedicated Interface

Hardware: 1000/10000/100000/40000 Ethernet, address: 0000.0000.0000 (bia e00e.daa2.f3f3)

MTU 9366 bytes, BW 100000000 Kbit, DLY 1 usec

reliability 255/255, txload 1/255, rxload 1/255

Encapsulation ARPA, medium is broadcast

Port mode is routed

full-duplex, 100 Gb/s

...

如果埠處於out-of-service狀態，請檢查脊柱上是否已收到來自直連枝葉的LLDP。

(none)# show lldp neighbors

Capability codes:

(R) Router, (B) Bridge, (T) Telephone, (C) DOCSIS Cable Device

(W) WLAN Access Point, (P) Repeater, (S) Station, (O) Other

Device ID            Local Intf      Hold-time  Capability  Port ID

leaf102               Eth2/27         120        BR          Eth1/53

leaf103               Eth2/29         120        BR          Eth1/49

leaf101               Eth2/32         120        BR          Eth1/51

Total entries displayed: 3

另一個驗證是驗證枝葉和主幹之間沒有版本差異。如果存在，請通過將較新版本複製到脊柱的/bootflash來修復這種情況。然後，使用以下命令將交換機配置為引導至軟體：

(none)# ls -alh /bootflash

total 3.0G

drwxrwxr-x  3 root admin 4.0K Oct  1 20:21 .

drwxr-xr-x 50 root root  1.3K Oct  1 00:22 ..

-rw-r--r--  1 root root  3.5M Sep 30 21:24 CpuUsage.Log

-rw-rw-rw-  1 root root  1.7G Sep 27 14:50 aci-n9000-dk9.14.2.1j.bin

-rw-r--r--  1 root root  1.4G Sep 27 21:20 auto-s

-rw-rw-rw-  1 root root     2 Sep 27 21:25 diag_bootup

-rw-r--r--  1 root root    54 Oct  1 20:20 disk_log.txt

-rw-rw-rw-  1 root root   693 Sep 27 21:23 libmon.logs

drwxr-xr-x  4 root root  4.0K Sep 26 15:24 lxc

-rw-r--r--  1 root root  384K Oct  1 20:20 mem_log.txt

-rw-r--r--  1 root root  915K Sep 27 21:10 mem_log.txt.old.gz

-rw-rw-rw-  1 root root   12K Sep 27 21:17 urib_api_log.txt

(none)# setup-bootvars.sh aci-n9000-dk9.14.2.1j.bin

In progress

In progress

In progress

In progress

Done

如果從bootflash中連續刪除新映像，則通過刪除舊映像或自動檔案，確保資料夾未滿半；在交換機上使用「df -h」檢查空間利用率。

設定開機變數後，重新載入交換器，且交換器應開機至新版本。

重新載入後可能需要進行FPGA、EPLD和BIOS驗證。有關此問題的進一步故障排除，請參閱「枝葉/主幹EPLD/FPGA不正確，F1582」子節。

場景4 — 發現初始交換矩陣後，群集在完全適應和降級之間搖擺

如果在新交換矩陣設定後發生這種情況，則可能是由於連線到交換矩陣的APIC-M3或APIC-L3的電纜連線不正確。您可以在連線到APIC的兩台枝葉交換機上執行「show lldp neighbors」來確認此類錯誤佈線。執行此多次操作後，您會注意到兩個枝葉交換機都看到相同的APIC介面。

APIC-M3/L3伺服器的背面如下所示：

APIC-M3/L3伺服器的後檢視

請注意，對於APIC-M3/L3,VIC卡具有4個埠：ETH2-1、ETH2-2、ETH2-3和ETH2-4，如下所示：

帶標籤的APIC VIC 1455檢視

將APIC伺服器連線到枝葉交換機的規則如下：

- 所有埠必須具有相同的速度，即10 Gigabit或25 Gigabit。

- ETH2-1和ETH2-2是一個埠通道對，對應於APIC作業系統的eth2-1（「ifconfig」輸出）。

- ETH2-3和ETH2-4是另一個埠通道對，對應於APIC OS上的eth2-2（「ifconfig」輸出）。

- 每個埠通道對只允許一個連線。例如，將一條纜線連線到ETH2-1或ETH2-2，將另一條纜線連線到ETH2-3或ETH2-4(切勿將埠通道對中的兩個ETH連接。這將導致交換矩陣發現問題。)。

為了進一步理解，以下是VIC埠到APIC鍵的對映表示。

VIC 1455埠 — APIC冗餘光纖埠