ACIファブリック検出の初期ファブリックセットアップのトラブルシューティング
内容
はじめに
このドキュメントでは、初期ファブリック検出プロセスを理解してトラブルシューティングする手順について説明します。たとえば、問題のシナリオを示します。
背景説明
このドキュメントの内容は、『Troubleshooting Cisco Application Centric Infrastructure, Second Edition』のマニュアル、特に「Fabric Discovery - Initial fabric setup」の章から抜粋しています。
ファブリック検出ワークフロー
ACIファブリック検出プロセスは、特定のイベントのシーケンスに従います。基本的な手順は次のとおりです。
- 最初のAPICのKVMコンソールに接続し、ファブリック名、APICクラスタサイズ、トンネルエンドポイント(TEP)アドレスプールなどの値を入力してセットアップスクリプトを完了します。
- 完了すると、APIC1はファブリックポート経由でLLDPの送信を開始します。LLDPパケットには、infra VLAN(infra-vlan)やAPICとしての役割（コントローラとも呼ばれる）などの情報を持つ特別なTLVが含まれています。
- APIC1からこれらのLLDPパケットを受信すると、リーフはAPICが検出されたすべてのポートでインフラストラクチャVLANをプログラムします。
- リーフは、既知のインフラストラクチャVLANでDHCP Discoverの送信を開始します。
- ユーザはHTTPS経由でAPIC1のOOB IPにログインし、最初のリーフノードをファブリックメンバーシップサブメニューに登録します。
- リーフにノードIDが割り当てられると、APIC1は設定されたTEPアドレスプールからIPアドレスで応答し、DHCPプロセスが完了します。
- 登録済みリーフは、LLDPを介して検出された他の直接接続されたスパインからAPIC1にDHCP Discoverをリレーします。
- ユーザは、動的に検出されたスパインがFabric Membershipサブメニューに表示されていることを確認し、それらを登録できます。
- スパインが登録されると、APIC1はTEPプールからのIPアドレスで応答し、これらのノードのDHCPが完了します。
- スパインリレーDHCPは、pod1の他のすべてのノードから検出します。（これは、推奨されているようにスパインとリーフスイッチの間にフルメッシュが存在することを前提としており、これが一般的なアーキテクチャです）。
- 他のAPICに接続されているリーフノードが登録されると、APICクラスタは相互のTCP通信を介して確立できます。APIC2とAPIC3で設定ダイアログが完了していることを確認します。
- すべてのAPICがクラスタを形成し、完全に適合していることを確認します。この場合、ファブリック検出は完了です。
4.2以降では、ファブリックノードで新しいCLIコマンドが使用できるようになり、一般的な検出問題の診断に役立っています。これらのセクションでは、実行されたチェックについて説明し、障害のトラブルシューティングに役立つ追加の検証コマンドを提供します。
leaf101# show discoveryissues
Checking the platform type................LEAF!
Check01 - System state - in-service [ok]
Check02 - DHCP status [ok]
TEP IP: 10.0.72.67 Node Id: 101 Name: leaf101
Check03 - AV details check [ok]
Check04 - IP rechability to apic [ok]
Ping from switch to 10.0.0.1 passed
Check05 - infra VLAN received [ok]
infra vLAN:3967
Check06 - LLDP Adjacency [ok]
Found adjacency with SPINE
Found adjacency with APIC
Check07 - Switch version [ok]
version: n9000-14.2(1j) and apic version: 4.2(1j)
Check08 - FPGA/BIOS out of sync test [ok]
Check09 - SSL check [check]
SSL certificate details are valid
Check10 - Downloading policies [ok]
Check11 - Checking time [ok]
2019-09-11 07:15:53
Check12 - Checking modules, power and fans [ok]
Check01：システム状態
リーフがノードIDに割り当てられ、ファブリックに登録されると、ブートストラップのダウンロードが開始され、in-service 状態に移行します。
Check01 - System state - out-of-service [FAIL]
Check01 - System state - downloading-boot-script [FAIL]
リーフの現在の状態を検証するために、ユーザはmoquery -c topSystemコマンドを実行できます。
leaf101# moquery -c topSystem
Total Objects shown: 1
# top.System
address : 10.0.72.67
bootstrapState : done
...
serial : FDO20160TPS
serverType : unspecified
siteId : 1
state : in-service
status :
systemUpTime : 00:18:17:41.000
tepPool : 10.0.0.0/16
unicastXrEpLearnDisable : no
version : n9000-14.2(1j)
virtualMode : no
Check02:DHCPステータス
Check02 - DHCP status [FAIL]
ERROR: node Id not configured
ERROR: Ip not assigned by dhcp server
ERROR: Address assigner's IP not populated
TEP IP: unknown Node Id: unknown Name: unknown
リーフは、DHCP経由でAPIC1からTEPアドレスを受信し、他のAPICへのIP接続を確立する必要があります。リーフの物理TEP(PTEP)はloopback0に割り当てられます。アドレスが割り当てられていない場合、ユーザは、リーフがtpcdumpユーティリティを使用してDHCPディスカバリを送信していることを確認できます。これには、kpm_inbインターフェイスが使用され、すべてのCPUインバンドコントロールプレーンネットワークトラフィックを確認できます。
(none)# tcpdump -ni kpm_inb port 67 or 68
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on kpm_inb, link-type EN10MB (Ethernet), capture size 65535 bytes
16:40:11.041148 IP 0.0.0.0.68 > 255.255.255.255.67: BOOTP/DHCP, Request from a0:36:9f:c7:a1:0c, length 300
^C
1 packets captured
1 packets received by filter
0 packets dropped by kernel
ユーザは、APICでdhcpdが実行されており、bond0サブインターフェイスでリッスンしていることを検証することもできます。bondインターフェイスは、APICポートに面したファブリックを表します。bond0.<infra VLAN>の形式を使用します。
apic1# ps aux | grep dhcp
root 18929 1.3 0.2 818552 288504 ? Ssl Sep26 87:19 /mgmt//bin/dhcpd.bin -f -4 -cf /data//dhcp/dhcpd.conf -lf /data//dhcp/dhcpd.lease -pf /var/run//dhcpd.pid --no-pid bond0.3967
admin 22770 0.0 0.0 9108 868 pts/0 S+ 19:42 0:00 grep dhcp
Check03:AVの詳細
Check03 - AV details check [ok]
リーフは、登録済みAPICがTEPプールの有効範囲内にIPを持つかどうかを検証します。APIC情報がまだ記録されていない場合、このチェックはパスします。ユーザはacidiag avread コマンドを使用して、リーフノードの観点から現在のAPIC情報を確認できます。この例では、leaf/spineプロンプトに(none)#が表示されている場合、リーフ/スパインはまだファブリックのメンバではないことを示しています。
(none)# acidiag avread
Cluster of 0 lm(t):0(zeroTime) appliances (out of targeted 0 lm(t):0(zeroTime)) with FABRIC_DOMAIN name=Undefined Fabric Domain Name set to version= lm(t):0(zeroTime); discoveryMode=PERMISSIVE lm(t):0(zeroTime); drrMode=OFF lm(t):0(zeroTime)
---------------------------------------------
clusterTime=<diff=0 common=2019-10-01T18:51:50.315+00:00 local=2019-10-01T18:51:50.315+00:00 pF=<displForm=1 offsSt=0 offsVlu=0 lm(t):0(zeroTime)>>
---------------------------------------------
leaf101# acidiag avread
Cluster of 3 lm(t):0(2019-09-30T18:45:10.320-04:00) appliances (out of targeted 3 lm(t):0(2019-10-01T14:52:55.217-04:00)) with FABRIC_DOMAIN name=ACIFabric1 set to version=apic-4.2(1j) lm(t):0(2019-10-01T14:52:55.217-04:00); discoveryMode=PERMISSIVE lm(t):0(1969-12-31T20:00:00.003-04:00); drrMode=OFF lm(t):0(1969-12-31T20:00:00.003-04:00); kafkaMode=OFF lm(t):0(1969-12-31T20:00:00.003-04:00)
appliance id=1 address=10.0.0.1 lm(t):2(2019-09-27T17:32:08.669-04:00) tep address=10.0.0.0/16 lm(t):1(2019-07-09T19:41:24.672-04:00) routable address=192.168.1.1 lm(t):2(2019-09-30T18:37:48.916-04:00) oob address=0.0.0.0 lm(t):0(zeroTime) version=4.2(1j) lm(t):1(2019-09-30T18:37:49.011-04:00) chassisId=c67d1076-a2a2-11e9-874e-a390922be712 lm(t):1(2019-09-30T18:37:49.011-04:00) capabilities=0X3EEFFFFFFFFF--0X2020--0X1 lm(t):1(2019-09-26T09:32:20.747-04:00) rK=(stable,absent,0) lm(t):0(zeroTime) aK=(stable,absent,0) lm(t):0(zeroTime) oobrK=(stable,absent,0) lm(t):0(zeroTime) oobaK=(stable,absent,0) lm(t):0(zeroTime) cntrlSbst=(APPROVED, FCH1929V153) lm(t):1(2019-10-01T12:46:44.711-04:00) (targetMbSn= lm(t):0(zeroTime), failoverStatus=0 lm(t):0(zeroTime)) podId=1 lm(t):1(2019-09-26T09:26:49.422-04:00) commissioned=YES lm(t):101(2019-09-30T18:45:10.320-04:00) registered=YES lm(t):3(2019-09-05T11:42:41.371-04:00) standby=NO lm(t):0(zeroTime) DRR=NO lm(t):101(2019-09-30T18:45:10.320-04:00) apicX=NO lm(t):0(zeroTime) virtual=NO lm(t):0(zeroTime) active=YES
appliance id=2 address=10.0.0.2 lm(t):2(2019-09-26T09:47:34.709-04:00) tep address=10.0.0.0/16 lm(t):2(2019-09-26T09:47:34.709-04:00) routable address=192.168.1.2 lm(t):2(2019-09-05T11:45:36.861-04:00) oob address=0.0.0.0 lm(t):0(zeroTime) version=4.2(1j) lm(t):2(2019-09-30T18:37:48.913-04:00) chassisId=611febfe-89c1-11e8-96b1-c7a7472413f2 lm(t):2(2019-09-30T18:37:48.913-04:00) capabilities=0X3EEFFFFFFFFF--0X2020--0X7 lm(t):2(2019-09-26T09:53:07.047-04:00) rK=(stable,absent,0) lm(t):0(zeroTime) aK=(stable,absent,0) lm(t):0(zeroTime) oobrK=(stable,absent,0) lm(t):0(zeroTime) oobaK=(stable,absent,0) lm(t):0(zeroTime) cntrlSbst=(APPROVED, FCH2045V1X2) lm(t):2(2019-10-01T12:46:44.710-04:00) (targetMbSn= lm(t):0(zeroTime), failoverStatus=0 lm(t):0(zeroTime)) podId=1 lm(t):2(2019-09-26T09:47:34.709-04:00) commissioned=YES lm(t):101(2019-09-30T18:45:10.320-04:00) registered=YES lm(t):2(2019-09-26T09:47:34.709-04:00) standby=NO lm(t):0(zeroTime) DRR=NO lm(t):101(2019-09-30T18:45:10.320-04:00) apicX=NO lm(t):0(zeroTime) virtual=NO lm(t):0(zeroTime) active=YES
appliance id=3 address=10.0.0.3 lm(t):3(2019-09-26T10:12:34.114-04:00) tep address=10.0.0.0/16 lm(t):3(2019-09-05T11:42:27.199-04:00) routable address=192.168.1.3 lm(t):2(2019-10-01T13:19:08.626-04:00) oob address=0.0.0.0 lm(t):0(zeroTime) version=4.2(1j) lm(t):3(2019-09-30T18:37:48.904-04:00) chassisId=99bade8c-cff3-11e9-bba7-5b906a49dc39 lm(t):3(2019-09-30T18:37:48.904-04:00) capabilities=0X3EEFFFFFFFFF--0X2020--0X4 lm(t):3(2019-09-26T10:18:13.149-04:00) rK=(stable,absent,0) lm(t):0(zeroTime) aK=(stable,absent,0) lm(t):0(zeroTime) oobrK=(stable,absent,0) lm(t):0(zeroTime) oobaK=(stable,absent,0) lm(t):0(zeroTime) cntrlSbst=(APPROVED, FCH1824V2VR) lm(t):3(2019-10-01T12:48:03.726-04:00) (targetMbSn= lm(t):0(zeroTime), failoverStatus=0 lm(t):0(zeroTime)) podId=2 lm(t):3(2019-09-26T10:12:34.114-04:00) commissioned=YES lm(t):101(2019-09-30T18:45:10.320-04:00) registered=YES lm(t):2(2019-09-05T11:42:54.935-04:00) standby=NO lm(t):0(zeroTime) DRR=NO lm(t):101(2019-09-30T18:45:10.320-04:00) apicX=NO lm(t):0(zeroTime) virtual=NO lm(t):0(zeroTime) active=YES
---------------------------------------------
clusterTime=<diff=15584 common=2019-10-01T14:53:01.648-04:00 local=2019-10-01T14:52:46.064-04:00 pF=<displForm=0 offsSt=0 offsVlu=-14400 lm(t):21(2019-09-26T10:40:35.412-04:00)>>
---------------------------------------------
Check04:APICへのIP到達可能性
リーフは、IPアドレスを受信すると、APICとのTCPセッションの確立を試み、設定のダウンロード処理を開始します。ユーザは、ipingユーティリティを使用してAPICへのIP接続を検証できます。
leaf101# iping -V overlay-1 10.0.0.1
PING 10.0.0.1 (10.0.0.1) from 10.0.0.30: 56 data bytes
64 bytes from 10.0.0.1: icmp_seq=0 ttl=64 time=0.651 ms
64 bytes from 10.0.0.1: icmp_seq=1 ttl=64 time=0.474 ms
64 bytes from 10.0.0.1: icmp_seq=2 ttl=64 time=0.477 ms
64 bytes from 10.0.0.1: icmp_seq=3 ttl=64 time=0.54 ms
64 bytes from 10.0.0.1: icmp_seq=4 ttl=64 time=0.5 ms
--- 10.0.0.1 ping statistics --- 5 packets transmitted, 5 packets received, 0.00% packet loss
round-trip min/avg/max = 0.474/0.528/0.651 ms
Check05：インフラストラクチャVLAN
Check05 - infra VLAN received [ok]
インフラストラクチャVLANチェックが成功するのは、APICが存在するポッドにノードが接続されている場合だけです。そうでない場合は、チェックが失敗することが予想されるため、ユーザはメッセージを無視できます。
リーフは、他のACIノードから受信したLLDPパケットに基づいてインフラストラクチャVLANを決定します。スイッチの検出中に最初に受信したパケットが受け入れられます。
(none)# moquery -c lldpInst
Total Objects shown: 1
# lldp.Inst
adminSt : enabled
childAction :
ctrl :
dn : sys/lldp/inst
holdTime : 120
infraVlan : 3967
initDelayTime : 2
lcOwn : local
modTs : 2019-09-12T07:25:33.194+00:00
monPolDn : uni/fabric/monfab-default
name :
operErr :
optTlvSel : mgmt-addr,port-desc,port-vlan,sys-cap,sys-desc,sys-name
rn : inst
status :
sysDesc : topology/pod-1/node-101
txFreq : 30
(none)# show vlan encap-id 3967
VLAN Name Status Ports
---- -------------------------------- --------- -------------------------------
8 infra:default active Eth1/1
VLAN Type Vlan-mode
---- ----- ----------
8 enet CE
APICに接続されているスイッチポートインターフェイスでインフラストラクチャVLANがプログラムされていない場合は、リーフによって検出された配線の問題を確認します。
(none)# moquery -c lldpIf -f 'lldp.If.wiringIssues!=""'
Total Objects shown: 1
# lldp.If
id : eth1/1
adminRxSt : enabled
adminSt : enabled
adminTxSt : enabled
childAction :
descr :
dn : sys/lldp/inst/if-[eth1/1]
lcOwn : local
mac : E0:0E:DA:A2:F2:83
modTs : 2019-09-30T18:45:22.323+00:00
monPolDn : uni/fabric/monfab-default
name :
operRxSt : enabled
operTxSt : enabled
portDesc :
portMode : normal
portVlan : unspecified
rn : if-[eth1/1]
status :
sysDesc :
wiringIssues : infra-vlan-mismatch
Check06:LLDP隣接関係
Check06 - LLDP Adjacency [FAIL]
Error: leaf not connected to any spine
他のACIデバイスに接続しているポートを判別するには、リーフが他のファブリックノードからLLDPを受信する必要があります。LLDPを受信したことを確認するには、show lldp neighborsコマンドを使用して確認できます。
(none)# show lldp neighbors
Capability codes:
(R) Router, (B) Bridge, (T) Telephone, (C) DOCSIS Cable Device
(W) WLAN Access Point, (P) Repeater, (S) Station, (O) Other
Device ID Local Intf Hold-time Capability Port ID
apic1 Eth1/1 120 eth2-1
apic2 Eth1/2 120 eth2-1
switch Eth1/51 120 BR Eth2/32
switch Eth1/54 120 BR Eth1/25
Total entries displayed: 4
Check07：スイッチバージョン
Check07 - Switch version [ok]
version: n9000-14.2(1j) and apic version: 4.2(1j)
APICとリーフのバージョンが異なる場合、ファブリック検出が失敗する可能性があります。リーフで実行されているバージョンを検証するには、show versionコマンドまたはvsh -c 'show version'コマンドを使用します。
(none)# show version
Cisco Nexus Operating System (NX-OS) Software
TAC support: https://www.cisco.com/tac
Documents: https://www.cisco.com/en/US/products/ps9372/tsd_products_support_series_home.htmlCopyright (c) 2002-2014, Cisco Systems, Inc. All rights reserved.
The copyrights to certain works contained in this software are
owned by other third parties and used and distributed under
license. Certain components of this software are licensed under
the GNU General Public License (GPL) version 2.0 or the GNU
Lesser General Public License (LGPL) Version 2.1. A copy of each
such license is available at
http://www.opensource.org/licenses/gpl-2.0.php and
http://www.opensource.org/licenses/lgpl-2.1.php
Software
BIOS: version 07.66
kickstart: version 14.2(1j) [build 14.2(1j)]
system: version 14.2(1j) [build 14.2(1j)]
PE: version 4.2(1j)
BIOS compile time: 06/11/2019
kickstart image file is: /bootflash/aci-n9000-dk9.14.2.1j.bin
kickstart compile time: 09/19/2019 07:57:41 [09/19/2019 07:57:41]
system image file is: /bootflash/auto-s
system compile time: 09/19/2019 07:57:41 [09/19/2019 07:57:41]
...
同じコマンドがAPICでも機能します。
apic1# show version
Role Pod Node Name Version
---------- ---------- ---------- ------------------------ --------------------
controller 1 1 apic1 4.2(1j)
controller 1 2 apic2 4.2(1j)
controller 2 3 apic3 4.2(1j)
leaf 1 101 leaf101 n9000-14.2(1j)
leaf 1 102 leaf102 n9000-14.2(1j)
leaf 1 103 leaf103 n9000-14.2(1j)
spine 1 1001 spine1 n9000-14.2(1j)
spine 1 1002 spine2 n9000-14.2(1j)
Check08:FPGA/EPLD/BIOSの同期外れ
FPGA、EPLD、およびBIOSバージョンは、リーフノードが期待どおりにモジュールを起動する機能に影響を与える可能性があります。これらがあまりに古すぎると、スイッチのインターフェイスが起動できなくなる可能性があります。ユーザは、次のmoqueryコマンドを使用して、FPGA、EPLD、およびBIOSの実行バージョンと予期されるバージョンを検証できます。
(none)# moquery -c firmwareCardRunning
Total Objects shown: 2
# firmware.CardRunning
biosVer : v07.66(06/11/2019)
childAction :
descr :
dn : sys/ch/supslot-1/sup/running
expectedVer : v07.65(09/04/2018) interimVer : 14.2(1j)
internalLabel :
modTs : never
mode : normal
monPolDn : uni/fabric/monfab-default
operSt : ok
rn : running
status :
ts : 1970-01-01T00:00:00.000+00:00
type : switch
version : 14.2(1j)
# firmware.CardRunning
biosVer : v07.66(06/11/2019)
childAction :
descr :
dn : sys/ch/lcslot-1/lc/running
expectedVer : v07.65(09/04/2018) interimVer : 14.2(1j)
internalLabel :
modTs : never
mode : normal
monPolDn : uni/fabric/monfab-default
operSt : ok
rn : running
status :
ts : 1970-01-01T00:00:00.000+00:00
type : switch
version : 14.2(1j)
(none)# moquery -c firmwareCompRunning
Total Objects shown: 2
# firmware.CompRunning
childAction :
descr :
dn : sys/ch/supslot-1/sup/fpga-1/running
expectedVer : 0x14 internalLabel :
modTs : never
mode : normal
monPolDn : uni/fabric/monfab-default
operSt : ok
rn : running
status :
ts : 1970-01-01T00:00:00.000+00:00
type : controller
version : 0x14
# firmware.CompRunning
childAction :
descr :
dn : sys/ch/supslot-1/sup/fpga-2/runnin
expectedVer : 0x4
internalLabel :
modTs : never
mode : normal
monPolDn : uni/fabric/monfab-default
operSt : ok
rn : running
status :
ts : 1970-01-01T00:00:00.000+00:00
type : controller
version : 0x4
稼働中のFPGAのバージョンが予想されるFPGAのバージョンと一致しない場合は、ファブリック検出の章の「デバイスの交換」のセクションにある、リーフ/スパインEPLD/FPGAが正しくない、F1582のシナリオに記載されている手順でアップデートできます。
Check09:SSLチェック
Check09 - SSL check [check]
SSL certificate details are valid
コントロールプレーントラフィックの暗号化を保証するために、すべてのファブリックノード間でSSL通信が使用されます。使用されるSSL証明書は製造時にインストールされ、シャーシのシリアル番号に基づいて生成されます。件名は次の形式が最適です。
subject= /serialNumber=PID:N9K-C93xxxxx SN:FDOxxxxxxxx/CN=FDOxxxxxxxx
スイッチの検出中にSSL証明書を検証するには、次のコマンドを使用します。
(none)# cd /securedata/ssl && openssl x509 -noout -subject -in server.crt
subject= /serialNumber=PID:N9K-C93180YC-EX SN:FDO20432LH1/CN=FDO20432LH1
スイッチノードがまだ検出中の場合にのみ、非ルートユーザとして機能することに注意してください。
シャーシのシリアル番号は、次のコマンドで確認できます。
(none)# show inventory
NAME: "Chassis", DESCR: "Nexus C93180YC-EX Chassis"
PID: N9K-C93180YC-EX , VID: V00 , SN: FDO20160TPS
...
また、証明書は現在の時刻に有効である必要があります。証明書の有効な日付を表示するには、opensslコマンドで-datesフラグを使用します。
(none)# cd /securedata/ssl && openssl x509 -noout -dates -in server.crt
notBefore=Nov 28 17:17:05 2016 GMT
notAfter=Nov 28 17:27:05 2026 GMT
Check10：ポリシーのダウンロード
Check10 - Downloading policies [FAIL]
Registration to all PM shards is not complete
Policy download is not complete
リーフがAPICにIP到達可能性を持つと、リーフはAPICから自身の設定をダウンロードし、APICはダウンロードが完了したことを確認します。このプロセスのステータスは、次のコマンドで表示できます。
(none)# moquery -c pconsBootStrap
Total Objects shown: 1
# pcons.BootStrap
allLeaderAcked : no
allPortsInService : yes
allResponsesFromLeader : yes
canBringPortInService : no
childAction :
completedPolRes : no
dn : rescont/bootstrap
lcOwn : local
modTs : 2019-09-27T22:52:48.729+00:00
rn : bootstrap
state : completed
status :
timerTicks : 360
try : 0
worstCaseTaskTry : 0
Check11：時間
Check11 - Checking time [ok]
2019-10-01 17:02:34
このチェックでは、ユーザに現在の時刻が表示されます。APICとスイッチ時間の差が大きすぎると、検出が失敗する可能性があります。APICでは、dateコマンドを使用して時刻を確認できます。
apic1# date
Tue Oct 1 14:35:38 UTC 2019
Check12：モジュール、PSU、ファンチェック
スイッチが他のデバイスに接続できるようにするには、モジュールが起動し、オンラインになっている必要があります。これは、show moduleおよびshow environmentコマンドを使用して検証できます。
(none)# show module
Mod Ports Module-Type Model Status
--- ----- ----------------------------------- ------------------ ----------
1 54 48x10/25G+6x40/100G Switch N9K-C93180YC-EX ok
Mod Sw Hw
--- -------------- ------
1 14.2(1j) 0.3050
Mod MAC-Address(es) Serial-Num
--- -------------------------------------- ----------
1 e0-0e-da-a2-f2-83 to e0-0e-da-a2-f2-cb FDO20160TPS
Mod Online Diag Status
--- ------------------
1 pass
(none)# show environment
Power Supply:
Voltage: 12.0 Volts
Power Actual Total
Supply Model Output Capacity Status
(Watts ) (Watts )
------- ------------------- ----------- ----------- --------------
1 NXA-PAC-650W-PI 0 W 650 W shut
2 NXA-PAC-650W-PI 171 W 650 W ok
Actual Power
Module Model Draw Allocated Status
(Watts ) (Watts )
-------- ------------------- ----------- ----------- --------------
1 N9K-C93180YC-EX 171 W 492 W Powered-Up
fan1 NXA-FAN-30CFM-B N/A N/A Powered-Up
fan2 NXA-FAN-30CFM-B N/A N/A Powered-Up
fan3 NXA-FAN-30CFM-B N/A N/A Powered-Up
fan4 NXA-FAN-30CFM-B N/A N/A Powered-Up
N/A - Per module power not available
Power Usage Summary:
--------------------
Power Supply redundancy mode (configured) Non-Redundant(combined)
Power Supply redundancy mode (operational) Non-Redundant(combined)
Total Power Capacity (based on configured mode) 650 W
Total Power of all Inputs (cumulative) 650 W
Total Power Output (actual draw) 171 W
Total Power Allocated (budget) N/A
Total Power Available for additional modules N/A
Fan:
------------------------------------------------------
Fan Model Hw Status
------------------------------------------------------
Fan1(sys_fan1) NXA-FAN-30CFM-B -- ok
Fan2(sys_fan2) NXA-FAN-30CFM-B -- ok
Fan3(sys_fan3) NXA-FAN-30CFM-B -- ok
Fan4(sys_fan4) NXA-FAN-30CFM-B -- ok
Fan_in_PS1 -- -- unknown
Fan_in_PS2 -- -- ok
Fan Speed: Zone 1: 0x7f
Fan Air Filter : Absent
Temperature:
-----------------------------------------------------------------------------------
Module Sensor MajorThresh MinorThres CurTemp Status
(Celsius) (Celsius) (Celsius)
-----------------------------------------------------------------------------------
1 Inlet(1) 70 42 35 normal
1 outlet(2) 80 70 37 normal
1 x86 processor(3) 90 80 38 normal
1 Sugarbowl(4) 110 90 60 normal
1 Sugarbowl vrm(5) 120 110 50 normal
モジュールがオンラインにならない場合は、モジュールを取り付け直し、FPGA、EPLD、またはBIOSの不一致を確認します。
失敗したシナリオの例
シナリオ1 – 最初のリーフがファブリックメンバーシップに表示されない
このシナリオでは、セットアップスクリプトの完了後にAPIC1にログインしても、ファブリックメンバーシップにスイッチが表示されません。最初のリーフの検出が正常に行われるように、APICは検出フェーズでリーフからDHCP検出を受信する必要があります。
APIC1がセットアップスクリプトで設定されたパラメータに一致するLLDP TLVを送信していることを確認します。
apic1# acidiag run lldptool out eth2-1
Chassis ID TLV
MAC: e8:65:49:54:88:a1
Port ID TLV
MAC: e8:65:49:54:88:a1
Time to Live TLV
120
Port Description TLV
eth2-1
System Name TLV
apic1
System Description TLV
topology/pod-1/node-1
Management Address TLV
IPv4: 10.0.0.1
Ifindex: 4
Cisco Port State TLV
1
Cisco Node Role TLV
0
Cisco Node ID TLV
1
Cisco POD ID TLV
1
Cisco Fabric Name TLV
ACIFabric1
Cisco Appliance Vector TLV
Id: 1
IPv4: 10.0.0.1
UUID: c67d1076-a2a2-11e9-874e-a390922be712
Cisco Node IP TLV
IPv4:10.0.0.1
Cisco Port Role TLV
2
Cisco Infra VLAN TLV
3967
Cisco Serial Number TLV
FCH1929V153
Cisco Authentication Cookie TLV
1372058352
Cisco Standby APIC TLV
0
End of LLDPDU TLV
また、APIC1が直接接続されたリーフノードからLLDPを受信していることも検証します。
apic1# acidiag run lldptool in eth2-1
Chassis ID TLV
MAC: e0:0e:da:a2:f2:83
Port ID TLV
Local: Eth1/1
Time to Live TLV
120
Port Description TLV
Ethernet1/1
System Name TLV
switch
System Description TLV
Cisco Nexus Operating System (NX-OS) Software 14.2(1j)
TAC support: http://www.cisco.com/tacCopyright (c) 2002-2020, Cisco Systems, Inc. All rights reserved.
System Capabilities TLV
System capabilities: Bridge, Router
Enabled capabilities: Bridge, Router
Management Address TLV
MAC: e0:0e:da:a2:f2:83
Ifindex: 83886080
Cisco 4-wire Power-via-MDI TLV
4-Pair PoE supported
Spare pair Detection/Classification not required
PD Spare pair Desired State: Disabled
PSE Spare pair Operational State: Disabled
Cisco Port Mode TLV
0
Cisco Port State TLV
1
Cisco Serial Number TLV
FDO20160TPS
Cisco Model TLV
N9K-C93180YC-EX
Cisco Firmware Version TLV
n9000-14.2(1j)
Cisco Node Role TLV
1
Cisco Infra VLAN TLV
3967
Cisco Node ID TLV
0
End of LLDPDU TLV
APIC1が直接接続されたリーフノードからLLDPを受信している場合、リーフはAPICに接続されたポートでインフラストラクチャVLANをプログラムします。このVLANプログラミングは、show vlan encap-id <x>コマンド(xは設定済みのインフラストラクチャVLAN)を使用して検証できます。
(none)# show vlan encap-id 3967
VLAN Name Status Ports
---- -------------------------------- --------- -------------------------------
8 infra:default active Eth1/1
VLAN Type Vlan-mode
---- ----- ----------
8 enet CE
インフラストラクチャVLANがプログラムされていない場合は、リーフノードによって検出された配線の問題を確認します。
(none)# moquery -c lldpIf -f 'lldp.If.wiringIssues!=""'
Total Objects shown: 1
# lldp.If
id : eth1/1
adminRxSt : enabled
adminSt : enabled
adminTxSt : enabled
childAction :
descr :
dn : sys/lldp/inst/if-[eth1/1]
lcOwn : local
mac : E0:0E:DA:A2:F2:83
modTs : 2019-09-30T18:45:22.323+00:00
monPolDn : uni/fabric/monfab-default
name :
operRxSt : enabled
operTxSt : enabled
portDesc :
portMode : normal
portVlan : unspecified
rn : if-[eth1/1]
status :
sysDesc :
wiringIssues : infra-vlan-mismatch
配線の問題の属性がinfra-vlan-mismatchに設定されている場合、リーフはAPICが送信している値とは異なるインフラストラクチャVLANを学習したことを示します(APICが送信した値は、moquery -c lldpInstコマンドを使用して確認できます)。 このシナリオは、かつて別のファブリックの一部であったノードからリーフがLLDPを受信した場合に発生する可能性があります。基本的に、ディスカバリ内のノードは、LLDPを介して受信した最初のインフラストラクチャVLANを受け入れます。これを解決するには、このリーフとAPICを除く他のACIノードの間の接続を削除してから、acidiag touch clean およびreload コマンドを使用して、スイッチをクリーンリロードします。スイッチが起動したら、正しいインフラストラクチャVLANがプログラムされていることを確認します。これがtrueの場合、他のノードへの接続を復元でき、ユーザはACIファブリックのセットアップをさらに進めることができます。
シナリオ2：他のAPICがクラスタに参加しない
このシナリオでは、すべてのファブリックノードが検出されましたが、APIC2と3はまだAPICクラスタに参加していません。
APIC全体でセットアップスクリプトの値を検証します。一致する必要がある値は次のとおりです。
- ファブリックドメイン
- ファブリックID
- TEPプール
- インフラVLAN
- GIPo
- クラスタ サイズ
- ファームウェア バージョン
apic1# cat /data/data_admin/sam_exported.config
Setup for Active and Standby APIC
fabricDomain = ACIFabric1
fabricID = 1
systemName =apic1
controllerID = 1
tepPool = 10.0.0.0/16
infraVlan = 3967
GIPo = 225.0.0.0/15
clusterSize = 3
standbyApic = NO
enableIPv4 = Y
enableIPv6 = N
firmwareVersion = 4.2(1j)
ifcIpAddr = 10.0.0.1
apicX = NO
podId = 1
oobIpAddr = 10.48.22.69/24
3つすべてのAPICでacidiag cluster コマンドを使用して一般的な問題を確認します。
apic1# acidiag cluster
Admin password:
Product-name = APIC-SERVER-M1
Serial-number = FCH1906V1XV
Running...
Checking Core Generation: OK
Checking Wiring and UUID: OK
Checking AD Processes: Running
Checking All Apics in Commission State: OK
Checking All Apics in Active State: OK
Checking Fabric Nodes: OK
Checking Apic Fully-Fit: OK
Checking Shard Convergence: OK
Checking Leadership Degration: Optimal leader for all shards
Ping OOB IPs:
APIC-1: 10.48.22.69 - OK
APIC-2: 10.48.22.70 - OK
APIC-3: 10.48.22.71 - OK
Ping Infra IPs:
APIC-1: 10.0.0.1 - OK
APIC-2: 10.0.0.2 - OK
APIC-3: 10.0.0.3 - OK
Checking APIC Versions: Same (4.2(1j))
Checking SSL: OK
Done!
最後に、avreadを使用して、これらの設定がすべてのAPICで一致するかどうかを検証します。これは、同様の出力が表示される一般的なacidiag avreadとは異なるコマンドですが、より使いやすいように解析されていることに注意してください。
apic1# avread
Cluster:
-------------------------------------------------------------------------
fabricDomainName ACIFabric1
discoveryMode PERMISSIVE
clusterSize 3
version 4.2(1j)
drrMode OFF
operSize 3
APICs:
-------------------------------------------------------------------------
APIC 1 APIC 2 APIC 3
version 4.2(1j) 4.2(1j) 4.2(1j)
address 10.0.0.1 10.0.0.2 10.0.0.3
oobAddress 10.48.22.69/24 10.48.22.70/24 10.48.22.71/24
routableAddress 0.0.0.0 0.0.0.0 0.0.0.0
tepAddress 10.0.0.0/16 10.0.0.0/16 10.0.0.0/16
podId 1 1 1
chassisId 3c9e5024-.-5a78727f 573e12c0-.-6b8da0e5 44c4bf18-.-20b4f52& cntrlSbst_serial (APPROVED,FCH1906V1XV) (APPROVED,FCH1921V1Q9) (APPROVED,FCH1906V1PW)
active YES YES YES
flags cra- cra- cra-
health 255 255 255
apic1#
シナリオ3 – スパインがファブリックメンバーシップに表示されない
このシナリオでは、最初のリーフがファブリック内で検出されましたが、「Fabric Membership」サブメニューに検出のためのスパインが表示されていません。
リーフからスパインへの物理接続を検証します。この例では、リーフスイッチがインターフェイスe1/49を介してスパインに接続されています。
leaf101# show int eth1/49
Ethernet1/49 is up
admin state is up, Dedicated Interface
Hardware: 1000/10000/100000/40000 Ethernet, address: 0000.0000.0000 (bia e00e.daa2.f3f3)
MTU 9366 bytes, BW 100000000 Kbit, DLY 1 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is routed
full-duplex, 100 Gb/s
...
ポートが「out-of-service」ステータスの場合は、直接接続されたリーフからLLDPを受信したことをスパインで確認します。
(none)# show lldp neighbors
Capability codes:
(R) Router, (B) Bridge, (T) Telephone, (C) DOCSIS Cable Device
(W) WLAN Access Point, (P) Repeater, (S) Station, (O) Other
Device ID Local Intf Hold-time Capability Port ID
leaf102 Eth2/27 120 BR Eth1/53
leaf103 Eth2/29 120 BR Eth1/49
leaf101 Eth2/32 120 BR Eth1/51
Total entries displayed: 3
もう1つの検証は、リーフとスパインのバージョンに違いがないことを確認することです。存在する場合は、スパインの/bootflashに新しいバージョンをコピーして状況を修正します。次に、次のコマンドを使用して、ソフトウェアでブートするようにスイッチを設定します。
(none)# ls -alh /bootflash
total 3.0G
drwxrwxr-x 3 root admin 4.0K Oct 1 20:21 .
drwxr-xr-x 50 root root 1.3K Oct 1 00:22 ..
-rw-r--r-- 1 root root 3.5M Sep 30 21:24 CpuUsage.Log
-rw-rw-rw- 1 root root 1.7G Sep 27 14:50 aci-n9000-dk9.14.2.1j.bin
-rw-r--r-- 1 root root 1.4G Sep 27 21:20 auto-s
-rw-rw-rw- 1 root root 2 Sep 27 21:25 diag_bootup
-rw-r--r-- 1 root root 54 Oct 1 20:20 disk_log.txt
-rw-rw-rw- 1 root root 693 Sep 27 21:23 libmon.logs
drwxr-xr-x 4 root root 4.0K Sep 26 15:24 lxc
-rw-r--r-- 1 root root 384K Oct 1 20:20 mem_log.txt
-rw-r--r-- 1 root root 915K Sep 27 21:10 mem_log.txt.old.gz
-rw-rw-rw- 1 root root 12K Sep 27 21:17 urib_api_log.txt
(none)# setup-bootvars.sh aci-n9000-dk9.14.2.1j.bin
In progress
In progress
In progress
In progress
Done
新しいイメージがブートフラッシュから継続的に削除される場合は、古いイメージまたはauto-sファイルを削除してフォルダの空き容量が半分以下であることを確認します。スイッチで「df -h」を使用して、領域の使用状況を確認します。
ブート変数を設定した後、スイッチをリロードすると、スイッチは新しいバージョンでブートします。
リロード後に、FPGA、EPLD、およびBIOSの検証が必要になる場合があります。この問題の詳細なトラブルシューティングについては、サブセクション「リーフ/スパインEPLD/FPGAが正しくありません。F1582」を参照してください。
シナリオ4：最初のファブリック検出後、クラスタが完全適合または機能縮退の間でフラップする
新しいファブリックのセットアップ後にこの問題が発生する場合は、ファブリックに接続するAPIC-M3またはAPIC-L3のケーブル接続が正しくないことが原因である可能性があります。APICに接続された両方のリーフスイッチでshow lldp neighborsを実行すると、このような不適切なケーブル配線を確認できます。これを複数回実行すると、両方のリーフスイッチが同じAPICインターフェイスを認識します。
APIC-M3/L3サーバの背面は次のようになります。
APIC-M3/L3サーバの背面図:
APIC-M3/L3の場合、VICカードには4つのポート（ETH2-1、ETH2-2、ETH2-3、およびETH2-4）があることに注意してください。
ラベル付きAPIC VIC 1455の表示:
APICサーバをリーフスイッチに接続するルールは次のとおりです。
- すべてのポートの速度は、10ギガビットまたは25ギガビットのどちらかに統一する必要があります。
- ETH2-1とETH2-2は、APIC OSからのeth2-1（「ifconfig」出力）に対応する1つのポートチャネルペアです。
- ETH2-3とETH2-4は、もう1つのポートチャネルペアで、APIC OSのeth2-2（「ifconfig」出力）に対応します。
- ポートチャネルペアごとに許可される接続は1つだけです。たとえば、一方のケーブルをETH2-1またはETH2-2に接続し、もう一方のケーブルをETH2-3またはETH2-4に接続します(ポートチャネルペアの両方のETHを接続しないでください。これにより、ファブリック検出の問題が発生します)。
さらに詳しく理解するために、次のグラフはAPICボンドへのVICポートのマッピングを示しています。
VIC 1455ポート：APIC冗長ファブリックポート:
更新履歴
| 改定 | 発行日 | コメント |
|---|---|---|
2.0 |
21-Apr-2025
|
書式変更、文章校正、スペルチェック、見出し |
1.0 |
05-Aug-2022
|
初版 |
フィードバック