Risoluzione dei problemi relativi alla configurazione iniziale di ACI Fabric Discovery

Introduzione

In questo documento viene descritto come comprendere e risolvere i problemi relativi al processo iniziale di individuazione dell'infrastruttura, inclusi gli scenari di problemi di esempio.

Premesse

Il materiale di questo documento è stato estratto dal libro Troubleshooting Cisco Application Centric Infrastructure, Second Edition, in particolare dal capitolo Fabric Discovery - Initial Fabric Setup.

Flusso di lavoro di individuazione fabric

Il processo di individuazione dell'infrastruttura ACI segue una sequenza specifica di eventi. Di seguito sono riportati i passaggi fondamentali:

1. Connettersi alla console KVM del primo controller APIC e completare lo script di installazione immettendo valori quali il nome dell'infrastruttura, le dimensioni del cluster APIC e il pool di indirizzi dell'endpoint del tunnel (TEP).
2. Una volta completato, APIC1 inizia a inviare LLDP tramite le porte fabric. I pacchetti LLDP contengono TLV speciali con informazioni come la VLAN infra e il suo ruolo di APIC (detto anche controller).
3. Alla ricezione di questi pacchetti LLDP da APIC1, il dispositivo foglia programma la VLAN infra su tutte le porte dove viene rilevato un APIC.
4. La foglia inizia a inviare i risultati DHCP sulla VLAN a infrarossi ora nota.
5. L'utente accede all'IP OOB di APIC1 tramite HTTPS e registra il primo nodo foglia nel sottomenu Appartenenza fabric.
6. Dopo aver assegnato un ID nodo alla foglia, APIC1 risponde con un indirizzo IP dal pool di indirizzi TEP configurato e il processo DHCP viene completato.
7. La foglia registrata inoltra DHCP alla ricerca di altri aculei direttamente connessi che sono stati scoperti tramite LLDP nell'APIC1.
8. L'utente vede questi spine scoperti dinamicamente appaiono nel sottomenu Appartenenza fabric e può registrarli.
9. Una volta registrati gli spine, l'APIC1 risponde con un indirizzo IP dal pool TEP e il protocollo DHCP completa per questi nodi.
10. Gli aculei inoltrano DHCP individua da tutti gli altri nodi di pod1. (si presume che esista una rete completa tra gli aculei e gli switch foglia come consigliato ed è l'architettura tipica).
11. Una volta registrati i nodi foglia collegati agli altri APIC, è possibile stabilire il cluster APIC tra di loro tramite la comunicazione TCP. Accertarsi di aver completato la finestra di dialogo di impostazione su APIC2 e APIC3.
12. Verificare che tutti gli APIC abbiano formato un cluster e siano completamente idonei. In questo caso, l'individuazione dell'infrastruttura è completa.

A partire dalla versione 4.2, sui nodi della struttura è disponibile un nuovo comando CLI per la diagnosi dei problemi di rilevamento comuni. In queste sezioni vengono illustrati i controlli eseguiti e vengono forniti ulteriori comandi di convalida che consentono di risolvere gli errori.

leaf101# show discoveryissues
Checking the platform type................LEAF!
Check01 - System state - in-service [ok]
Check02 - DHCP status [ok]
TEP IP: 10.0.72.67 Node Id: 101 Name: leaf101
Check03 - AV details check [ok]
Check04 - IP rechability to apic [ok]
Ping from switch to 10.0.0.1 passed
Check05 - infra VLAN received [ok]
infra vLAN:3967
Check06 - LLDP Adjacency [ok]
Found adjacency with SPINE
Found adjacency with APIC
Check07 - Switch version [ok]
version: n9000-14.2(1j) and apic version: 4.2(1j)
Check08 - FPGA/BIOS out of sync test [ok]
Check09 - SSL check [check]
SSL certificate details are valid
Check10 - Downloading policies [ok]
Check11 - Checking time [ok]
2019-09-11 07:15:53
Check12 - Checking modules, power and fans [ok]

Check01 — Stato del sistema

Dopo aver allocato un ID nodo alla foglia e averla registrata nell'infrastruttura, la foglia inizia a scaricare il bootstrap e quindi a passare allo stato in servizio.

Check01 - System state - out-of-service [FAIL]

Check01 - System state - downloading-boot-script [FAIL]

Per convalidare lo stato corrente della foglia, l'utente può eseguire il comando moquery -c topSystem:

leaf101# moquery -c topSystem
Total Objects shown: 1

# top.System
address                  : 10.0.72.67
bootstrapState           : done
...
serial                   : FDO20160TPS
serverType               : unspecified
siteId                   : 1
state                    : in-service
status                   :
systemUpTime             : 00:18:17:41.000
tepPool                  : 10.0.0.0/16
unicastXrEpLearnDisable  : no
version                  : n9000-14.2(1j)
virtualMode              : no

Check02 — Stato DHCP

Check02 - DHCP status [FAIL]
ERROR: node Id not configured
ERROR: Ip not assigned by dhcp server
ERROR: Address assigner's IP not populated
TEP IP: unknown Node Id: unknown Name: unknown

La foglia deve ricevere un indirizzo TEP tramite DHCP dall'APIC1 e quindi stabilire la connettività IP con gli altri APIC. Il TEP fisico (PTEP) della foglia viene assegnato al loopback0. Se non viene assegnato alcun indirizzo, l'utente può verificare che la foglia invii un'individuazione DHCP con l'utilità tpcdump. Si noti che a questo scopo viene utilizzata l'interfaccia kpm_inb, che consente di visualizzare tutto il traffico di rete del control plane in banda della CPU.

(none)# tcpdump -ni kpm_inb port 67 or 68
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on kpm_inb, link-type EN10MB (Ethernet), capture size 65535 bytes
16:40:11.041148 IP 0.0.0.0.68 > 255.255.255.255.67: BOOTP/DHCP, Request from a0:36:9f:c7:a1:0c, length 300
^C
1 packets captured
1 packets received by filter
0 packets dropped by kernel

L'utente può anche verificare che dhcpd sia in esecuzione sull'APIC e in ascolto sull'interfaccia secondaria bond0. L'interfaccia di collegamento rappresenta le porte APIC rivolte verso il fabric. Utilizzare il formato bond0.<infra VLAN>.

apic1# ps aux | grep dhcp
root     18929  1.3  0.2 818552 288504 ?       Ssl  Sep26  87:19 /mgmt//bin/dhcpd.bin -f -4 -cf /data//dhcp/dhcpd.conf -lf /data//dhcp/dhcpd.lease -pf /var/run//dhcpd.pid --no-pid bond0.3967
admin   22770  0.0  0.0   9108   868 pts/0    S+   19:42   0:00 grep dhcp

Check03 — Dettagli AV

Check03 - AV details check [ok]

La foglia verifica se l'APIC registrato ha un indirizzo IP in un intervallo valido per il pool TEP. Se non è stata ancora registrata alcuna informazione APIC, questo controllo viene superato. L'utente può visualizzare le informazioni APIC correnti dal punto di vista del nodo foglia tramite il comando acidiag avread. Si noti in questo esempio che quando il prompt foglia/colonna vertebrale visualizza (none)#, questa è un'indicazione che la foglia/colonna vertebrale non è ancora un membro della struttura.

(none)# acidiag avread
Cluster of 0 lm(t):0(zeroTime) appliances (out of targeted 0 lm(t):0(zeroTime)) with FABRIC_DOMAIN name=Undefined Fabric Domain Name set to version= lm(t):0(zeroTime); discoveryMode=PERMISSIVE lm(t):0(zeroTime); drrMode=OFF lm(t):0(zeroTime)
---------------------------------------------
clusterTime=<diff=0 common=2019-10-01T18:51:50.315+00:00 local=2019-10-01T18:51:50.315+00:00 pF=<displForm=1 offsSt=0 offsVlu=0 lm(t):0(zeroTime)>>
---------------------------------------------

leaf101# acidiag avread
Cluster of 3 lm(t):0(2019-09-30T18:45:10.320-04:00) appliances (out of targeted 3 lm(t):0(2019-10-01T14:52:55.217-04:00)) with FABRIC_DOMAIN name=ACIFabric1 set to version=apic-4.2(1j) lm(t):0(2019-10-01T14:52:55.217-04:00); discoveryMode=PERMISSIVE lm(t):0(1969-12-31T20:00:00.003-04:00); drrMode=OFF lm(t):0(1969-12-31T20:00:00.003-04:00); kafkaMode=OFF lm(t):0(1969-12-31T20:00:00.003-04:00)
       appliance id=1  address=10.0.0.1 lm(t):2(2019-09-27T17:32:08.669-04:00) tep address=10.0.0.0/16 lm(t):1(2019-07-09T19:41:24.672-04:00) routable address=192.168.1.1 lm(t):2(2019-09-30T18:37:48.916-04:00) oob address=0.0.0.0 lm(t):0(zeroTime) version=4.2(1j) lm(t):1(2019-09-30T18:37:49.011-04:00) chassisId=c67d1076-a2a2-11e9-874e-a390922be712 lm(t):1(2019-09-30T18:37:49.011-04:00) capabilities=0X3EEFFFFFFFFF--0X2020--0X1 lm(t):1(2019-09-26T09:32:20.747-04:00) rK=(stable,absent,0) lm(t):0(zeroTime) aK=(stable,absent,0) lm(t):0(zeroTime) oobrK=(stable,absent,0) lm(t):0(zeroTime) oobaK=(stable,absent,0) lm(t):0(zeroTime) cntrlSbst=(APPROVED, FCH1929V153) lm(t):1(2019-10-01T12:46:44.711-04:00) (targetMbSn= lm(t):0(zeroTime), failoverStatus=0 lm(t):0(zeroTime)) podId=1 lm(t):1(2019-09-26T09:26:49.422-04:00) commissioned=YES lm(t):101(2019-09-30T18:45:10.320-04:00) registered=YES lm(t):3(2019-09-05T11:42:41.371-04:00) standby=NO lm(t):0(zeroTime) DRR=NO lm(t):101(2019-09-30T18:45:10.320-04:00) apicX=NO lm(t):0(zeroTime) virtual=NO lm(t):0(zeroTime) active=YES
       appliance id=2  address=10.0.0.2 lm(t):2(2019-09-26T09:47:34.709-04:00) tep address=10.0.0.0/16 lm(t):2(2019-09-26T09:47:34.709-04:00) routable address=192.168.1.2 lm(t):2(2019-09-05T11:45:36.861-04:00) oob address=0.0.0.0 lm(t):0(zeroTime) version=4.2(1j) lm(t):2(2019-09-30T18:37:48.913-04:00) chassisId=611febfe-89c1-11e8-96b1-c7a7472413f2 lm(t):2(2019-09-30T18:37:48.913-04:00) capabilities=0X3EEFFFFFFFFF--0X2020--0X7 lm(t):2(2019-09-26T09:53:07.047-04:00) rK=(stable,absent,0) lm(t):0(zeroTime) aK=(stable,absent,0) lm(t):0(zeroTime) oobrK=(stable,absent,0) lm(t):0(zeroTime) oobaK=(stable,absent,0) lm(t):0(zeroTime) cntrlSbst=(APPROVED, FCH2045V1X2) lm(t):2(2019-10-01T12:46:44.710-04:00) (targetMbSn= lm(t):0(zeroTime), failoverStatus=0 lm(t):0(zeroTime)) podId=1 lm(t):2(2019-09-26T09:47:34.709-04:00) commissioned=YES lm(t):101(2019-09-30T18:45:10.320-04:00) registered=YES lm(t):2(2019-09-26T09:47:34.709-04:00) standby=NO lm(t):0(zeroTime) DRR=NO lm(t):101(2019-09-30T18:45:10.320-04:00) apicX=NO lm(t):0(zeroTime) virtual=NO lm(t):0(zeroTime) active=YES
       appliance id=3  address=10.0.0.3 lm(t):3(2019-09-26T10:12:34.114-04:00) tep address=10.0.0.0/16 lm(t):3(2019-09-05T11:42:27.199-04:00) routable address=192.168.1.3 lm(t):2(2019-10-01T13:19:08.626-04:00) oob address=0.0.0.0 lm(t):0(zeroTime) version=4.2(1j) lm(t):3(2019-09-30T18:37:48.904-04:00) chassisId=99bade8c-cff3-11e9-bba7-5b906a49dc39 lm(t):3(2019-09-30T18:37:48.904-04:00) capabilities=0X3EEFFFFFFFFF--0X2020--0X4 lm(t):3(2019-09-26T10:18:13.149-04:00) rK=(stable,absent,0) lm(t):0(zeroTime) aK=(stable,absent,0) lm(t):0(zeroTime) oobrK=(stable,absent,0) lm(t):0(zeroTime) oobaK=(stable,absent,0) lm(t):0(zeroTime) cntrlSbst=(APPROVED, FCH1824V2VR) lm(t):3(2019-10-01T12:48:03.726-04:00) (targetMbSn= lm(t):0(zeroTime), failoverStatus=0 lm(t):0(zeroTime)) podId=2 lm(t):3(2019-09-26T10:12:34.114-04:00) commissioned=YES lm(t):101(2019-09-30T18:45:10.320-04:00) registered=YES lm(t):2(2019-09-05T11:42:54.935-04:00) standby=NO lm(t):0(zeroTime) DRR=NO lm(t):101(2019-09-30T18:45:10.320-04:00) apicX=NO lm(t):0(zeroTime) virtual=NO lm(t):0(zeroTime) active=YES
---------------------------------------------
clusterTime=<diff=15584 common=2019-10-01T14:53:01.648-04:00 local=2019-10-01T14:52:46.064-04:00 pF=<displForm=0 offsSt=0 offsVlu=-14400 lm(t):21(2019-09-26T10:40:35.412-04:00)>>
---------------------------------------------

Check04 — Raggiungibilità IP ad APIC

Quando la foglia riceve un indirizzo IP, tenta di stabilire sessioni TCP con l'APIC e inizia il processo di download della sua configurazione. L'utente può convalidare la connettività IP all'APIC utilizzando l'utility ping.

leaf101# iping -V overlay-1 10.0.0.1  
PING 10.0.0.1 (10.0.0.1) from 10.0.0.30: 56 data bytes
64 bytes from 10.0.0.1: icmp_seq=0 ttl=64 time=0.651 ms
64 bytes from 10.0.0.1: icmp_seq=1 ttl=64 time=0.474 ms
64 bytes from 10.0.0.1: icmp_seq=2 ttl=64 time=0.477 ms
64 bytes from 10.0.0.1: icmp_seq=3 ttl=64 time=0.54 ms
64 bytes from 10.0.0.1: icmp_seq=4 ttl=64 time=0.5 ms

--- 10.0.0.1 ping statistics ---  5 packets transmitted, 5 packets received, 0.00% packet loss
round-trip min/avg/max = 0.474/0.528/0.651 ms

Check05 — VLAN a infrarossi

Check05 - infra VLAN received [ok]

Il controllo della VLAN a infrarossi ha esito positivo solo se il nodo è collegato a un pod con APIC. In caso contrario, l'utente può ignorare il messaggio perché si prevede che il controllo non riesca.

La foglia determina la VLAN infra in base ai pacchetti LLDP ricevuti da altri nodi ACI. Il primo messaggio ricevuto viene accettato quando lo switch è in fase di rilevamento.

(none)# moquery -c lldpInst
Total Objects shown: 1

# lldp.Inst
adminSt        : enabled
childAction    :
ctrl           :
dn             : sys/lldp/inst
holdTime       : 120
infraVlan      : 3967
initDelayTime  : 2
lcOwn          : local
modTs          : 2019-09-12T07:25:33.194+00:00
monPolDn       : uni/fabric/monfab-default
name           :
operErr        :
optTlvSel      : mgmt-addr,port-desc,port-vlan,sys-cap,sys-desc,sys-name
rn             : inst
status         :
sysDesc        : topology/pod-1/node-101
txFreq         : 30

(none)# show vlan encap-id 3967

 VLAN Name                             Status    Ports
 ---- -------------------------------- --------- -------------------------------
 8    infra:default                    active    Eth1/1

  VLAN Type  Vlan-mode
 ---- ----- ----------
 8    enet  CE

Se la VLAN a infrarossi non è stata programmata sulle interfacce switchport collegate alle appliance APIC, verificare la presenza di problemi di cablaggio rilevati dalla foglia.

(none)# moquery -c lldpIf -f 'lldp.If.wiringIssues!=""'  
Total Objects shown: 1

# lldp.If  
id           : eth1/1
adminRxSt    : enabled
adminSt      : enabled
adminTxSt    : enabled
childAction  :
descr        :
dn           : sys/lldp/inst/if-[eth1/1]
lcOwn        : local
mac          : E0:0E:DA:A2:F2:83
modTs        : 2019-09-30T18:45:22.323+00:00
monPolDn     : uni/fabric/monfab-default
name         :
operRxSt     : enabled
operTxSt     : enabled
portDesc     :
portMode     : normal
portVlan     : unspecified
rn           : if-[eth1/1]
status       :
sysDesc      :
wiringIssues : infra-vlan-mismatch

Check06 — Adiacenza LLDP

Check06 - LLDP Adjacency [FAIL]  
Error: leaf not connected to any spine

Per determinare le porte che si connettono ad altri dispositivi ACI, la foglia deve ricevere il protocollo LLDP dagli altri nodi della struttura. Per convalidare il protocollo LLDP ricevuto, l'utente può controllare con il comando show lldp neighbors:

(none)# show lldp neighbors  
Capability codes:
 (R) Router, (B) Bridge, (T) Telephone, (C) DOCSIS Cable Device
 (W) WLAN Access Point, (P) Repeater, (S) Station, (O) Other
Device ID            Local Intf      Hold-time  Capability  Port ID
apic1                 Eth1/1          120                    eth2-1
apic2                 Eth1/2          120                    eth2-1
switch                Eth1/51         120        BR          Eth2/32
switch                Eth1/54         120        BR          Eth1/25
Total entries displayed: 4

Check07 — Versione switch

Check07 - Switch version [ok]  
version: n9000-14.2(1j) and apic version: 4.2(1j)

Se le versioni APIC e foglia non sono uguali, il rilevamento della struttura potrebbe non riuscire. Per convalidare la versione in esecuzione sull'elemento foglia, utilizzare il comando show version o il comando vsh -c 'show version':

(none)# show version  
Cisco Nexus Operating System (NX-OS) Software
TAC support: https://www.cisco.com/tac
Documents: https://www.cisco.com/en/US/products/ps9372/tsd_products_support_series_home.htmlCopyright (c) 2002-2014, Cisco Systems, Inc. All rights reserved.
The copyrights to certain works contained in this software are
owned by other third parties and used and distributed under
license. Certain components of this software are licensed under
the GNU General Public License (GPL) version 2.0 or the GNU
Lesser General Public License (LGPL) Version 2.1. A copy of each
such license is available at
http://www.opensource.org/licenses/gpl-2.0.php and
http://www.opensource.org/licenses/lgpl-2.1.php

Software
 BIOS:      version 07.66
 kickstart: version 14.2(1j) [build 14.2(1j)]
    system:    version 14.2(1j) [build 14.2(1j)]
    PE:        version 4.2(1j)
 BIOS compile time:       06/11/2019
 kickstart image file is: /bootflash/aci-n9000-dk9.14.2.1j.bin
 kickstart compile time:  09/19/2019 07:57:41 [09/19/2019 07:57:41]
 system image file is:    /bootflash/auto-s
 system compile time:     09/19/2019 07:57:41 [09/19/2019 07:57:41]
...

Lo stesso comando funziona anche sugli APIC.

apic1# show version
Role        Pod         Node        Name                      Version
----------  ----------  ----------  ------------------------  --------------------
controller  1           1           apic1                     4.2(1j)
controller  1           2           apic2                     4.2(1j)
controller  2           3           apic3                     4.2(1j)
leaf        1           101         leaf101                   n9000-14.2(1j)
leaf        1           102         leaf102                   n9000-14.2(1j)
leaf        1           103         leaf103                   n9000-14.2(1j)
spine       1           1001        spine1                    n9000-14.2(1j)
spine       1           1002        spine2                    n9000-14.2(1j)   

Check08 — FPGA/EPLD/BIOS non sincronizzato

Le versioni FPGA, EPLD e BIOS possono influire sulla capacità del nodo foglia di attivare i moduli come previsto. Se le interfacce sono troppo obsolete, potrebbe non essere possibile visualizzarle. L'utente può convalidare le versioni in esecuzione e quelle previste di FPGA, EPLD e BIOS con questi comandi moquery.

(none)# moquery -c firmwareCardRunning  
Total Objects shown: 2

# firmware.CardRunning
biosVer        : v07.66(06/11/2019)
childAction    :
descr          :
dn             : sys/ch/supslot-1/sup/running
expectedVer    : v07.65(09/04/2018)  interimVer     : 14.2(1j)
internalLabel  :
modTs          : never
mode           : normal
monPolDn       : uni/fabric/monfab-default
operSt         : ok
rn             : running
status         :
ts             : 1970-01-01T00:00:00.000+00:00
type           : switch
version        : 14.2(1j)

# firmware.CardRunning
biosVer        : v07.66(06/11/2019)
childAction    :
descr          :
dn             : sys/ch/lcslot-1/lc/running
expectedVer    : v07.65(09/04/2018)  interimVer     : 14.2(1j)
internalLabel  :
modTs          : never
mode           : normal
monPolDn       : uni/fabric/monfab-default
operSt         : ok
rn             : running
status         :
ts             : 1970-01-01T00:00:00.000+00:00
type           : switch
version        : 14.2(1j)


(none)# moquery -c firmwareCompRunning  
Total Objects shown: 2

# firmware.CompRunning  
childAction    :
descr          :
dn             : sys/ch/supslot-1/sup/fpga-1/running
expectedVer    : 0x14  internalLabel  :
modTs          : never
mode           : normal
monPolDn       : uni/fabric/monfab-default
operSt         : ok
rn             : running
status         :
ts             : 1970-01-01T00:00:00.000+00:00
type           : controller
version        : 0x14

# firmware.CompRunning
childAction    :
descr          :
dn             : sys/ch/supslot-1/sup/fpga-2/runnin
expectedVer    : 0x4
internalLabel  :
modTs          : never
mode           : normal
monPolDn       : uni/fabric/monfab-default
operSt         : ok
rn             : running
status         :
ts             : 1970-01-01T00:00:00.000+00:00
type           : controller
version        : 0x4

Se la versione FPGA in esecuzione non corrisponde alla versione FPGA prevista, è possibile aggiornarla con i passaggi indicati nel capitolo Fabric discovery capitolo, sezione Device replacement in the scenario Leaf/Spine EPLD/FPGA not correct, F1582.

Check09 — Controllo SSL

Check09 - SSL check [check]  
SSL certificate details are valid

La comunicazione SSL viene utilizzata tra tutti i nodi della struttura per garantire la crittografia del traffico del control plane. Il certificato SSL utilizzato viene installato durante la produzione e generato in base al numero di serie dello chassis. Questo è il formato ideale del soggetto:

subject= /serialNumber=PID:N9K-C93xxxxx SN:FDOxxxxxxxx/CN=FDOxxxxxxxx

Per convalidare il certificato SSL durante l'individuazione di uno switch, utilizzare questo comando.

(none)# cd /securedata/ssl && openssl x509 -noout -subject -in server.crt  
subject= /serialNumber=PID:N9K-C93180YC-EX SN:FDO20432LH1/CN=FDO20432LH1

Notare che funziona solo come utente non root se il nodo dello switch è ancora in fase di rilevamento.

Con questo comando è possibile trovare il numero di serie dello chassis.

(none)# show inventory
NAME: "Chassis",  DESCR: "Nexus C93180YC-EX Chassis"
PID: N9K-C93180YC-EX     ,  VID: V00  ,  SN: FDO20160TPS
...

Inoltre, il certificato deve essere valido al momento corrente. Per visualizzare le date valide del certificato, utilizzare il flag -dates nel comando openssl.

(none)# cd /securedata/ssl && openssl x509 -noout -dates -in server.crt
notBefore=Nov 28 17:17:05 2016 GMT
notAfter=Nov 28 17:27:05 2026 GMT

Check10 — Criteri di download

Check10 - Downloading policies [FAIL]
Registration to all PM shards is not complete
Policy download is not complete

Una volta che la foglia ha una raggiungibilità IP verso l'APIC, scarica la sua configurazione dall'APIC e l'APIC riconosce che il download è completato. Con questo comando è possibile visualizzare lo stato del processo.

(none)# moquery -c pconsBootStrap
Total Objects shown: 1

# pcons.BootStrap
allLeaderAcked         : no
allPortsInService      : yes
allResponsesFromLeader : yes
canBringPortInService  : no
childAction            :
completedPolRes        : no
dn                     : rescont/bootstrap
lcOwn                  : local
modTs                  : 2019-09-27T22:52:48.729+00:00
rn                     : bootstrap
state                  : completed
status                 :
timerTicks             : 360
try                    : 0
worstCaseTaskTry       : 0

Check11 — Ora

Check11 - Checking time [ok]
2019-10-01 17:02:34

Questo controllo visualizza l'ora corrente dell'utente. Se il delta tra l'APIC e il tempo di commutazione è eccessivo, il rilevamento potrebbe non riuscire. Su APIC, l'ora può essere controllata con il comando date.

apic1# date
Tue Oct  1 14:35:38 UTC 2019

Check12 — Modulo, PSU, controllo ventola

Affinché lo switch sia connesso ad altri dispositivi, i moduli devono essere attivi e online. È possibile convalidare questa condizione tramite i comandi show module e show environment.

(none)# show module
   
Mod  Ports  Module-Type                         Model              Status
---  -----  ----------------------------------- ------------------ ----------
1    54     48x10/25G+6x40/100G Switch          N9K-C93180YC-EX    ok

Mod  Sw              Hw
---  --------------  ------
1    14.2(1j)        0.3050

Mod  MAC-Address(es)                         Serial-Num
---  --------------------------------------  ----------
1    e0-0e-da-a2-f2-83 to e0-0e-da-a2-f2-cb  FDO20160TPS

Mod  Online Diag Status
---  ------------------
1    pass

(none)# show environment
Power Supply:
Voltage: 12.0 Volts

Power                              Actual        Total
Supply    Model                    Output     Capacity    Status
                                (Watts )     (Watts )
-------  -------------------  -----------  -----------  --------------
1        NXA-PAC-650W-PI              0 W        650 W       shut
2        NXA-PAC-650W-PI            171 W        650 W        ok
                                   Actual        Power
Module     Model                     Draw    Allocated    Status
                                 (Watts )     (Watts )
--------  -------------------  -----------  -----------  --------------
1         N9K-C93180YC-EX            171 W        492 W    Powered-Up
fan1      NXA-FAN-30CFM-B              N/A          N/A    Powered-Up
fan2      NXA-FAN-30CFM-B              N/A          N/A    Powered-Up
fan3      NXA-FAN-30CFM-B              N/A          N/A    Powered-Up
fan4      NXA-FAN-30CFM-B              N/A          N/A    Powered-Up

N/A - Per module power not available

Power Usage Summary:
--------------------
Power Supply redundancy mode (configured)                Non-Redundant(combined)
Power Supply redundancy mode (operational)               Non-Redundant(combined)

Total Power Capacity (based on configured mode)               650  W
Total Power of all Inputs (cumulative)                        650  W
Total Power Output (actual draw)                              171  W
Total Power Allocated (budget)                                N/A
Total Power Available for additional modules                  N/A

Fan:
------------------------------------------------------
Fan             Model                Hw         Status
------------------------------------------------------
Fan1(sys_fan1)  NXA-FAN-30CFM-B      --         ok
Fan2(sys_fan2)  NXA-FAN-30CFM-B      --         ok
Fan3(sys_fan3)  NXA-FAN-30CFM-B      --         ok
Fan4(sys_fan4)  NXA-FAN-30CFM-B      --         ok
Fan_in_PS1      --                   --         unknown
Fan_in_PS2      --                   --         ok
Fan Speed: Zone 1:  0x7f
Fan Air Filter : Absent

Temperature:
-----------------------------------------------------------------------------------
Module   Sensor                       MajorThresh   MinorThres   CurTemp     Status
                                     (Celsius)     (Celsius)    (Celsius)
-----------------------------------------------------------------------------------
1        Inlet(1)                      70            42           35         normal
1        outlet(2)                     80            70           37         normal
1        x86 processor(3)              90            80           38         normal
1        Sugarbowl(4)                  110           90           60         normal
1        Sugarbowl vrm(5)              120           110          50         normal

Se un modulo non è in linea, ricollocarlo e verificare la presenza di mancate corrispondenze FPGA, EPLD o BIOS.

Esempio di scenari interrotti

Scenario 1 - La prima foglia non viene visualizzata nell'appartenenza del fabric

In questo scenario, l'utente accede ad APIC1 dopo aver completato lo script di installazione e non è stato visualizzato alcun switch nell'appartenenza alla struttura. Affinché il rilevamento della prima foglia venga eseguito correttamente, l'APIC deve ricevere un comando DHCP Discover dalla foglia in fase di rilevamento.

Verificare che APIC1 invii TLV LLDP corrispondenti ai parametri impostati nello script di installazione.

apic1# acidiag run lldptool out eth2-1
Chassis ID TLV
       MAC: e8:65:49:54:88:a1
Port ID TLV
       MAC: e8:65:49:54:88:a1
Time to Live TLV
       120
Port Description TLV
       eth2-1
System Name TLV
       apic1
System Description TLV
       topology/pod-1/node-1
Management Address TLV
       IPv4: 10.0.0.1
       Ifindex: 4
Cisco Port State TLV
       1
Cisco Node Role TLV
       0
Cisco Node ID TLV
       1
Cisco POD ID TLV
       1
Cisco Fabric Name TLV
       ACIFabric1
Cisco Appliance Vector TLV
       Id: 1
       IPv4: 10.0.0.1
       UUID: c67d1076-a2a2-11e9-874e-a390922be712
Cisco Node IP TLV
       IPv4:10.0.0.1
Cisco Port Role TLV
       2
Cisco Infra VLAN TLV
       3967
Cisco Serial Number TLV
       FCH1929V153
Cisco Authentication Cookie TLV
       1372058352
Cisco Standby APIC TLV
       0
End of LLDPDU TLV

Verificare inoltre che APIC1 riceva LLDP dal nodo foglia connesso direttamente.

apic1# acidiag run lldptool in eth2-1
Chassis ID TLV
       MAC: e0:0e:da:a2:f2:83
Port ID TLV
       Local: Eth1/1
Time to Live TLV
       120
Port Description TLV
       Ethernet1/1
System Name TLV
       switch
System Description TLV
       Cisco Nexus Operating System (NX-OS) Software 14.2(1j)
TAC support: http://www.cisco.com/tacCopyright (c) 2002-2020, Cisco Systems, Inc. All rights reserved.
System Capabilities TLV
       System capabilities:  Bridge, Router
       Enabled capabilities: Bridge, Router
Management Address TLV
       MAC: e0:0e:da:a2:f2:83
       Ifindex: 83886080
Cisco 4-wire Power-via-MDI TLV
       4-Pair PoE supported
       Spare pair Detection/Classification not required
       PD Spare pair Desired State: Disabled
       PSE Spare pair Operational State: Disabled
Cisco Port Mode TLV
       0
Cisco Port State TLV
       1
Cisco Serial Number TLV
       FDO20160TPS
Cisco Model TLV
       N9K-C93180YC-EX
Cisco Firmware Version TLV
       n9000-14.2(1j)
Cisco Node Role TLV
       1
Cisco Infra VLAN TLV
       3967
Cisco Node ID TLV
       0
End of LLDPDU TLV

Se APIC1 riceve LLDP dal nodo foglia connesso direttamente, la foglia programma la VLAN infra sulle porte collegate all'APIC. La programmazione VLAN può essere convalidata con il comando show vlan encap-id <x>, dove x è la VLAN a infrarossi configurata.

(none)# show vlan encap-id 3967
VLAN Name                             Status    Ports
---- -------------------------------- --------- -------------------------------
8    infra:default                    active    Eth1/1

VLAN Type  Vlan-mode
---- ----- ----------
8    enet  CE

Se la VLAN a infrarossi non è stata programmata, verificare la presenza di problemi di cablaggio rilevati dal nodo foglia.

(none)# moquery -c lldpIf -f 'lldp.If.wiringIssues!=""'  
Total Objects shown: 1

# lldp.If
id           : eth1/1
adminRxSt    : enabled
adminSt      : enabled
adminTxSt    : enabled
childAction  :
descr        :
dn           : sys/lldp/inst/if-[eth1/1]
lcOwn        : local
mac          : E0:0E:DA:A2:F2:83
modTs        : 2019-09-30T18:45:22.323+00:00
monPolDn     : uni/fabric/monfab-default
name         :
operRxSt     : enabled
operTxSt     : enabled
portDesc     :
portMode     : normal
portVlan     : unspecified
rn           : if-[eth1/1]
status       :
sysDesc      :
wiringIssues : infra-vlan-mismatch

Quando l'attributo wiring issue (Problemi di cablaggio) è impostato su infra-vlan-mismatch, l'indicazione è che la foglia è venuta a conoscenza di una VLAN infra diversa dal valore che l'APIC sta inviando (il valore inviato dall'APIC può essere verificato usando il comando moquery -c lldpInst). Questo scenario può verificarsi se la foglia riceve LLDP da un nodo che una volta faceva parte di un'altra infrastruttura. Essenzialmente, un nodo in fase di rilevamento accetta la prima VLAN a infrarossi ricevuta tramite LLDP. Per risolvere questo problema, rimuovere le connessioni tra questa foglia e gli altri nodi ACI, ad eccezione dell'APIC, quindi ricaricare lo switch con i comandi aciag touch clean e reload. Dopo aver avviato lo switch, verificare che la VLAN a infrarossi corretta sia programmata. In questo caso, è possibile ripristinare le connessioni agli altri nodi e l'utente può procedere ulteriormente con la configurazione dell'infrastruttura ACI.

Scenario 2 - Altri APIC non si uniscono al cluster

In questo scenario, sono stati individuati tutti i nodi della struttura, ma APIC2 e APIC3 non sono ancora stati uniti al cluster APIC.

Convalidare i valori dello script di impostazione tra gli APIC. I valori che devono corrispondere sono:

• Dominio fabric
• ID fabric
• pool TEP
• Infra VLAN
• GIPo
• Dimensioni cluster
• Versione firmware

apic1# cat /data/data_admin/sam_exported.config
Setup for Active and Standby APIC

fabricDomain = ACIFabric1
fabricID = 1
systemName =apic1
controllerID = 1
tepPool = 10.0.0.0/16
infraVlan = 3967
GIPo = 225.0.0.0/15
clusterSize = 3
standbyApic = NO
enableIPv4 = Y
enableIPv6 = N
firmwareVersion = 4.2(1j)
ifcIpAddr = 10.0.0.1
apicX = NO
podId = 1
oobIpAddr = 10.48.22.69/24

Verificare i problemi comuni con il comando acidiag cluster su tutti e tre gli APIC.

apic1# acidiag cluster
Admin password:

Product-name = APIC-SERVER-M1
Serial-number = FCH1906V1XV
Running...

Checking Core Generation: OK
Checking Wiring and UUID: OK
Checking AD Processes: Running
Checking All Apics in Commission State: OK
Checking All Apics in Active State: OK
Checking Fabric Nodes: OK
Checking Apic Fully-Fit: OK
Checking Shard Convergence: OK
Checking Leadership Degration: Optimal leader for all shards
Ping OOB IPs:
APIC-1: 10.48.22.69 - OK
APIC-2: 10.48.22.70 - OK
APIC-3: 10.48.22.71 - OK
Ping Infra IPs:
APIC-1: 10.0.0.1 - OK
APIC-2: 10.0.0.2 - OK
APIC-3: 10.0.0.3 - OK
Checking APIC Versions: Same (4.2(1j))
Checking SSL: OK

Done!

Infine, utilizzare avread per verificare se le impostazioni corrispondono in tutti gli APIC. Si noti che questo comando è diverso dal tipico acidiag avread che mostra un output simile, ma viene analizzato per facilitarne il consumo.

apic1# avread
Cluster:
-------------------------------------------------------------------------
fabricDomainName        ACIFabric1
discoveryMode           PERMISSIVE
clusterSize             3
version                 4.2(1j)
drrMode                 OFF
operSize                3

APICs:
-------------------------------------------------------------------------
                 APIC 1                  APIC 2                  APIC 3
version           4.2(1j)                 4.2(1j)                 4.2(1j)
address           10.0.0.1                10.0.0.2                10.0.0.3
oobAddress        10.48.22.69/24          10.48.22.70/24          10.48.22.71/24
routableAddress   0.0.0.0                 0.0.0.0                 0.0.0.0
tepAddress        10.0.0.0/16             10.0.0.0/16             10.0.0.0/16
podId             1                       1                       1
chassisId         3c9e5024-.-5a78727f     573e12c0-.-6b8da0e5     44c4bf18-.-20b4f52&    cntrlSbst_serial  (APPROVED,FCH1906V1XV)  (APPROVED,FCH1921V1Q9)  (APPROVED,FCH1906V1PW)
active            YES                     YES                     YES
flags             cra-                    cra-                    cra-
health            255                     255                     255
apic1#

Scenario 3 - Il dorso non viene visualizzato nell'appartenenza del fabric

In questo scenario, la prima foglia è stata scoperta nel tessuto, ma non sono comparsi aculei per la scoperta sotto il sottomenu Appartenenza fabric.

Convalida della connettività fisica da foglia a dorso. Nell'esempio, l'interruttore foglia è collegato a un dorso tramite l'interfaccia e1/49.

leaf101# show int eth1/49
Ethernet1/49 is up
admin state is up, Dedicated Interface
 Hardware: 1000/10000/100000/40000 Ethernet, address: 0000.0000.0000 (bia e00e.daa2.f3f3)
 MTU 9366 bytes, BW 100000000 Kbit, DLY 1 usec
 reliability 255/255, txload 1/255, rxload 1/255
 Encapsulation ARPA, medium is broadcast
 Port mode is routed
 full-duplex, 100 Gb/s
...

Se la porta è in stato "fuori servizio", verificare sul dorso che LLDP sia stato ricevuto dalla foglia collegata direttamente.

(none)# show lldp neighbors
Capability codes:
 (R) Router, (B) Bridge, (T) Telephone, (C) DOCSIS Cable Device
 (W) WLAN Access Point, (P) Repeater, (S) Station, (O) Other
Device ID            Local Intf      Hold-time  Capability  Port ID
leaf102               Eth2/27         120        BR          Eth1/53
leaf103               Eth2/29         120        BR          Eth1/49
leaf101               Eth2/32         120        BR          Eth1/51
Total entries displayed: 3

Un'altra convalida consiste nel verificare che non vi siano differenze di versione tra la foglia e la colonna vertebrale. In caso affermativo, rimediare copiando la versione più recente in /bootflash del dorso. Quindi, configurare lo switch per l'avvio dal software con questi comandi:

(none)# ls -alh /bootflash
total 3.0G
drwxrwxr-x  3 root admin 4.0K Oct  1 20:21 .
drwxr-xr-x 50 root root  1.3K Oct  1 00:22 ..
-rw-r--r--  1 root root  3.5M Sep 30 21:24 CpuUsage.Log
-rw-rw-rw-  1 root root  1.7G Sep 27 14:50 aci-n9000-dk9.14.2.1j.bin
-rw-r--r--  1 root root  1.4G Sep 27 21:20 auto-s
-rw-rw-rw-  1 root root     2 Sep 27 21:25 diag_bootup
-rw-r--r--  1 root root    54 Oct  1 20:20 disk_log.txt
-rw-rw-rw-  1 root root   693 Sep 27 21:23 libmon.logs
drwxr-xr-x  4 root root  4.0K Sep 26 15:24 lxc
-rw-r--r--  1 root root  384K Oct  1 20:20 mem_log.txt
-rw-r--r--  1 root root  915K Sep 27 21:10 mem_log.txt.old.gz
-rw-rw-rw-  1 root root   12K Sep 27 21:17 urib_api_log.txt


(none)# setup-bootvars.sh aci-n9000-dk9.14.2.1j.bin
In progress
In progress
In progress
In progress
Done

Se la nuova immagine viene continuamente rimossa da bootflash, assicurarsi che la cartella sia piena meno della metà rimuovendo le immagini precedenti o il file auto-s; controllare l'utilizzo dello spazio utilizzando 'df -h' sullo switch.

Dopo aver impostato la variabile di avvio, ricaricare lo switch e lo switch viene avviato nella nuova versione.

Dopo il riavvio, potrebbe essere necessaria la convalida di FPGA, EPLD e BIOS. Fare riferimento alla sottosezione Leaf/Spine EPLD/FPGA non corretto, F1582 per ulteriori procedure di risoluzione del problema.

Scenario 4 - Dopo il rilevamento iniziale dell'infrastruttura, il cluster passa da completamente adattato a danneggiato

Se il problema si verifica dopo la configurazione di un nuovo fabric, è possibile che il cablaggio dell'APIC-M3 o dell'APIC-L3 collegato al fabric non sia corretto. Per verificare la presenza di cavi errati, eseguire il comando show lldp neighbors su entrambi gli switch foglia collegati all'APIC. Si noti che, dopo aver eseguito più volte questa operazione, entrambi gli switch foglia vedono la stessa interfaccia APIC.

La parte posteriore di un server APIC-M3/L3 ha questo aspetto.

Vista posteriore del server APIC-M3/L3:

Si noti che per un sistema APIC-M3/L3, la scheda VIC è dotata di 4 porte: ETH2-1, ETH2-2, ETH2-3 e ETH2-4, come mostrato di seguito.

Vista di APIC VIC 1455 con etichette:

Le regole per connettere il server APIC agli switch foglia sono:

• Tutte le porte devono avere la stessa velocità, 10 Gigabit o 25 Gigabit.
• ETH2-1 e ETH2-2 sono una coppia porta-canale, corrispondente a eth2-1 ('ifconfig' output) dal sistema operativo APIC.
• ETH2-3 e ETH2-4 sono l'altra coppia porta-canale, corrispondente a eth2-2 ('ifconfig' output) sul sistema operativo APIC.
• È consentita una sola connessione per coppia porta-canale. Ad esempio, collegare un cavo a ETH2-1 o ETH2-2 e collegare un altro cavo a ETH2-3 o ETH2-4. (Non collegare mai entrambi gli ETH in una coppia di canali di porta. Questo porta a problemi di individuazione fabric.).

Per ulteriori informazioni, questo grafico rappresenta la mappatura della porta VIC sul legame APIC:

Porte VIC 1455 - Porta fabric ridondante APIC: