Risoluzione dei problemi di individuazione dell'infrastruttura ACI - Configurazione iniziale dell'infrastruttura

Introduzione

In questo documento vengono descritte le procedure per comprendere e risolvere i problemi relativi al processo iniziale di individuazione dell'infrastruttura, inclusi gli scenari di problemi di esempio.

Premesse

Il materiale tratto da questo documento è stato Risoluzione dei problemi di Cisco Application Centric Infrastructure, Second Edition libro, in particolare Fabric Discovery - Configurazione iniziale fabric capitolo.

Flusso di lavoro di individuazione fabric

Il processo di individuazione dell'infrastruttura ACI segue una sequenza specifica di eventi. Le fasi di base sono le seguenti:

1. Connettersi alla console KVM del primo controller APIC e completare lo script di installazione immettendo valori quali il nome dell'infrastruttura, le dimensioni del cluster APIC e il pool di indirizzi dell'endpoint del tunnel (TEP).
2. Una volta completato, APIC1 inizierà a inviare LLDP tramite le porte fabric. I pacchetti LLDP contengono TLV speciali con informazioni come la VLAN infra e il suo ruolo di APIC (detto anche controller).
3. Alla ricezione di questi pacchetti LLDP da APIC1, la foglia programmerà la VLAN infra su tutte le porte dove viene rilevato un APIC.
4. La foglia inizia a inviare i risultati DHCP sulla VLAN infra ora nota.
5. L'utente accede all'IP OOB di APIC1 tramite HTTPS e registra il primo nodo foglia nel sottomenu Appartenenza fabric.
6. Una volta assegnato un ID nodo alla foglia, APIC1 risponderà con un indirizzo IP dal pool di indirizzi TEP configurato e il processo DHCP verrà completato.
7. La foglia registrata inoltra DHCP alla ricerca di altri aculei direttamente connessi che sono stati scoperti tramite LLDP nell'APIC1.
8. L'utente vedrà questi spine scoperti dinamicamente appaiono nel sottomenu Appartenenza fabric e può registrarli.
9. Una volta registrati gli spine, l'APIC1 risponde con un indirizzo IP dal pool TEP e il protocollo DHCP completa per questi nodi.
10. Gli aculei inoltrano DHCP individua da tutti gli altri nodi di pod1. (si presume che esista una rete completa tra gli aculei e gli switch foglia come consigliato ed è l'architettura tipica).
11. Una volta registrati i nodi foglia collegati agli altri APIC, è possibile stabilire il cluster APIC tra di loro tramite la comunicazione TCP. Accertarsi di aver completato la finestra di dialogo di impostazione su APIC2 e APIC3.
12. Verificare che tutti gli APIC abbiano formato un cluster e siano completamente idonei. In questo caso, l'individuazione dell'infrastruttura è completa.

A partire dalla versione 4.2, sui nodi della struttura è disponibile un nuovo comando CLI per la diagnosi dei problemi di rilevamento comuni. Nelle sezioni seguenti verranno illustrati i controlli eseguiti e verranno forniti ulteriori comandi di convalida per agevolare la risoluzione degli errori.

leaf101# show discoveryissues
Checking the platform type................LEAF!
Check01 - System state - in-service [ok]
Check02 - DHCP status [ok]
TEP IP: 10.0.72.67 Node Id: 101 Name: leaf101
Check03 - AV details check [ok]
Check04 - IP rechability to apic [ok]
Ping from switch to 10.0.0.1 passed
Check05 - infra VLAN received [ok]
infra vLAN:3967
Check06 - LLDP Adjacency [ok]
Found adjacency with SPINE
Found adjacency with APIC
Check07 - Switch version [ok]
version: n9000-14.2(1j) and apic version: 4.2(1j)
Check08 - FPGA/BIOS out of sync test [ok]
Check09 - SSL check [check]
SSL certificate details are valid
Check10 - Downloading policies [ok]
Check11 - Checking time [ok]
2019-09-11 07:15:53
Check12 - Checking modules, power and fans [ok]

Check01 — Stato del sistema

Dopo aver allocato un ID nodo alla foglia e averla registrata nell'infrastruttura, la foglia inizierà a scaricare il bootstrap e quindi a passare allo stato in servizio.

Check01 - System state - out-of-service [FAIL]

Check01 - System state - downloading-boot-script [FAIL]

Per convalidare lo stato corrente della foglia, l'utente può eseguire moquery -c topSystem

leaf101# moquery -c topSystem
Total Objects shown: 1

# top.System
address                  : 10.0.72.67
bootstrapState           : done
...
serial                   : FDO20160TPS
serverType               : unspecified
siteId                   : 1
state                    : in-service
status                   :
systemUpTime             : 00:18:17:41.000
tepPool                  : 10.0.0.0/16
unicastXrEpLearnDisable  : no
version                  : n9000-14.2(1j)
virtualMode              : no

Check02 — Stato DHCP

Check02 - DHCP status [FAIL]
ERROR: node Id not configured
ERROR: Ip not assigned by dhcp server
ERROR: Address assigner's IP not populated
TEP IP: unknown Node Id: unknown Name: unknown

La foglia deve ricevere un indirizzo TEP tramite DHCP dall'APIC1 e stabilire la connettività IP con gli altri APIC. Il TEP fisico (PTEP) della foglia viene assegnato al loopback0. Se non viene assegnato alcun indirizzo, l'utente può verificare che la foglia invii una ricerca DHCP con l'utilità tpcdump. Si noti l'utilizzo dell'interfaccia kpm_inb che consente di visualizzare tutto il traffico di rete del control plane in banda della CPU.

(none)# tcpdump -ni kpm_inb port 67 or 68
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on kpm_inb, link-type EN10MB (Ethernet), capture size 65535 bytes
16:40:11.041148 IP 0.0.0.0.68 > 255.255.255.255.67: BOOTP/DHCP, Request from a0:36:9f:c7:a1:0c, length 300
^C
1 packets captured
1 packets received by filter
0 packets dropped by kernel

L'utente può anche verificare che dhcpd sia in esecuzione sull'APIC e in ascolto sull'interfaccia secondaria bond0. L'interfaccia di collegamento rappresenta le porte APIC rivolte verso il fabric. Verrà utilizzato il formato bond0.<infra VLAN>.

apic1# ps aux | grep dhcp
root     18929  1.3  0.2 818552 288504 ?       Ssl  Sep26  87:19 /mgmt//bin/dhcpd.bin -f -4 -cf /data//dhcp/dhcpd.conf -lf /data//dhcp/dhcpd.lease -pf /var/run//dhcpd.pid --no-pid bond0.3967
admin   22770  0.0  0.0   9108   868 pts/0    S+   19:42   0:00 grep dhcp

Check03 — Dettagli AV

Check03 - AV details check [ok]

La foglia verificherà se l'APIC registrato ha un IP in un intervallo valido per il pool TEP. Se non è stata ancora registrata alcuna informazione APIC, questo controllo verrà superato. L'utente può visualizzare le informazioni APIC correnti dalla prospettiva del nodo foglia tramite il comando 'acidiag avread'. Si noti nell'esempio seguente che quando il prompt foglia/colonna vertebrale visualizza (none)#, questa è un'indicazione che la foglia/colonna vertebrale non è ancora un membro della struttura.

(none)# acidiag avread
Cluster of 0 lm(t):0(zeroTime) appliances (out of targeted 0 lm(t):0(zeroTime)) with FABRIC_DOMAIN name=Undefined Fabric Domain Name set to version= lm(t):0(zeroTime); discoveryMode=PERMISSIVE lm(t):0(zeroTime); drrMode=OFF lm(t):0(zeroTime)
---------------------------------------------
clusterTime=<diff=0 common=2019-10-01T18:51:50.315+00:00 local=2019-10-01T18:51:50.315+00:00 pF=<displForm=1 offsSt=0 offsVlu=0 lm(t):0(zeroTime)>>
---------------------------------------------

leaf101# acidiag avread
Cluster of 3 lm(t):0(2019-09-30T18:45:10.320-04:00) appliances (out of targeted 3 lm(t):0(2019-10-01T14:52:55.217-04:00)) with FABRIC_DOMAIN name=ACIFabric1 set to version=apic-4.2(1j) lm(t):0(2019-10-01T14:52:55.217-04:00); discoveryMode=PERMISSIVE lm(t):0(1969-12-31T20:00:00.003-04:00); drrMode=OFF lm(t):0(1969-12-31T20:00:00.003-04:00); kafkaMode=OFF lm(t):0(1969-12-31T20:00:00.003-04:00)
       appliance id=1  address=10.0.0.1 lm(t):2(2019-09-27T17:32:08.669-04:00) tep address=10.0.0.0/16 lm(t):1(2019-07-09T19:41:24.672-04:00) routable address=192.168.1.1 lm(t):2(2019-09-30T18:37:48.916-04:00) oob address=0.0.0.0 lm(t):0(zeroTime) version=4.2(1j) lm(t):1(2019-09-30T18:37:49.011-04:00) chassisId=c67d1076-a2a2-11e9-874e-a390922be712 lm(t):1(2019-09-30T18:37:49.011-04:00) capabilities=0X3EEFFFFFFFFF--0X2020--0X1 lm(t):1(2019-09-26T09:32:20.747-04:00) rK=(stable,absent,0) lm(t):0(zeroTime) aK=(stable,absent,0) lm(t):0(zeroTime) oobrK=(stable,absent,0) lm(t):0(zeroTime) oobaK=(stable,absent,0) lm(t):0(zeroTime) cntrlSbst=(APPROVED, FCH1929V153) lm(t):1(2019-10-01T12:46:44.711-04:00) (targetMbSn= lm(t):0(zeroTime), failoverStatus=0 lm(t):0(zeroTime)) podId=1 lm(t):1(2019-09-26T09:26:49.422-04:00) commissioned=YES lm(t):101(2019-09-30T18:45:10.320-04:00) registered=YES lm(t):3(2019-09-05T11:42:41.371-04:00) standby=NO lm(t):0(zeroTime) DRR=NO lm(t):101(2019-09-30T18:45:10.320-04:00) apicX=NO lm(t):0(zeroTime) virtual=NO lm(t):0(zeroTime) active=YES
       appliance id=2  address=10.0.0.2 lm(t):2(2019-09-26T09:47:34.709-04:00) tep address=10.0.0.0/16 lm(t):2(2019-09-26T09:47:34.709-04:00) routable address=192.168.1.2 lm(t):2(2019-09-05T11:45:36.861-04:00) oob address=0.0.0.0 lm(t):0(zeroTime) version=4.2(1j) lm(t):2(2019-09-30T18:37:48.913-04:00) chassisId=611febfe-89c1-11e8-96b1-c7a7472413f2 lm(t):2(2019-09-30T18:37:48.913-04:00) capabilities=0X3EEFFFFFFFFF--0X2020--0X7 lm(t):2(2019-09-26T09:53:07.047-04:00) rK=(stable,absent,0) lm(t):0(zeroTime) aK=(stable,absent,0) lm(t):0(zeroTime) oobrK=(stable,absent,0) lm(t):0(zeroTime) oobaK=(stable,absent,0) lm(t):0(zeroTime) cntrlSbst=(APPROVED, FCH2045V1X2) lm(t):2(2019-10-01T12:46:44.710-04:00) (targetMbSn= lm(t):0(zeroTime), failoverStatus=0 lm(t):0(zeroTime)) podId=1 lm(t):2(2019-09-26T09:47:34.709-04:00) commissioned=YES lm(t):101(2019-09-30T18:45:10.320-04:00) registered=YES lm(t):2(2019-09-26T09:47:34.709-04:00) standby=NO lm(t):0(zeroTime) DRR=NO lm(t):101(2019-09-30T18:45:10.320-04:00) apicX=NO lm(t):0(zeroTime) virtual=NO lm(t):0(zeroTime) active=YES
       appliance id=3  address=10.0.0.3 lm(t):3(2019-09-26T10:12:34.114-04:00) tep address=10.0.0.0/16 lm(t):3(2019-09-05T11:42:27.199-04:00) routable address=192.168.1.3 lm(t):2(2019-10-01T13:19:08.626-04:00) oob address=0.0.0.0 lm(t):0(zeroTime) version=4.2(1j) lm(t):3(2019-09-30T18:37:48.904-04:00) chassisId=99bade8c-cff3-11e9-bba7-5b906a49dc39 lm(t):3(2019-09-30T18:37:48.904-04:00) capabilities=0X3EEFFFFFFFFF--0X2020--0X4 lm(t):3(2019-09-26T10:18:13.149-04:00) rK=(stable,absent,0) lm(t):0(zeroTime) aK=(stable,absent,0) lm(t):0(zeroTime) oobrK=(stable,absent,0) lm(t):0(zeroTime) oobaK=(stable,absent,0) lm(t):0(zeroTime) cntrlSbst=(APPROVED, FCH1824V2VR) lm(t):3(2019-10-01T12:48:03.726-04:00) (targetMbSn= lm(t):0(zeroTime), failoverStatus=0 lm(t):0(zeroTime)) podId=2 lm(t):3(2019-09-26T10:12:34.114-04:00) commissioned=YES lm(t):101(2019-09-30T18:45:10.320-04:00) registered=YES lm(t):2(2019-09-05T11:42:54.935-04:00) standby=NO lm(t):0(zeroTime) DRR=NO lm(t):101(2019-09-30T18:45:10.320-04:00) apicX=NO lm(t):0(zeroTime) virtual=NO lm(t):0(zeroTime) active=YES
---------------------------------------------
clusterTime=<diff=15584 common=2019-10-01T14:53:01.648-04:00 local=2019-10-01T14:52:46.064-04:00 pF=<displForm=0 offsSt=0 offsVlu=-14400 lm(t):21(2019-09-26T10:40:35.412-04:00)>>
---------------------------------------------

Check04 — Raggiungibilità IP ad APIC

Quando la foglia riceve un indirizzo IP, tenta di stabilire sessioni TCP con l'APIC e inizia il processo di download della configurazione. L'utente può convalidare la connettività IP all'APIC usando l'utility "iping".

leaf101# iping -V overlay-1 10.0.0.1  
PING 10.0.0.1 (10.0.0.1) from 10.0.0.30: 56 data bytes
64 bytes from 10.0.0.1: icmp_seq=0 ttl=64 time=0.651 ms
64 bytes from 10.0.0.1: icmp_seq=1 ttl=64 time=0.474 ms
64 bytes from 10.0.0.1: icmp_seq=2 ttl=64 time=0.477 ms
64 bytes from 10.0.0.1: icmp_seq=3 ttl=64 time=0.54 ms
64 bytes from 10.0.0.1: icmp_seq=4 ttl=64 time=0.5 ms

--- 10.0.0.1 ping statistics ---  5 packets transmitted, 5 packets received, 0.00% packet loss
round-trip min/avg/max = 0.474/0.528/0.651 ms

Check05 — VLAN a infrarossi

Check05 - infra VLAN received [ok]

Il controllo della VLAN a infrarossi avrà esito positivo solo se il nodo è collegato a un pod con APIC. In caso contrario, l'utente può ignorare il messaggio perché si prevede che il controllo non riesca.

La foglia determinerà la VLAN infra in base ai pacchetti LLDP ricevuti da altri nodi ACI. Il primo messaggio ricevuto viene accettato quando lo switch è in fase di rilevamento.

(none)# moquery -c lldpInst
Total Objects shown: 1

# lldp.Inst
adminSt        : enabled
childAction    :
ctrl           :
dn             : sys/lldp/inst
holdTime       : 120
infraVlan      : 3967
initDelayTime  : 2
lcOwn          : local
modTs          : 2019-09-12T07:25:33.194+00:00
monPolDn       : uni/fabric/monfab-default
name           :
operErr        :
optTlvSel      : mgmt-addr,port-desc,port-vlan,sys-cap,sys-desc,sys-name
rn             : inst
status         :
sysDesc        : topology/pod-1/node-101
txFreq         : 30

(none)# show vlan encap-id 3967

 VLAN Name                             Status    Ports
 ---- -------------------------------- --------- -------------------------------
 8    infra:default                    active    Eth1/1

  VLAN Type  Vlan-mode
 ---- ----- ----------
 8    enet  CE

Se la VLAN a infrarossi non è stata programmata sulle interfacce switchport collegate alle appliance APIC, verificare la presenza di problemi di cablaggio rilevati dalla foglia.

(none)# moquery -c lldpIf -f 'lldp.If.wiringIssues!=""'  
Total Objects shown: 1

# lldp.If  
id           : eth1/1
adminRxSt    : enabled
adminSt      : enabled
adminTxSt    : enabled
childAction  :
descr        :
dn           : sys/lldp/inst/if-[eth1/1]
lcOwn        : local
mac          : E0:0E:DA:A2:F2:83
modTs        : 2019-09-30T18:45:22.323+00:00
monPolDn     : uni/fabric/monfab-default
name         :
operRxSt     : enabled
operTxSt     : enabled
portDesc     :
portMode     : normal
portVlan     : unspecified
rn           : if-[eth1/1]
status       :
sysDesc      :
wiringIssues : infra-vlan-mismatch

Check06 — Adiacenza LLDP

Check06 - LLDP Adjacency [FAIL]  
Error: leaf not connected to any spine

Per determinare le porte che si connettono ad altri dispositivi ACI, la foglia deve ricevere il protocollo LLDP dagli altri nodi della struttura. Per convalidare il protocollo LLDP ricevuto, l'utente può selezionare 'show lldp neighbors'.

(none)# show lldp neighbors  
Capability codes:
 (R) Router, (B) Bridge, (T) Telephone, (C) DOCSIS Cable Device
 (W) WLAN Access Point, (P) Repeater, (S) Station, (O) Other
Device ID            Local Intf      Hold-time  Capability  Port ID
apic1                 Eth1/1          120                    eth2-1
apic2                 Eth1/2          120                    eth2-1
switch                Eth1/51         120        BR          Eth2/32
switch                Eth1/54         120        BR          Eth1/25
Total entries displayed: 4

Check07 — Versione switch

Check07 - Switch version [ok]  
version: n9000-14.2(1j) and apic version: 4.2(1j)

Se le versioni APIC e foglia non sono uguali, il rilevamento della struttura potrebbe non riuscire. Per convalidare la versione in esecuzione nella foglia, utilizzare 'show version' o 'vsh -c 'show version'.

(none)# show version  
Cisco Nexus Operating System (NX-OS) Software
TAC support: http://www.cisco.com/tac
Documents: http://www.cisco.com/en/US/products/ps9372/tsd_products_support_series_home.htmlCopyright (c) 2002-2014, Cisco Systems, Inc. All rights reserved.
The copyrights to certain works contained in this software are
owned by other third parties and used and distributed under
license. Certain components of this software are licensed under
the GNU General Public License (GPL) version 2.0 or the GNU
Lesser General Public License (LGPL) Version 2.1. A copy of each
such license is available at
http://www.opensource.org/licenses/gpl-2.0.php and
http://www.opensource.org/licenses/lgpl-2.1.php

Software
 BIOS:      version 07.66
 kickstart: version 14.2(1j) [build 14.2(1j)]
    system:    version 14.2(1j) [build 14.2(1j)]
    PE:        version 4.2(1j)
 BIOS compile time:       06/11/2019
 kickstart image file is: /bootflash/aci-n9000-dk9.14.2.1j.bin
 kickstart compile time:  09/19/2019 07:57:41 [09/19/2019 07:57:41]
 system image file is:    /bootflash/auto-s
 system compile time:     09/19/2019 07:57:41 [09/19/2019 07:57:41]
...

Lo stesso comando funziona anche sugli APIC.

apic1# show version
Role        Pod         Node        Name                      Version
----------  ----------  ----------  ------------------------  --------------------
controller  1           1           apic1                     4.2(1j)
controller  1           2           apic2                     4.2(1j)
controller  2           3           apic3                     4.2(1j)
leaf        1           101         leaf101                   n9000-14.2(1j)
leaf        1           102         leaf102                   n9000-14.2(1j)
leaf        1           103         leaf103                   n9000-14.2(1j)
spine       1           1001        spine1                    n9000-14.2(1j)
spine       1           1002        spine2                    n9000-14.2(1j)   

Check08 — FPGA/EPLD/BIOS non sincronizzato

Le versioni FPGA, EPLD e BIOS possono influire sulla capacità del nodo foglia di attivare i moduli come previsto. Se le interfacce sono obsolete, potrebbe non essere possibile visualizzarle. L'utente può convalidare le versioni in esecuzione e quelle previste di FPGA, EPLD e BIOS con i seguenti comandi moquery.

(none)# moquery -c firmwareCardRunning  
Total Objects shown: 2

# firmware.CardRunning
biosVer        : v07.66(06/11/2019)
childAction    :
descr          :
dn             : sys/ch/supslot-1/sup/running
expectedVer    : v07.65(09/04/2018)  interimVer     : 14.2(1j)
internalLabel  :
modTs          : never
mode           : normal
monPolDn       : uni/fabric/monfab-default
operSt         : ok
rn             : running
status         :
ts             : 1970-01-01T00:00:00.000+00:00
type           : switch
version        : 14.2(1j)

# firmware.CardRunning
biosVer        : v07.66(06/11/2019)
childAction    :
descr          :
dn             : sys/ch/lcslot-1/lc/running
expectedVer    : v07.65(09/04/2018)  interimVer     : 14.2(1j)
internalLabel  :
modTs          : never
mode           : normal
monPolDn       : uni/fabric/monfab-default
operSt         : ok
rn             : running
status         :
ts             : 1970-01-01T00:00:00.000+00:00
type           : switch
version        : 14.2(1j)


(none)# moquery -c firmwareCompRunning  
Total Objects shown: 2

# firmware.CompRunning  
childAction    :
descr          :
dn             : sys/ch/supslot-1/sup/fpga-1/running
expectedVer    : 0x14  internalLabel  :
modTs          : never
mode           : normal
monPolDn       : uni/fabric/monfab-default
operSt         : ok
rn             : running
status         :
ts             : 1970-01-01T00:00:00.000+00:00
type           : controller
version        : 0x14

# firmware.CompRunning
childAction    :
descr          :
dn             : sys/ch/supslot-1/sup/fpga-2/runnin
expectedVer    : 0x4
internalLabel  :
modTs          : never
mode           : normal
monPolDn       : uni/fabric/monfab-default
operSt         : ok
rn             : running
status         :
ts             : 1970-01-01T00:00:00.000+00:00
type           : controller
version        : 0x4

Se la versione FPGA in esecuzione non corrisponde alla versione FPGA prevista, è possibile aggiornarla con i passaggi indicati nel capitolo "Fabric discovery", sezione "Device replacement" in scenario "Leaf/Spine EPLD/FPGA not correct, F1582".

Check09 — Controllo SSL

Check09 - SSL check [check]  
SSL certificate details are valid

La comunicazione SSL viene utilizzata tra tutti i nodi della struttura per garantire la crittografia del traffico del control plane. Il certificato SSL utilizzato viene installato durante la produzione e generato in base al numero di serie dello chassis. Il formato del soggetto dovrebbe essere il seguente:

subject= /serialNumber=PID:N9K-C93xxxxx SN:FDOxxxxxxxx/CN=FDOxxxxxxxx

Per convalidare il certificato SSL durante l'individuazione di uno switch, utilizzare il comando seguente.

(none)# cd /securedata/ssl && openssl x509 -noout -subject -in server.crt  
subject= /serialNumber=PID:N9K-C93180YC-EX SN:FDO20432LH1/CN=FDO20432LH1

Si noti che quanto sopra funziona solo come utente non root se il nodo dello switch è ancora in fase di rilevamento.

Per il numero di serie dello chassis, usare il comando seguente.

(none)# show inventory
NAME: "Chassis",  DESCR: "Nexus C93180YC-EX Chassis"
PID: N9K-C93180YC-EX     ,  VID: V00  ,  SN: FDO20160TPS
...

Inoltre, il certificato deve essere valido al momento. Per visualizzare le date valide del certificato, utilizzare il flag '-dates' nel comando openssl.

(none)# cd /securedata/ssl && openssl x509 -noout -dates -in server.crt
notBefore=Nov 28 17:17:05 2016 GMT
notAfter=Nov 28 17:27:05 2026 GMT

Check10 — Criterio di download

Check10 - Downloading policies [FAIL]
Registration to all PM shards is not complete
Policy download is not complete

Una volta che la foglia ha una raggiungibilità IP verso l'APIC, scaricherà la sua configurazione dall'APIC e l'APIC confermerà che il download è completato. Lo stato di questo processo può essere visualizzato con il comando seguente.

(none)# moquery -c pconsBootStrap
Total Objects shown: 1

# pcons.BootStrap
allLeaderAcked         : no
allPortsInService      : yes
allResponsesFromLeader : yes
canBringPortInService  : no
childAction            :
completedPolRes        : no
dn                     : rescont/bootstrap
lcOwn                  : local
modTs                  : 2019-09-27T22:52:48.729+00:00
rn                     : bootstrap
state                  : completed
status                 :
timerTicks             : 360
try                    : 0
worstCaseTaskTry       : 0

Check11 — Ora

Check11 - Checking time [ok]
2019-10-01 17:02:34

Questo controllo visualizza l'ora corrente dell'utente. Se il delta tra l'APIC e il tempo di commutazione è eccessivo, il rilevamento potrebbe non riuscire. Su APIC, l'ora può essere controllata con il comando date.

apic1# date
Tue Oct  1 14:35:38 UTC 2019

Check12 — Modulo, PSU, controllo ventola

Affinché lo switch sia connesso ad altri dispositivi, i moduli devono essere attivi e online. È possibile convalidare questa condizione tramite i comandi 'show module' e 'show environment'.

(none)# show module
   
Mod  Ports  Module-Type                         Model              Status
---  -----  ----------------------------------- ------------------ ----------
1    54     48x10/25G+6x40/100G Switch          N9K-C93180YC-EX    ok

Mod  Sw              Hw
---  --------------  ------
1    14.2(1j)        0.3050

Mod  MAC-Address(es)                         Serial-Num
---  --------------------------------------  ----------
1    e0-0e-da-a2-f2-83 to e0-0e-da-a2-f2-cb  FDO20160TPS

Mod  Online Diag Status
---  ------------------
1    pass

(none)# show environment
Power Supply:
Voltage: 12.0 Volts

Power                              Actual        Total
Supply    Model                    Output     Capacity    Status
                                (Watts )     (Watts )
-------  -------------------  -----------  -----------  --------------
1        NXA-PAC-650W-PI              0 W        650 W       shut
2        NXA-PAC-650W-PI            171 W        650 W        ok
                                   Actual        Power
Module     Model                     Draw    Allocated    Status
                                 (Watts )     (Watts )
--------  -------------------  -----------  -----------  --------------
1         N9K-C93180YC-EX            171 W        492 W    Powered-Up
fan1      NXA-FAN-30CFM-B              N/A          N/A    Powered-Up
fan2      NXA-FAN-30CFM-B              N/A          N/A    Powered-Up
fan3      NXA-FAN-30CFM-B              N/A          N/A    Powered-Up
fan4      NXA-FAN-30CFM-B              N/A          N/A    Powered-Up

N/A - Per module power not available

Power Usage Summary:
--------------------
Power Supply redundancy mode (configured)                Non-Redundant(combined)
Power Supply redundancy mode (operational)               Non-Redundant(combined)

Total Power Capacity (based on configured mode)               650  W
Total Power of all Inputs (cumulative)                        650  W
Total Power Output (actual draw)                              171  W
Total Power Allocated (budget)                                N/A
Total Power Available for additional modules                  N/A

Fan:
------------------------------------------------------
Fan             Model                Hw         Status
------------------------------------------------------
Fan1(sys_fan1)  NXA-FAN-30CFM-B      --         ok
Fan2(sys_fan2)  NXA-FAN-30CFM-B      --         ok
Fan3(sys_fan3)  NXA-FAN-30CFM-B      --         ok
Fan4(sys_fan4)  NXA-FAN-30CFM-B      --         ok
Fan_in_PS1      --                   --         unknown
Fan_in_PS2      --                   --         ok
Fan Speed: Zone 1:  0x7f
Fan Air Filter : Absent

Temperature:
-----------------------------------------------------------------------------------
Module   Sensor                       MajorThresh   MinorThres   CurTemp     Status
                                     (Celsius)     (Celsius)    (Celsius)
-----------------------------------------------------------------------------------
1        Inlet(1)                      70            42           35         normal
1        outlet(2)                     80            70           37         normal
1        x86 processor(3)              90            80           38         normal
1        Sugarbowl(4)                  110           90           60         normal
1        Sugarbowl vrm(5)              120           110          50         normal

Se un modulo non è in linea, ricollocarlo e verificare la presenza di mancata corrispondenza di FPGA, EPLD o BIOS.

Esempio di scenari interrotti

Scenario 1 - La prima foglia non viene visualizzata nell'appartenenza del fabric

In questo scenario, l'utente accede ad APIC1 dopo aver completato lo script di installazione e non è stato visualizzato alcun switch nell'appartenenza alla struttura. Affinché il rilevamento della prima foglia venga eseguito correttamente, l'APIC deve ricevere un comando DHCP Discover dalla foglia in fase di rilevamento.

Verificare che APIC1 invii TLV LLDP corrispondenti ai parametri impostati nello script di installazione.

apic1# acidiag run lldptool out eth2-1
Chassis ID TLV
       MAC: e8:65:49:54:88:a1
Port ID TLV
       MAC: e8:65:49:54:88:a1
Time to Live TLV
       120
Port Description TLV
       eth2-1
System Name TLV
       apic1
System Description TLV
       topology/pod-1/node-1
Management Address TLV
       IPv4: 10.0.0.1
       Ifindex: 4
Cisco Port State TLV
       1
Cisco Node Role TLV
       0
Cisco Node ID TLV
       1
Cisco POD ID TLV
       1
Cisco Fabric Name TLV
       ACIFabric1
Cisco Appliance Vector TLV
       Id: 1
       IPv4: 10.0.0.1
       UUID: c67d1076-a2a2-11e9-874e-a390922be712
Cisco Node IP TLV
       IPv4:10.0.0.1
Cisco Port Role TLV
       2
Cisco Infra VLAN TLV
       3967
Cisco Serial Number TLV
       FCH1929V153
Cisco Authentication Cookie TLV
       1372058352
Cisco Standby APIC TLV
       0
End of LLDPDU TLV

Verificare inoltre che APIC1 riceva LLDP dal nodo foglia connesso direttamente.

apic1# acidiag run lldptool in eth2-1
Chassis ID TLV
       MAC: e0:0e:da:a2:f2:83
Port ID TLV
       Local: Eth1/1
Time to Live TLV
       120
Port Description TLV
       Ethernet1/1
System Name TLV
       switch
System Description TLV
       Cisco Nexus Operating System (NX-OS) Software 14.2(1j)
TAC support: http://www.cisco.com/tacCopyright (c) 2002-2020, Cisco Systems, Inc. All rights reserved.
System Capabilities TLV
       System capabilities:  Bridge, Router
       Enabled capabilities: Bridge, Router
Management Address TLV
       MAC: e0:0e:da:a2:f2:83
       Ifindex: 83886080
Cisco 4-wire Power-via-MDI TLV
       4-Pair PoE supported
       Spare pair Detection/Classification not required
       PD Spare pair Desired State: Disabled
       PSE Spare pair Operational State: Disabled
Cisco Port Mode TLV
       0
Cisco Port State TLV
       1
Cisco Serial Number TLV
       FDO20160TPS
Cisco Model TLV
       N9K-C93180YC-EX
Cisco Firmware Version TLV
       n9000-14.2(1j)
Cisco Node Role TLV
       1
Cisco Infra VLAN TLV
       3967
Cisco Node ID TLV
       0
End of LLDPDU TLV

Se APIC1 riceve LLDP dal nodo foglia connesso direttamente, la foglia deve programmare la VLAN infra sulle porte collegate all'APIC. La programmazione VLAN può essere convalidata con il comando 'show vlan encap-id <x>', dove 'x' è la VLAN a infrarossi configurata.

(none)# show vlan encap-id 3967
VLAN Name                             Status    Ports
---- -------------------------------- --------- -------------------------------
8    infra:default                    active    Eth1/1

VLAN Type  Vlan-mode
---- ----- ----------
8    enet  CE

Se la VLAN a infrarossi non è stata programmata, verificare la presenza di problemi di cablaggio rilevati dal nodo foglia.

(none)# moquery -c lldpIf -f 'lldp.If.wiringIssues!=""'  
Total Objects shown: 1

# lldp.If
id           : eth1/1
adminRxSt    : enabled
adminSt      : enabled
adminTxSt    : enabled
childAction  :
descr        :
dn           : sys/lldp/inst/if-[eth1/1]
lcOwn        : local
mac          : E0:0E:DA:A2:F2:83
modTs        : 2019-09-30T18:45:22.323+00:00
monPolDn     : uni/fabric/monfab-default
name         :
operRxSt     : enabled
operTxSt     : enabled
portDesc     :
portMode     : normal
portVlan     : unspecified
rn           : if-[eth1/1]
status       :
sysDesc      :
wiringIssues : infra-vlan-mismatch

Quando l'attributo wiring issues è impostato su 'infra-vlan-mismatch', l'indicazione è che la foglia è venuta a conoscenza di una VLAN infra diversa dal valore che l'APIC sta inviando (il valore inviato dall'APIC può essere verificato usando il comando 'moquery -c lldpInst'). Questo scenario può verificarsi se la foglia riceve LLDP da un nodo che una volta faceva parte di un'altra infrastruttura. Essenzialmente, un nodo in fase di rilevamento accetterà la prima VLAN a infrarossi ricevuta tramite LLDP. Per risolvere questo problema, rimuovere le connessioni tra questa foglia e gli altri nodi ACI, ad eccezione dell'APIC, quindi ricaricare lo switch con i comandi 'aciag touch clean' e 'reload'. Dopo aver avviato lo switch, verificare che la VLAN a infrarossi corretta sia programmata. In questo caso, è possibile ripristinare le connessioni agli altri nodi e l'utente può procedere ulteriormente con la configurazione dell'infrastruttura ACI.

Scenario 2 - Altri APIC non si uniscono al cluster

In questo scenario, sono stati individuati tutti i nodi della struttura, ma APIC2 e 3 non sono ancora stati uniti al cluster APIC.

Convalidare i valori dello script di impostazione tra gli APIC. I valori che devono corrispondere sono:

• Dominio fabric
• ID fabric
• pool TEP
• Infra VLAN
• GIPo
• Dimensioni cluster
• Versione firmware

apic1# cat /data/data_admin/sam_exported.config
Setup for Active and Standby APIC

fabricDomain = ACIFabric1
fabricID = 1
systemName =apic1
controllerID = 1
tepPool = 10.0.0.0/16
infraVlan = 3967
GIPo = 225.0.0.0/15
clusterSize = 3
standbyApic = NO
enableIPv4 = Y
enableIPv6 = N
firmwareVersion = 4.2(1j)
ifcIpAddr = 10.0.0.1
apicX = NO
podId = 1
oobIpAddr = 10.48.22.69/24

Verificare i problemi comuni con il comando 'acidiag cluster' su tutti e tre gli APIC.

apic1# acidiag cluster
Admin password:

Product-name = APIC-SERVER-M1
Serial-number = FCH1906V1XV
Running...

Checking Core Generation: OK
Checking Wiring and UUID: OK
Checking AD Processes: Running
Checking All Apics in Commission State: OK
Checking All Apics in Active State: OK
Checking Fabric Nodes: OK
Checking Apic Fully-Fit: OK
Checking Shard Convergence: OK
Checking Leadership Degration: Optimal leader for all shards
Ping OOB IPs:
APIC-1: 10.48.22.69 - OK
APIC-2: 10.48.22.70 - OK
APIC-3: 10.48.22.71 - OK
Ping Infra IPs:
APIC-1: 10.0.0.1 - OK
APIC-2: 10.0.0.2 - OK
APIC-3: 10.0.0.3 - OK
Checking APIC Versions: Same (4.2(1j))
Checking SSL: OK

Done!

Infine, utilizzare 'avread' per verificare se le impostazioni corrispondono in tutti gli APIC. Si noti che questo comando è diverso dal tipico 'acidiag avread' che mostra un output simile, ma viene analizzato per facilitarne il consumo.

apic1# avread
Cluster:
-------------------------------------------------------------------------
fabricDomainName        ACIFabric1
discoveryMode           PERMISSIVE
clusterSize             3
version                 4.2(1j)
drrMode                 OFF
operSize                3

APICs:
-------------------------------------------------------------------------
                 APIC 1                  APIC 2                  APIC 3
version           4.2(1j)                 4.2(1j)                 4.2(1j)
address           10.0.0.1                10.0.0.2                10.0.0.3
oobAddress        10.48.22.69/24          10.48.22.70/24          10.48.22.71/24
routableAddress   0.0.0.0                 0.0.0.0                 0.0.0.0
tepAddress        10.0.0.0/16             10.0.0.0/16             10.0.0.0/16
podId             1                       1                       1
chassisId         3c9e5024-.-5a78727f     573e12c0-.-6b8da0e5     44c4bf18-.-20b4f52&    cntrlSbst_serial  (APPROVED,FCH1906V1XV)  (APPROVED,FCH1921V1Q9)  (APPROVED,FCH1906V1PW)
active            YES                     YES                     YES
flags             cra-                    cra-                    cra-
health            255                     255                     255
apic1#

Scenario 3 - Il dorso non viene visualizzato nell'appartenenza del fabric

In questo scenario, la prima foglia è stata scoperta nel tessuto, ma non sono comparsi aculei per la scoperta sotto il sottomenu Appartenenza fabric.

Convalida della connettività fisica da foglia a dorso. Nell'esempio seguente, l'interruttore foglia viene collegato a una linea guida tramite l'interfaccia e1/49.

leaf101# show int eth1/49
Ethernet1/49 is up
admin state is up, Dedicated Interface
 Hardware: 1000/10000/100000/40000 Ethernet, address: 0000.0000.0000 (bia e00e.daa2.f3f3)
 MTU 9366 bytes, BW 100000000 Kbit, DLY 1 usec
 reliability 255/255, txload 1/255, rxload 1/255
 Encapsulation ARPA, medium is broadcast
 Port mode is routed
 full-duplex, 100 Gb/s
...

Se la porta è in stato fuori servizio, verificare sul dorso che LLDP sia stato ricevuto dalla foglia collegata direttamente.

(none)# show lldp neighbors
Capability codes:
 (R) Router, (B) Bridge, (T) Telephone, (C) DOCSIS Cable Device
 (W) WLAN Access Point, (P) Repeater, (S) Station, (O) Other
Device ID            Local Intf      Hold-time  Capability  Port ID
leaf102               Eth2/27         120        BR          Eth1/53
leaf103               Eth2/29         120        BR          Eth1/49
leaf101               Eth2/32         120        BR          Eth1/51
Total entries displayed: 3

Un'altra convalida consiste nel verificare che non vi siano differenze di versione tra la foglia e la colonna vertebrale. In caso affermativo, rimediare copiando la versione più recente in /bootflash del dorso. Quindi, configurare lo switch per l'avvio dal software con i seguenti comandi:

(none)# ls -alh /bootflash
total 3.0G
drwxrwxr-x  3 root admin 4.0K Oct  1 20:21 .
drwxr-xr-x 50 root root  1.3K Oct  1 00:22 ..
-rw-r--r--  1 root root  3.5M Sep 30 21:24 CpuUsage.Log
-rw-rw-rw-  1 root root  1.7G Sep 27 14:50 aci-n9000-dk9.14.2.1j.bin
-rw-r--r--  1 root root  1.4G Sep 27 21:20 auto-s
-rw-rw-rw-  1 root root     2 Sep 27 21:25 diag_bootup
-rw-r--r--  1 root root    54 Oct  1 20:20 disk_log.txt
-rw-rw-rw-  1 root root   693 Sep 27 21:23 libmon.logs
drwxr-xr-x  4 root root  4.0K Sep 26 15:24 lxc
-rw-r--r--  1 root root  384K Oct  1 20:20 mem_log.txt
-rw-r--r--  1 root root  915K Sep 27 21:10 mem_log.txt.old.gz
-rw-rw-rw-  1 root root   12K Sep 27 21:17 urib_api_log.txt


(none)# setup-bootvars.sh aci-n9000-dk9.14.2.1j.bin
In progress
In progress
In progress
In progress
Done

Se la nuova immagine viene continuamente rimossa da bootflash, assicurarsi che la cartella sia piena meno della metà rimuovendo le immagini precedenti o il file auto-s; controllare l'utilizzo dello spazio utilizzando 'df -h' sullo switch.

Dopo aver impostato la variabile di avvio, ricaricare lo switch e riavviarlo alla nuova versione.

Dopo il ricaricamento potrebbe essere necessaria la convalida di FPGA, EPLD e BIOS. Fare riferimento alla sottosezione "Leaf/Spine EPLD/FPGA not correct, F1582" per ulteriori informazioni sulla risoluzione dei problemi.

Scenario 4 - Dopo l'individuazione iniziale del fabric, il cluster passa da completamente adattato a danneggiato

Se il problema si verifica dopo la configurazione di un nuovo fabric, è possibile che il cablaggio dell'APIC-M3 o dell'APIC-L3 collegato al fabric non sia corretto. Per verificare la presenza di cavi errati, eseguire il comando "show lldp neighbors" su entrambi gli switch foglia collegati all'APIC. Dopo aver eseguito questa operazione più volte, si noterà che entrambi gli switch foglia vedono la stessa interfaccia APIC.

La parte posteriore di un server APIC-M3/L3 ha il seguente aspetto:

Vista posteriore del server APIC-M3/L3

Si noti che per un sistema APIC-M3/L3, la scheda VIC è dotata di 4 porte: ETH2-1, ETH2-2, ETH2-3 e ETH2-4, come indicato di seguito:

Vista di APIC VIC 1455 con etichette

Di seguito sono riportate le regole per la connessione del server APIC agli switch foglia:

• Tutte le porte devono avere la stessa velocità, 10 Gigabit o 25 Gigabit.
• ETH2-1 e ETH2-2 sono una coppia porta-canale, corrispondente a eth2-1 ('ifconfig' output) dal sistema operativo APIC.
• ETH2-3 e ETH2-4 sono l'altra coppia porta-canale, corrispondente a eth2-2 ('ifconfig' output) sul sistema operativo APIC.
• È consentita una sola connessione per coppia porta-canale. Ad esempio, collegare un cavo all'ETH2-1 o all'ETH2-2 e collegare un altro cavo all'ETH2-3 o all'ETH2-4 (non collegare mai entrambi gli ETH in una coppia di canali di porta. Ciò causerà problemi di individuazione dell'infrastruttura.).

Per ulteriori informazioni, di seguito è riportata una rappresentazione della mappatura della porta VIC al legame APIC.

Porte VIC 1455 - Porta fabric ridondante APIC