Problemen oplossen met de eerste configuratie van ACI-verbindingen
Inhoud
Inleiding
In dit document worden de stappen beschreven voor het begrijpen van en het oplossen van problemen met het eerste proces voor het detecteren van de structuur, inclusief voorbeeldscenario's voor problemen.
Achtergrondinformatie
Het materiaal uit dit document is afkomstig uit het document Problemen oplossen Cisco Application Centric Infrastructure, Second Edition, met name het hoofdstuk Fabric Discovery - Initial Fabric Setup.
Werkstroom voor stofdetectie
Het ACI-proces voor het detecteren van verbindingen houdt zich aan een specifieke reeks gebeurtenissen. Dit zijn de basisstappen:
- Maak verbinding met de KVM-console van de eerste APIC en voltooi het installatiescript door waarden in te voeren zoals fabric name, APIC cluster size en tunnel endpoint (TEP) address pool.
- Na voltooiing begint de APIC1 LLDP te verzenden via de fabric-poorten. De LLDP-pakketten bevatten speciale TLV's met informatie zoals het infra-VLAN en de rol ervan als APIC (ook wel controller genoemd).
- Bij ontvangst van deze LLDP-pakketten van APIC1 worden de leaf-programma's van het infra-VLAN op alle poorten waar een APIC wordt gedetecteerd.
- Het blad begint met het verzenden van DHCP Discovery op het inmiddels bekende infra-VLAN.
- De gebruiker logt in op het OOB IP van APIC1 via HTTPS en registreert de eerste leaf node in het submenu Fabric Membership.
- Zodra het blad een Node-ID heeft gekregen, reageert APIC1 met een IP-adres uit de geconfigureerde TEP-adresgroep en het DHCP-proces wordt voltooid.
- De geregistreerde bladrelais DHCP Discovery van andere direct verbonden stekels, die via LLDP werden ontdekt aan de APIC1.
- Je kunt die dynamisch ontdekte stekels zien verschijnen in het submenu Fabric Membership en kunt ze registreren.
- Zodra de stekels zijn geregistreerd, reageert de APIC1 met een IP-adres uit de TEP-pool en voltooit DHCP voor die knooppunten.
- De stekels relais DHCP Ontdekt van alle andere knooppunten van pod1 (dit veronderstelt dat er een volledige maas tussen de stekels en blad switches zoals het wordt geadviseerd en is de typische architectuur.)
- Zodra de bladknooppunten die zijn verbonden met de andere APIC's zijn geregistreerd, kan het APIC-cluster worden ingesteld via onderling TCP-communicatie. Zorg ervoor dat u het installatiedialoogvenster op APIC2 en APIC3 voltooit.
- Bevestig dat alle APIC's een cluster hebben gevormd en volledig fit zijn. Als dit het geval is, is de fabric discovery voltooid.
Vanaf versie 4.2 is er een nieuwe CLI-opdracht beschikbaar op verbindingsknooppunten om te helpen bij de diagnose van veelvoorkomende problemen met de detectie. Deze secties hebben betrekking op de uitgevoerde controles en bieden extra valideringsopdrachten om te helpen bij het oplossen van storingen.
leaf101# show discoveryissues
Checking the platform type................LEAF!
Check01 - System state - in-service [ok]
Check02 - DHCP status [ok]
TEP IP: 10.0.72.67 Node Id: 101 Name: leaf101
Check03 - AV details check [ok]
Check04 - IP rechability to apic [ok]
Ping from switch to 10.0.0.1 passed
Check05 - infra VLAN received [ok]
infra vLAN:3967
Check06 - LLDP Adjacency [ok]
Found adjacency with SPINE
Found adjacency with APIC
Check07 - Switch version [ok]
version: n9000-14.2(1j) and apic version: 4.2(1j)
Check08 - FPGA/BIOS out of sync test [ok]
Check09 - SSL check [check]
SSL certificate details are valid
Check10 - Downloading policies [ok]
Check11 - Checking time [ok]
2019-09-11 07:15:53
Check12 - Checking modules, power and fans [ok]
CHECK01 — Systeemstatus
Wanneer het blad is toegewezen aan een Node ID, en geregistreerd in de stof, begint het zijn bootstrap te downloaden en vervolgens over te schakelen naar een in-service staat.
Check01 - System state - out-of-service [FAIL]
Check01 - System state - downloading-boot-script [FAIL]
Om de huidige status van het blad te valideren, kunt u de opdracht moquery -c topSystem uitvoeren:
leaf101# moquery -c topSystem
Total Objects shown: 1
# top.System
address : 10.0.72.67
bootstrapState : done
...
serial : FDO20160TPS
serverType : unspecified
siteId : 1
state : in-service
status :
systemUpTime : 00:18:17:41.000
tepPool : 10.0.0.0/16
unicastXrEpLearnDisable : no
version : n9000-14.2(1j)
virtualMode : no
Check02 — DHCP-status
Check02 - DHCP status [FAIL]
ERROR: node Id not configured
ERROR: Ip not assigned by dhcp server
ERROR: Address assigner's IP not populated
TEP IP: unknown Node Id: unknown Name: unknown
Het blad moet een TEP-adres ontvangen via DHCP van de APIC1 en vervolgens een IP-verbinding tot stand brengen met de andere APIC's. De Physical TEP (PTEP) van het blad is toegewezen aan loopback0. Als er geen adres is toegewezen, kunt u bevestigen dat het blad een DHCP Discover verzendt met het hulpprogramma tpcdump. Hiervoor wordt de kpm_inb-interface gebruikt, waarmee u al het CPU-inband-besturingsvliegtuignetwerkverkeer kunt zien.
(none)# tcpdump -ni kpm_inb port 67 or 68
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on kpm_inb, link-type EN10MB (Ethernet), capture size 65535 bytes
16:40:11.041148 IP 0.0.0.0.68 > 255.255.255.255.67: BOOTP/DHCP, Request from a0:36:9f:c7:a1:0c, length 300
^C
1 packets captured
1 packets received by filter
0 packets dropped by kernel
U kunt ook controleren of dhcpd wordt uitgevoerd op de APIC en luisteren op de bond0-subinterface. De bindingsinterface vertegenwoordigt de verbinding die naar APIC-poorten wordt gericht. Gebruik de indeling bond0.<infra VLAN>.
apic1# ps aux | grep dhcp
root 18929 1.3 0.2 818552 288504 ? Ssl Sep26 87:19 /mgmt//bin/dhcpd.bin -f -4 -cf /data//dhcp/dhcpd.conf -lf /data//dhcp/dhcpd.lease -pf /var/run//dhcpd.pid --no-pid bond0.3967
admin 22770 0.0 0.0 9108 868 pts/0 S+ 19:42 0:00 grep dhcp
Check03 — AV-gegevens
Check03 - AV details check [ok]
Het blad valideert of de geregistreerde APIC een IP-adres heeft in een geldig bereik voor de TEP-pool. Als er nog geen APIC-informatie is geregistreerd, wordt deze controle doorgegeven. U kunt de huidige APIC-informatie vanuit het perspectief van de leaf node bekijken door de opdracht acidiag avread uit te voeren. In dit voorbeeld, wanneer de blad/wervelkolom prompt (none)# weergeeft, is dit een indicatie dat het blad/de wervelkolom nog geen lid is van de stof.
(none)# acidiag avread
Cluster of 0 lm(t):0(zeroTime) appliances (out of targeted 0 lm(t):0(zeroTime)) with FABRIC_DOMAIN name=Undefined Fabric Domain Name set to version= lm(t):0(zeroTime); discoveryMode=PERMISSIVE lm(t):0(zeroTime); drrMode=OFF lm(t):0(zeroTime)
---------------------------------------------
clusterTime=<diff=0 common=2019-10-01T18:51:50.315+00:00 local=2019-10-01T18:51:50.315+00:00 pF=<displForm=1 offsSt=0 offsVlu=0 lm(t):0(zeroTime)>>
---------------------------------------------
leaf101# acidiag avread
Cluster of 3 lm(t):0(2019-09-30T18:45:10.320-04:00) appliances (out of targeted 3 lm(t):0(2019-10-01T14:52:55.217-04:00)) with FABRIC_DOMAIN name=ACIFabric1 set to version=apic-4.2(1j) lm(t):0(2019-10-01T14:52:55.217-04:00); discoveryMode=PERMISSIVE lm(t):0(1969-12-31T20:00:00.003-04:00); drrMode=OFF lm(t):0(1969-12-31T20:00:00.003-04:00); kafkaMode=OFF lm(t):0(1969-12-31T20:00:00.003-04:00)
appliance id=1 address=10.0.0.1 lm(t):2(2019-09-27T17:32:08.669-04:00) tep address=10.0.0.0/16 lm(t):1(2019-07-09T19:41:24.672-04:00) routable address=192.168.1.1 lm(t):2(2019-09-30T18:37:48.916-04:00) oob address=0.0.0.0 lm(t):0(zeroTime) version=4.2(1j) lm(t):1(2019-09-30T18:37:49.011-04:00) chassisId=c67d1076-a2a2-11e9-874e-a390922be712 lm(t):1(2019-09-30T18:37:49.011-04:00) capabilities=0X3EEFFFFFFFFF--0X2020--0X1 lm(t):1(2019-09-26T09:32:20.747-04:00) rK=(stable,absent,0) lm(t):0(zeroTime) aK=(stable,absent,0) lm(t):0(zeroTime) oobrK=(stable,absent,0) lm(t):0(zeroTime) oobaK=(stable,absent,0) lm(t):0(zeroTime) cntrlSbst=(APPROVED, FCH1929V153) lm(t):1(2019-10-01T12:46:44.711-04:00) (targetMbSn= lm(t):0(zeroTime), failoverStatus=0 lm(t):0(zeroTime)) podId=1 lm(t):1(2019-09-26T09:26:49.422-04:00) commissioned=YES lm(t):101(2019-09-30T18:45:10.320-04:00) registered=YES lm(t):3(2019-09-05T11:42:41.371-04:00) standby=NO lm(t):0(zeroTime) DRR=NO lm(t):101(2019-09-30T18:45:10.320-04:00) apicX=NO lm(t):0(zeroTime) virtual=NO lm(t):0(zeroTime) active=YES
appliance id=2 address=10.0.0.2 lm(t):2(2019-09-26T09:47:34.709-04:00) tep address=10.0.0.0/16 lm(t):2(2019-09-26T09:47:34.709-04:00) routable address=192.168.1.2 lm(t):2(2019-09-05T11:45:36.861-04:00) oob address=0.0.0.0 lm(t):0(zeroTime) version=4.2(1j) lm(t):2(2019-09-30T18:37:48.913-04:00) chassisId=611febfe-89c1-11e8-96b1-c7a7472413f2 lm(t):2(2019-09-30T18:37:48.913-04:00) capabilities=0X3EEFFFFFFFFF--0X2020--0X7 lm(t):2(2019-09-26T09:53:07.047-04:00) rK=(stable,absent,0) lm(t):0(zeroTime) aK=(stable,absent,0) lm(t):0(zeroTime) oobrK=(stable,absent,0) lm(t):0(zeroTime) oobaK=(stable,absent,0) lm(t):0(zeroTime) cntrlSbst=(APPROVED, FCH2045V1X2) lm(t):2(2019-10-01T12:46:44.710-04:00) (targetMbSn= lm(t):0(zeroTime), failoverStatus=0 lm(t):0(zeroTime)) podId=1 lm(t):2(2019-09-26T09:47:34.709-04:00) commissioned=YES lm(t):101(2019-09-30T18:45:10.320-04:00) registered=YES lm(t):2(2019-09-26T09:47:34.709-04:00) standby=NO lm(t):0(zeroTime) DRR=NO lm(t):101(2019-09-30T18:45:10.320-04:00) apicX=NO lm(t):0(zeroTime) virtual=NO lm(t):0(zeroTime) active=YES
appliance id=3 address=10.0.0.3 lm(t):3(2019-09-26T10:12:34.114-04:00) tep address=10.0.0.0/16 lm(t):3(2019-09-05T11:42:27.199-04:00) routable address=192.168.1.3 lm(t):2(2019-10-01T13:19:08.626-04:00) oob address=0.0.0.0 lm(t):0(zeroTime) version=4.2(1j) lm(t):3(2019-09-30T18:37:48.904-04:00) chassisId=99bade8c-cff3-11e9-bba7-5b906a49dc39 lm(t):3(2019-09-30T18:37:48.904-04:00) capabilities=0X3EEFFFFFFFFF--0X2020--0X4 lm(t):3(2019-09-26T10:18:13.149-04:00) rK=(stable,absent,0) lm(t):0(zeroTime) aK=(stable,absent,0) lm(t):0(zeroTime) oobrK=(stable,absent,0) lm(t):0(zeroTime) oobaK=(stable,absent,0) lm(t):0(zeroTime) cntrlSbst=(APPROVED, FCH1824V2VR) lm(t):3(2019-10-01T12:48:03.726-04:00) (targetMbSn= lm(t):0(zeroTime), failoverStatus=0 lm(t):0(zeroTime)) podId=2 lm(t):3(2019-09-26T10:12:34.114-04:00) commissioned=YES lm(t):101(2019-09-30T18:45:10.320-04:00) registered=YES lm(t):2(2019-09-05T11:42:54.935-04:00) standby=NO lm(t):0(zeroTime) DRR=NO lm(t):101(2019-09-30T18:45:10.320-04:00) apicX=NO lm(t):0(zeroTime) virtual=NO lm(t):0(zeroTime) active=YES
---------------------------------------------
clusterTime=<diff=15584 common=2019-10-01T14:53:01.648-04:00 local=2019-10-01T14:52:46.064-04:00 pF=<displForm=0 offsSt=0 offsVlu=-14400 lm(t):21(2019-09-26T10:40:35.412-04:00)>>
---------------------------------------------
Check04 — IP-bereikbaarheid naar APIC
Zodra het blad een IP-adres heeft ontvangen, probeert het TCP-sessies met de APIC tot stand te brengen en begint het proces van het downloaden van de configuratie. De gebruiker kan de IP-verbinding valideren met de APIC waarop het IP-hulpprogramma wordt uitgevoerd.
leaf101# iping -V overlay-1 10.0.0.1
PING 10.0.0.1 (10.0.0.1) from 10.0.0.30: 56 data bytes
64 bytes from 10.0.0.1: icmp_seq=0 ttl=64 time=0.651 ms
64 bytes from 10.0.0.1: icmp_seq=1 ttl=64 time=0.474 ms
64 bytes from 10.0.0.1: icmp_seq=2 ttl=64 time=0.477 ms
64 bytes from 10.0.0.1: icmp_seq=3 ttl=64 time=0.54 ms
64 bytes from 10.0.0.1: icmp_seq=4 ttl=64 time=0.5 ms
--- 10.0.0.1 ping statistics --- 5 packets transmitted, 5 packets received, 0.00% packet loss
round-trip min/avg/max = 0.474/0.528/0.651 ms
Check05 — Infra VLAN
Check05 - infra VLAN received [ok]
De controle van het infra-VLAN is alleen succesvol als de node is verbonden met een pod waarop een APIC bestaat. Als dit niet het geval is, kunt u het bericht negeren omdat de controle naar verwachting zal mislukken.
Het blad bepaalt het infra-VLAN op basis van LLDP-pakketten die zijn ontvangen van andere ACI-knooppunten. De eerste die wordt ontvangen, wordt geaccepteerd wanneer de switch wordt ontdekt.
(none)# moquery -c lldpInst
Total Objects shown: 1
# lldp.Inst
adminSt : enabled
childAction :
ctrl :
dn : sys/lldp/inst
holdTime : 120
infraVlan : 3967
initDelayTime : 2
lcOwn : local
modTs : 2019-09-12T07:25:33.194+00:00
monPolDn : uni/fabric/monfab-default
name :
operErr :
optTlvSel : mgmt-addr,port-desc,port-vlan,sys-cap,sys-desc,sys-name
rn : inst
status :
sysDesc : topology/pod-1/node-101
txFreq : 30
(none)# show vlan encap-id 3967
VLAN Name Status Ports
---- -------------------------------- --------- -------------------------------
8 infra:default active Eth1/1
VLAN Type Vlan-mode
---- ----- ----------
8 enet CE
Als het infra-VLAN niet is geprogrammeerd op de switchpoortinterfaces die zijn aangesloten op de APIC's, controleert u of er door het blad bedradingsproblemen zijn gedetecteerd.
(none)# moquery -c lldpIf -f 'lldp.If.wiringIssues!=""'
Total Objects shown: 1
# lldp.If
id : eth1/1
adminRxSt : enabled
adminSt : enabled
adminTxSt : enabled
childAction :
descr :
dn : sys/lldp/inst/if-[eth1/1]
lcOwn : local
mac : E0:0E:DA:A2:F2:83
modTs : 2019-09-30T18:45:22.323+00:00
monPolDn : uni/fabric/monfab-default
name :
operRxSt : enabled
operTxSt : enabled
portDesc :
portMode : normal
portVlan : unspecified
rn : if-[eth1/1]
status :
sysDesc :
wiringIssues : infra-vlan-mismatch
Check06 — LLDP Adjacency
Check06 - LLDP Adjacency [FAIL]
Error: leaf not connected to any spine
Om te bepalen welke poorten verbinding maken met andere ACI-apparaten, moet het blad LLDP ontvangen van de andere verbindingsknooppunten. Om te bevestigen dat LLDP is ontvangen, kan de gebruiker controleren door de opdracht LLDP-buren tonen uit te voeren:
(none)# show lldp neighbors
Capability codes:
(R) Router, (B) Bridge, (T) Telephone, (C) DOCSIS Cable Device
(W) WLAN Access Point, (P) Repeater, (S) Station, (O) Other
Device ID Local Intf Hold-time Capability Port ID
apic1 Eth1/1 120 eth2-1
apic2 Eth1/2 120 eth2-1
switch Eth1/51 120 BR Eth2/32
switch Eth1/54 120 BR Eth1/25
Total entries displayed: 4
Check07 — Switch-versie
Check07 - Switch version [ok]
version: n9000-14.2(1j) and apic version: 4.2(1j)
Als de APIC- en LEAF-versies niet identiek zijn, kan de fabric discovery mislukken. Als u de versie wilt valideren die op het blad wordt uitgevoerd, voert u de show-versie of de vsh -c 'show version'-opdracht uit:
(none)# show version
Cisco Nexus Operating System (NX-OS) Software
TAC support: https://www.cisco.com/tac/
Documents: https://www.cisco.com/c/en/us/support/ios-nx-os-software/nx-os-software/series.htmlCopyright (c) 2002-2014, Cisco Systems, Inc. All rights reserved.
The copyrights to certain works contained in this software are
owned by other third parties and used and distributed under
license. Certain components of this software are licensed under
the GNU General Public License (GPL) version 2.0 or the GNU
Lesser General Public License (LGPL) Version 2.1. A copy of each
such license is available at
https://opensource.org/license/gpl-2.0 and
https://opensource.org/license/LGPL-2.1
Software
BIOS: version 07.66
kickstart: version 14.2(1j) [build 14.2(1j)]
system: version 14.2(1j) [build 14.2(1j)]
PE: version 4.2(1j)
BIOS compile time: 06/11/2019
kickstart image file is: /bootflash/aci-n9000-dk9.14.2.1j.bin
kickstart compile time: 09/19/2019 07:57:41 [09/19/2019 07:57:41]
system image file is: /bootflash/auto-s
system compile time: 09/19/2019 07:57:41 [09/19/2019 07:57:41]
...
Hetzelfde commando werkt ook op de APIC's:
apic1# show version
Role Pod Node Name Version
---------- ---------- ---------- ------------------------ --------------------
controller 1 1 apic1 4.2(1j)
controller 1 2 apic2 4.2(1j)
controller 2 3 apic3 4.2(1j)
leaf 1 101 leaf101 n9000-14.2(1j)
leaf 1 102 leaf102 n9000-14.2(1j)
leaf 1 103 leaf103 n9000-14.2(1j)
spine 1 1001 spine1 n9000-14.2(1j)
spine 1 1002 spine2 n9000-14.2(1j)
Check08 — FPGA/EPLD/BIOS niet gesynchroniseerd
De FPGA-, EPLD- en BIOS-versies kunnen van invloed zijn op de leaf node om de modules op te halen zoals verwacht. Als deze te ver verouderd zijn, kunnen de interfaces van de switch niet verschijnen. U kunt de actieve en verwachte versies van FPGA, EPLD en BIOS valideren door deze moquery-opdrachten uit te voeren.
(none)# moquery -c firmwareCardRunning
Total Objects shown: 2
# firmware.CardRunning
biosVer : v07.66(06/11/2019)
childAction :
descr :
dn : sys/ch/supslot-1/sup/running
expectedVer : v07.65(09/04/2018) interimVer : 14.2(1j)
internalLabel :
modTs : never
mode : normal
monPolDn : uni/fabric/monfab-default
operSt : ok
rn : running
status :
ts : 1970-01-01T00:00:00.000+00:00
type : switch
version : 14.2(1j)
# firmware.CardRunning
biosVer : v07.66(06/11/2019)
childAction :
descr :
dn : sys/ch/lcslot-1/lc/running
expectedVer : v07.65(09/04/2018) interimVer : 14.2(1j)
internalLabel :
modTs : never
mode : normal
monPolDn : uni/fabric/monfab-default
operSt : ok
rn : running
status :
ts : 1970-01-01T00:00:00.000+00:00
type : switch
version : 14.2(1j)
(none)# moquery -c firmwareCompRunning
Total Objects shown: 2
# firmware.CompRunning
childAction :
descr :
dn : sys/ch/supslot-1/sup/fpga-1/running
expectedVer : 0x14 internalLabel :
modTs : never
mode : normal
monPolDn : uni/fabric/monfab-default
operSt : ok
rn : running
status :
ts : 1970-01-01T00:00:00.000+00:00
type : controller
version : 0x14
# firmware.CompRunning
childAction :
descr :
dn : sys/ch/supslot-1/sup/fpga-2/runnin
expectedVer : 0x4
internalLabel :
modTs : never
mode : normal
monPolDn : uni/fabric/monfab-default
operSt : ok
rn : running
status :
ts : 1970-01-01T00:00:00.000+00:00
type : controller
version : 0x4
Als de actieve FPGA-versie niet overeenkomt met de verwachte FPGA-versie, kan deze worden bijgewerkt met de stappen in het hoofdstuk Fabric Discovery, sectie Apparaatvervanging onder het scenario Leaf/Spine EPLD/FPGA Not Correct, F1582.
Controle09 — SSL-controle
Check09 - SSL check [check]
SSL certificate details are valid
SSL-communicatie wordt gebruikt tussen alle verbindingsknooppunten om de codering van het vliegtuigverkeer te garanderen. Het gebruikte SSL-certificaat wordt tijdens de productie geïnstalleerd en wordt gegenereerd op basis van het serienummer van het chassis. Dit is het ideale formaat van het onderwerp:
subject= /serienummer=PID: N9K-C93xxxxx SN: FDOxxxxxxxx/CN=FDOxxxxxxxx
Als u SSL-certificaten wilt valideren tijdens het opsporen van een switch, gebruikt u deze opdracht:
(none)# cd /securedata/ssl && openssl x509 -noout -subject -in server.crt
subject= /serialNumber=PID:N9K-C93180YC-EX SN:FDO20432LH1/CN=FDO20432LH1
Opmerking: Dit werkt alleen als niet-hoofdgebruiker als de switch node nog in de zoekresultaten staat.
Het serienummer van het chassis kunt u vinden door deze opdracht uit te voeren:
(none)# show inventory
NAME: "Chassis", DESCR: "Nexus C93180YC-EX Chassis"
PID: N9K-C93180YC-EX , VID: V00 , SN: FDO20160TPS
...
Daarnaast moet het certificaat geldig zijn op het huidige moment. Als u de geldige datums van het certificaat wilt bekijken, voert u de vlag -datums uit in de opdracht openssl:
(none)# cd /securedata/ssl && openssl x509 -noout -dates -in server.crt
notBefore=Nov 28 17:17:05 2016 GMT
notAfter=Nov 28 17:27:05 2026 GMT
Check10 — Downloadbeleid
Check10 - Downloading policies [FAIL]
Registration to all PM shards is not complete
Policy download is not complete
Zodra het blad IP-bereikbaarheid naar de APIC heeft, downloadt het de configuratie van de APIC en de APIC erkent dat de download voltooid is. De status van dit proces kan worden bekeken door deze opdracht uit te voeren:
(none)# moquery -c pconsBootStrap
Total Objects shown: 1
# pcons.BootStrap
allLeaderAcked : no
allPortsInService : yes
allResponsesFromLeader : yes
canBringPortInService : no
childAction :
completedPolRes : no
dn : rescont/bootstrap
lcOwn : local
modTs : 2019-09-27T22:52:48.729+00:00
rn : bootstrap
state : completed
status :
timerTicks : 360
try : 0
worstCaseTaskTry : 0
Controle11 — Tijd
Check11 - Checking time [ok]
2019-10-01 17:02:34
Deze controle toont de huidige tijd. Als er te veel delta is tussen APIC en switch, kan de detectie mislukken. Op de APIC kan de tijd worden gecontroleerd door de opdracht date uit te voeren:
apic1# date
Tue Oct 1 14:35:38 UTC 2019
Controle12 — Controle van module, voedingseenheid, ventilator
Om de switch te kunnen verbinden met andere apparatuur, moeten de modules actief en online zijn. Dit kan worden gevalideerd door het uitvoeren van de show module en show omgeving commando's:
(none)# show module
Mod Ports Module-Type Model Status
--- ----- ----------------------------------- ------------------ ----------
1 54 48x10/25G+6x40/100G Switch N9K-C93180YC-EX ok
Mod Sw Hw
--- -------------- ------
1 14.2(1j) 0.3050
Mod MAC-Address(es) Serial-Num
--- -------------------------------------- ----------
1 e0-0e-da-a2-f2-83 to e0-0e-da-a2-f2-cb FDO20160TPS
Mod Online Diag Status
--- ------------------
1 pass
(none)# show environment
Power Supply:
Voltage: 12.0 Volts
Power Actual Total
Supply Model Output Capacity Status
(Watts ) (Watts )
------- ------------------- ----------- ----------- --------------
1 NXA-PAC-650W-PI 0 W 650 W shut
2 NXA-PAC-650W-PI 171 W 650 W ok
Actual Power
Module Model Draw Allocated Status
(Watts ) (Watts )
-------- ------------------- ----------- ----------- --------------
1 N9K-C93180YC-EX 171 W 492 W Powered-Up
fan1 NXA-FAN-30CFM-B N/A N/A Powered-Up
fan2 NXA-FAN-30CFM-B N/A N/A Powered-Up
fan3 NXA-FAN-30CFM-B N/A N/A Powered-Up
fan4 NXA-FAN-30CFM-B N/A N/A Powered-Up
N/A - Per module power not available
Power Usage Summary:
--------------------
Power Supply redundancy mode (configured) Non-Redundant(combined)
Power Supply redundancy mode (operational) Non-Redundant(combined)
Total Power Capacity (based on configured mode) 650 W
Total Power of all Inputs (cumulative) 650 W
Total Power Output (actual draw) 171 W
Total Power Allocated (budget) N/A
Total Power Available for additional modules N/A
Fan:
------------------------------------------------------
Fan Model Hw Status
------------------------------------------------------
Fan1(sys_fan1) NXA-FAN-30CFM-B -- ok
Fan2(sys_fan2) NXA-FAN-30CFM-B -- ok
Fan3(sys_fan3) NXA-FAN-30CFM-B -- ok
Fan4(sys_fan4) NXA-FAN-30CFM-B -- ok
Fan_in_PS1 -- -- unknown
Fan_in_PS2 -- -- ok
Fan Speed: Zone 1: 0x7f
Fan Air Filter : Absent
Temperature:
-----------------------------------------------------------------------------------
Module Sensor MajorThresh MinorThres CurTemp Status
(Celsius) (Celsius) (Celsius)
-----------------------------------------------------------------------------------
1 Inlet(1) 70 42 35 normal
1 outlet(2) 80 70 37 normal
1 x86 processor(3) 90 80 38 normal
1 Sugarbowl(4) 110 90 60 normal
1 Sugarbowl vrm(5) 120 110 50 normal
Als een module geen verbinding tot stand kan brengen, plaatst u de module opnieuw en controleert u op FPGA-, EPLD- of BIOS-mismatches.
Voorbeeld van gebroken scenario's
Scenario 1 - First Leaf is niet in Fabric-lidmaatschap
In dit geval meldt u zich aan bij APIC1 nadat u het installatiescript hebt voltooid en worden er geen switches weergegeven in het Fabric-lidmaatschap. Om het eerste blad succesvol te kunnen ontdekken, moet de APIC in de ontdekkingsfase een DHCP Discover van het blad ontvangen.
Controleer of de APIC1 LLDP-TLV's verzendt die overeenkomen met de parameters die zijn ingesteld in het installatiescript:
apic1# acidiag run lldptool out eth2-1
Chassis ID TLV
MAC: e8:65:49:54:88:a1
Port ID TLV
MAC: e8:65:49:54:88:a1
Time to Live TLV
120
Port Description TLV
eth2-1
System Name TLV
apic1
System Description TLV
topology/pod-1/node-1
Management Address TLV
IPv4: 10.0.0.1
Ifindex: 4
Cisco Port State TLV
1
Cisco Node Role TLV
0
Cisco Node ID TLV
1
Cisco POD ID TLV
1
Cisco Fabric Name TLV
ACIFabric1
Cisco Appliance Vector TLV
Id: 1
IPv4: 10.0.0.1
UUID: c67d1076-a2a2-11e9-874e-a390922be712
Cisco Node IP TLV
IPv4:10.0.0.1
Cisco Port Role TLV
2
Cisco Infra VLAN TLV
3967
Cisco Serial Number TLV
FCH1929V153
Cisco Authentication Cookie TLV
1372058352
Cisco Standby APIC TLV
0
End of LLDPDU TLV
Valideren dat APIC1 LLDP rechtstreeks vanuit de aangesloten leaf node ontvangt:
apic1# acidiag run lldptool in eth2-1
Chassis ID TLV
MAC: e0:0e:da:a2:f2:83
Port ID TLV
Local: Eth1/1
Time to Live TLV
120
Port Description TLV
Ethernet1/1
System Name TLV
switch
System Description TLV
Cisco Nexus Operating System (NX-OS) Software 14.2(1j)
TAC support: http://www.cisco.com/tacCopyright (c) 2002-2020, Cisco Systems, Inc. All rights reserved.
System Capabilities TLV
System capabilities: Bridge, Router
Enabled capabilities: Bridge, Router
Management Address TLV
MAC: e0:0e:da:a2:f2:83
Ifindex: 83886080
Cisco 4-wire Power-via-MDI TLV
4-Pair PoE supported
Spare pair Detection/Classification not required
PD Spare pair Desired State: Disabled
PSE Spare pair Operational State: Disabled
Cisco Port Mode TLV
0
Cisco Port State TLV
1
Cisco Serial Number TLV
FDO20160TPS
Cisco Model TLV
N9K-C93180YC-EX
Cisco Firmware Version TLV
n9000-14.2(1j)
Cisco Node Role TLV
1
Cisco Infra VLAN TLV
3967
Cisco Node ID TLV
0
End of LLDPDU TLV
Als APIC1 LLDP rechtstreeks vanuit de aangesloten leaf node ontvangt, programmeert de leaf het infrarood VLAN op de poorten die zijn aangesloten op de APIC. Deze VLAN-programmering kan worden gevalideerd door de opdracht show vlan encap-id <x> uit te voeren waarbij x het geconfigureerde infra VLAN is.
(none)# show vlan encap-id 3967
VLAN Name Status Ports
---- -------------------------------- --------- -------------------------------
8 infra:default active Eth1/1
VLAN Type Vlan-mode
---- ----- ----------
8 enet CE
Als het infrarood-VLAN niet is geprogrammeerd, controleert u of er problemen zijn met de bedrading die door de leaf-node zijn gedetecteerd.
(none)# moquery -c lldpIf -f 'lldp.If.wiringIssues!=""'
Total Objects shown: 1
# lldp.If
id : eth1/1
adminRxSt : enabled
adminSt : enabled
adminTxSt : enabled
childAction :
descr :
dn : sys/lldp/inst/if-[eth1/1]
lcOwn : local
mac : E0:0E:DA:A2:F2:83
modTs : 2019-09-30T18:45:22.323+00:00
monPolDn : uni/fabric/monfab-default
name :
operRxSt : enabled
operTxSt : enabled
portDesc :
portMode : normal
portVlan : unspecified
rn : if-[eth1/1]
status :
sysDesc :
wiringIssues : infra-vlan-mismatch
Wanneer het attribuut voor bedradingsproblemen is ingesteld op infra-vlan-mismatch, is de indicatie dat het blad een ander infra-VLAN heeft geleerd dan de waarde die de APIC verzendt (de APIC-verzonden waarde kan worden geverifieerd door de opdracht moquery -c lldpInst uit te voeren.) Dit scenario kan optreden als het blad LLDP ontvangt van een knooppunt dat ooit deel uitmaakte van een andere stof.
In wezen accepteert een node in discovery de eerste infrarood VLAN die via LLDP wordt ontvangen. Om dit op te lossen, verwijdert u de verbindingen tussen dit blad en de andere ACI-knooppunten, met uitzondering van de APIC, en laadt u de switch vervolgens op door de opdrachten acidiag touch clean en reload uit te voeren. Zodra de switch is opgestart, controleert u of het juiste infra-VLAN is geprogrammeerd. Als dit waar is, kunnen verbindingen worden hersteld naar de andere knooppunten en kunt u verder gaan met het instellen van de ACI-structuur.
Scenario 2 - Andere APIC's sluiten zich niet aan bij het cluster
In dit scenario zijn alle weefselknooppunten ontdekt, maar APIC2 en 3 hebben zich niet bij het APIC-cluster aangesloten.
De waarden van het setup-script voor APIC's valideren. Waarden die moeten overeenkomen zijn:
- Fabric-domein
- Fabric-ID
- TEP-pool
- Infra-VLAN
- GIPo
- Clustergrootte
- Firmwareversie
apic1# cat /data/data_admin/sam_exported.config
Setup for Active and Standby APIC
fabricDomain = ACIFabric1
fabricID = 1
systemName =apic1
controllerID = 1
tepPool = 10.0.0.0/16
infraVlan = 3967
GIPo = 225.0.0.0/15
clusterSize = 3
standbyApic = NO
enableIPv4 = Y
enableIPv6 = N
firmwareVersion = 4.2(1j)
ifcIpAddr = 10.0.0.1
apicX = NO
podId = 1
oobIpAddr = 10.48.22.69/24
Controleer veelvoorkomende problemen door de opdracht acidiag cluster op alle drie de APIC's uit te voeren:
apic1# acidiag cluster
Admin password:
Product-name = APIC-SERVER-M1
Serial-number = FCH1906V1XV
Running...
Checking Core Generation: OK
Checking Wiring and UUID: OK
Checking AD Processes: Running
Checking All Apics in Commission State: OK
Checking All Apics in Active State: OK
Checking Fabric Nodes: OK
Checking Apic Fully-Fit: OK
Checking Shard Convergence: OK
Checking Leadership Degration: Optimal leader for all shards
Ping OOB IPs:
APIC-1: 10.48.22.69 - OK
APIC-2: 10.48.22.70 - OK
APIC-3: 10.48.22.71 - OK
Ping Infra IPs:
APIC-1: 10.0.0.1 - OK
APIC-2: 10.0.0.2 - OK
APIC-3: 10.0.0.3 - OK
Checking APIC Versions: Same (4.2(1j))
Checking SSL: OK
Done!
Voer ten slotte de opdracht avread uit om te valideren of deze instellingen voor alle APIC's overeenkomen. Dit is een andere opdracht dan het typische zuurtegraad-gemiddelde, dat een vergelijkbare output laat zien, maar wordt ontleed voor gemakkelijker verbruik:
apic1# avread
Cluster:
-------------------------------------------------------------------------
fabricDomainName ACIFabric1
discoveryMode PERMISSIVE
clusterSize 3
version 4.2(1j)
drrMode OFF
operSize 3
APICs:
-------------------------------------------------------------------------
APIC 1 APIC 2 APIC 3
version 4.2(1j) 4.2(1j) 4.2(1j)
address 10.0.0.1 10.0.0.2 10.0.0.3
oobAddress 10.48.22.69/24 10.48.22.70/24 10.48.22.71/24
routableAddress 0.0.0.0 0.0.0.0 0.0.0.0
tepAddress 10.0.0.0/16 10.0.0.0/16 10.0.0.0/16
podId 1 1 1
chassisId 3c9e5024-.-5a78727f 573e12c0-.-6b8da0e5 44c4bf18-.-20b4f52& cntrlSbst_serial (APPROVED,FCH1906V1XV) (APPROVED,FCH1921V1Q9) (APPROVED,FCH1906V1PW)
active YES YES YES
flags cra- cra- cra-
health 255 255 255
apic1#
Scenario 3 - Wervelkolom is niet in Fabric-lidmaatschap
In dit scenario wordt het eerste blad in de stof ontdekt, maar er zijn geen stekels in ontdekking onder het submenu Fabric Membership.
Valideer fysieke connectiviteit van blad tot wervelkolom. In dit voorbeeld is de bladinterface verbonden met een wervelkolom via switch e1/49:
leaf101# show int eth1/49
Ethernet1/49 is up
admin state is up, Dedicated Interface
Hardware: 1000/10000/100000/40000 Ethernet, address: 0000.0000.0000 (bia e00e.daa2.f3f3)
MTU 9366 bytes, BW 100000000 Kbit, DLY 1 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is routed
full-duplex, 100 Gb/s
...
Als de poort zich in de status "buiten bedrijf" bevindt, controleert u op de wervelkolom waar LLDP is ontvangen van het rechtstreeks verbonden blad:
(none)# show lldp neighbors
Capability codes:
(R) Router, (B) Bridge, (T) Telephone, (C) DOCSIS Cable Device
(W) WLAN Access Point, (P) Repeater, (S) Station, (O) Other
Device ID Local Intf Hold-time Capability Port ID
leaf102 Eth2/27 120 BR Eth1/53
leaf103 Eth2/29 120 BR Eth1/49
leaf101 Eth2/32 120 BR Eth1/51
Total entries displayed: 3
Een andere validatie is om te controleren of er geen versieverschil is tussen blad en wervelkolom. Als dat het geval is, corrigeer de situatie door de nieuwere versie naar /bootflash van de wervelkolom te kopiëren. Configureer vervolgens de switch om de software op te starten door de volgende opdrachten uit te voeren:
(none)# ls -alh /bootflash
total 3.0G
drwxrwxr-x 3 root admin 4.0K Oct 1 20:21 .
drwxr-xr-x 50 root root 1.3K Oct 1 00:22 ..
-rw-r--r-- 1 root root 3.5M Sep 30 21:24 CpuUsage.Log
-rw-rw-rw- 1 root root 1.7G Sep 27 14:50 aci-n9000-dk9.14.2.1j.bin
-rw-r--r-- 1 root root 1.4G Sep 27 21:20 auto-s
-rw-rw-rw- 1 root root 2 Sep 27 21:25 diag_bootup
-rw-r--r-- 1 root root 54 Oct 1 20:20 disk_log.txt
-rw-rw-rw- 1 root root 693 Sep 27 21:23 libmon.logs
drwxr-xr-x 4 root root 4.0K Sep 26 15:24 lxc
-rw-r--r-- 1 root root 384K Oct 1 20:20 mem_log.txt
-rw-r--r-- 1 root root 915K Sep 27 21:10 mem_log.txt.old.gz
-rw-rw-rw- 1 root root 12K Sep 27 21:17 urib_api_log.txt
(none)# setup-bootvars.sh aci-n9000-dk9.14.2.1j.bin
In progress
In progress
In progress
In progress
Done
Als de nieuwe afbeelding continu uit bootflash wordt verwijderd, zorg er dan voor dat de map minder dan half vol is door oudere afbeeldingen of automatisch bestand te verwijderen; controleer het ruimtegebruik door de opdracht 'df -h' op de switch uit te voeren.
Nadat u de opstartvariabele hebt ingesteld, laadt u de switch opnieuw en start deze op naar de nieuwe versie.
FPGA-, EPLD- en BIOS-validatie is mogelijk vereist na herladen. Raadpleeg de subsectie Leaf/Spine EPLD/FPGA Not Correct, F1582 voor verdere probleemoplossing.
Scenario 4 - Na de eerste weefseldetectie worden clusterflappen tussen volledig fit en gedegradeerd
Als dit gebeurt na een nieuwe configuratie van de stof, kan dit worden veroorzaakt door onjuiste bekabeling van de APIC-M3 of APIC-L3 die op de stof is aangesloten. U kunt een onjuiste bekabeling bevestigen door de opdracht show lldp neighbours uit te voeren op beide switches die op de APIC zijn aangesloten. Nadat u dit meerdere keren hebt uitgevoerd, bekijken beide switches dezelfde APIC-interface.
De achterkant van een APIC-M3/L3-server ziet er als volgt uit:
Achteraanzicht van APIC-M3/L3-server:
Merk op dat voor een APIC-M3/L3 de VIC-kaart 4 poorten heeft: ETH2-1, ETH2-2, ETH2-3 en ETH2-4, zoals hier te zien is.
Opmerking: voor een APIC-M3/L3 heeft de VIC-kaart 4 poorten:
- ETH2-1
- ETH2-2
- ETH2-3
- ETH2-4
Weergave van APIC VIC 1455 met labels:
De volgende regels gelden voor het aansluiten van de APIC-server op switches:
- Alle poorten moeten dezelfde snelheid hebben, 10 Gigabit of 25 Gigabit.
- ETH2-1 en ETH2-2: één poort-kanaalpaar, overeenkomend met eth2-1 ('ifconfig'-uitvoer) van het APIC-besturingssysteem.
- ETH2-3 en ETH2-4: ander poortkanaalpaar, overeenkomend met eth2-2 ('ifconfig'-uitvoer) op APIC OS.
- Per poort-kanaalpaar is slechts één verbinding toegestaan. Sluit bijvoorbeeld één kabel aan op ETH2-1 of ETH2-2 en sluit een andere kabel aan op ETH2-3 of ETH2-4.
- Sluit nooit beide ETH's aan in een poortkanaalpaar, omdat dit problemen veroorzaakt bij het ontdekken van verbindingen.
Deze grafiek geeft de VIC-poorttoewijzing aan APIC-binding weer:
VIC 1455-poorten — APIC redundante fabric-poort:
Revisiegeschiedenis
| Revisie | Publicatiedatum | Opmerkingen |
|---|---|---|
3.0 |
10-Aug-2026
|
Bijgewerkte spelling, grammatica, ingevoegde horizontale regels om secties/leesbaarheid te scheiden, vaste CCW-waarschuwingen, vaste alt-tekst. |
2.0 |
21-Apr-2025
|
Herformatteren, grammatica, spelling, kopteksten. |
1.0 |
05-Aug-2022
|
Eerste vrijgave |
FeedbackContact Cisco
- Een ondersteuningscase openen
- (Vereist een Cisco-servicecontract)