Nexus 9000 Cloud Scale ASIC CRC identificeren en traceren
Inhoud
Inleiding
Dit document beschrijft de stappen die worden gebruikt om de bron van CRC-fouten te traceren die zijn waargenomen op Cisco Nexus 9000 Cloud Scale ASIC-modules.
Voorwaarden
Vereisten
Cisco raadt u aan om de basisprincipes van cut-through en store-and-forward switching te begrijpen. Cisco raadt u ook aan de basisprincipes van het FCS-veld (Ethernet Frame Check Sequence) en het CRC-algoritme (Cyclic Redundancy Check) te begrijpen dat wordt gebruikt door het FCS-veld. Zie voor meer informatie dit document:
Gebruikte componenten
De informatie in dit document is gebaseerd op Cisco Nexus 9000-serie switches met de Cloud Scale ASIC met NX-OS software release 7.0(3)I7(8).
De informatie in dit document is gebaseerd op de apparaten in een specifieke laboratoriumomgeving. Alle apparaten die in dit document worden beschreven, hadden een opgeschoonde (standaard)configuratie. Als uw netwerk live is, moet u zorgen dat u de potentiële impact van elke opdracht begrijpt.
Achtergrondinformatie
In dit document wordt ook beschreven hoe CRC-fouten met en zonder stampen kunnen worden onderscheiden die worden waargenomen op fysische interfaces en inwendige verbindingen van modulaire Nexus-switches.
Cisco Nexus 9000-serie switches gebruiken standaard cut-through switching. Cut-through switching is waar een switch een forwardingbeslissing neemt over een frame en begint met het doorsturen van het frame uit een egress-interface zodra de switch genoeg van de header van het frame heeft verwerkt om een geldige forwardingbeslissing te nemen. Dit verschilt van store-and-forward switching, waarbij een switch het hele frame buffert voordat het frame wordt doorgestuurd uit een uitgang-interface.
Het FCS-veld van een Ethernet-frame valideert de integriteit van het frame en zorgt ervoor dat het frame tijdens het transport niet is beschadigd. Het FCS-veld van een Ethernet-frame bevindt zich aan het einde van het Ethernet-frame achter de payload van het frame. Een switch die in een store-and-forward-switchmodus werkt, kan de integriteit van een Ethernet-frame met het FCS-veld verifiëren voordat het frame uit een uitgang-interface wordt doorgestuurd (of het frame laten vallen als het FCS-veld ongeldige inhoud heeft). Een switch die in een doorgeschakelde switchmodus werkt, kan echter niet controleren of een Ethernet-frame integer is met het FCS-veld voordat het frame wordt doorgestuurd uit een uitgang-interface; met andere woorden, tegen de tijd dat een doorgeschakelde switch in staat is om de integer van een Ethernet-frame te verifiëren, is het grootste deel van het Ethernet-frame al doorgestuurd uit een uitgang-interface.
Als een switch die in een modus voor doorschakelen werkt, een Ethernet-frame ontvangt met een ongeldig FCS-veld, kan de switch de volgende acties uitvoeren:
- Bereken de CRC-waarde van het inkomende beschadigde frame en herschrijf vervolgens het FCS-veld van het Ethernet-frame met de bitsgewijze inverse van de berekende CRC-waarde. Als het frame moet worden gerouteerd, wordt de CRC-waarde van het beschadigde frame berekend en bitsgewijs omgekeerd nadat de Ethernet-header van het frame is herschreven. Deze actie staat bekend als het "stampen" van de CRC.
- Stuur de rest van het Ethernet-frame (samen met de gestampte CRC) door uit de uitgang-interface, afhankelijk van de beslissing die op het frame is genomen om door te sturen.
- Verhoog de teller van invoerfouten en/of CRC-fouten op de ingangsinterface.
In dit document worden de stappen beschreven om te controleren of CRC-tellers die zijn gekoppeld aan een ingress-interface normale CRC's zijn (die doorgaans wijzen op problemen met de fysieke laag op de koppeling die is verbonden met de ingress-interface) of gestampte CRC's (die aangeven dat het apparaat dat is verbonden met de ingress-interface ook werkt in een cut-through-switchmodus en een verkeerd gevormd Ethernet-frame heeft ontvangen).
Toepasselijke hardware
De in dit document beschreven procedure is alleen van toepassing op deze hardware:
Nexus 9200/9300 Vaste Switches
- N9K-C92160YC-X
- N9K-C92300YC
- N9K-C92304QC
- N9K-C92348GC-X
- N9K-C9236C
- N9K-C9272Q
- N9K-C9332C
- N9K-C9364C
- N9K-C93108TC-EX
- N9K-C93108TC-EX-24
- N9K-C93180LC-EX
- N9K-C93180YC-EX
- N9K-C93180YC-EX-24
- N9K-C93108TC-FX
- N9K-C93108TC-FX-24
- N9K-C93180YC-FX
- N9K-C93180YC-FX-24
- N9K-C9348GC-FXP
- N9K-C93240YC-FX2
- N9K-C93216TC-FX2
- N9K-C9336C-FX2
- N9K-C9336C-FX2-E
- N9K-C93360YC-FX2
- N9K-C93180YC-FX3
- N9K-C93108TC-FX3P
- N9K-C93180YC-FX3S
- N9K-C9316D-GX
- N9K-C93600CD-GX
- N9K-C9364C-GX
- N9K-C9364D-GX2A
- N9K-C9332D-GX2B
Nexus 9500 modulaire Switch lijn kaarten
- N9K-X97160YC-EX
- N9K-X9732C-EX
- N9K-X9736C-EX
- N9K-X97284YC-FX
- N9K-X9732C-FX
- N9K-X9788TC-FX
- N9K-X9716D-GX
Cisco Nexus 9200 en 9300 Cloud Scale CRC-identificatie en -traceringsprocedure
In dit gedeelte van het document worden stapsgewijze aanwijzingen beschreven om de bron van CRC-fouten te identificeren die zijn waargenomen op een specifieke ethernetinterface1/1 op switches uit de Cisco Nexus 9200- en 9300-reeks.
NX-OS Software Release 10.2(1) en hoger
Beginnend met NX-OS-softwarerelease 10.2(1), hebben Nexus-switches die zijn uitgerust met de Cloud Scale ASIC een nieuwe interfaceteller voor pakketten met een gestampte CRC in het FCS-veld van Ethernet-frames die de switch doorkruisen. U kunt de opdracht interface tonen gebruiken om fysieke interfaces te identificeren met toenemende niet-nul CRC en gestampte CRC-tellers. Een voorbeeld hiervan wordt hier getoond, waar de fysieke interface Ethernet1/1 een nul CRC-teller en niet-nul stomped CRC-teller heeft, wat aangeeft dat frames met een ongeldige en gestampte CRC op deze interface zijn ontvangen.
switch# show interface
<snip>
Ethernet1/1 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 04:09:21
Last clearing of "show interface" counters 00:50:37
0 interface resets
RX
8 unicast packets 253 multicast packets 2 broadcast packets
1832838280 input packets 2199405650587 bytes
0 jumbo packets 0 storm suppression bytes
0 runts 0 giants 1832838019 CRC 0 no buffer
1832838019 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
1832838019 Stomped CRC
TX
908 unicast packets 323 multicast packets 3 broadcast packets
1234 output packets 113342 bytes
0 jumbo packets
0 output error 0 collision 0 deferred 0 late collision
0 lost carrier 0 no carrier 0 babble 0 output discard
0 Tx pause
Opmerking: een toenemende CRC-teller geeft aan dat een frame is ontvangen met ofwel een gestampte CRC of een ongeldige, maar niet-gestampte CRC. Een toenemende gestampte CRC-tellerverhoging geeft aan dat een frame met een gestampte CRC is ontvangen.
Als alternatief kan de opdracht Toon interface tellers fouten niet-nul worden gebruikt om interface fouten tellers zien. Hieronder volgt een voorbeeld hiervan.
switch# show interface counters errors non-zero
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth1/1 1790348828 1790348828 0 1790348828 0 0
--------------------------------------------------------------------------------
Port Single-Col Multi-Col Late-Col Exces-Col Carri-Sen Runts
--------------------------------------------------------------------------------
--------------------------------------------------------------------------------
Port Giants SQETest-Err Deferred-Tx IntMacTx-Er IntMacRx-Er Symbol-Err
--------------------------------------------------------------------------------
--------------------------------------------------------------------------------
Port InDiscards
--------------------------------------------------------------------------------
--------------------------------------------------------------------------------
Port Stomped-CRC
--------------------------------------------------------------------------------
Eth1/1 1790348828
U kunt de opdracht show interface pijpen naar de json of json-pretty commando's om CRC en gestampte CRC teller statistieken te verkrijgen in een gestructureerd formaat. Hieronder volgt een voorbeeld hiervan.
switch# show interface Ethernet1/1 | json-pretty | include ignore-case crc
"eth_crc": "828640831",
"eth_stomped_crc": "828640831",
De NX-API REST API kan worden gebruikt om dezelfde statistieken op te halen met behulp van het objectmodel sys/intf/phys-[intf-id]/dbgEtherStats.json. Hieronder volgt een voorbeeld hiervan.
/api/node/mo/sys/intf/phys-[eth1/1]/dbgEtherStats.json
{
"totalCount": "1",
"imdata": [
{
"rmonEtherStats": {
"attributes": {
"cRCAlignErrors": "26874272810",
"dn": "sys/intf/phys-[eth1/1]/dbgEtherStats",
"dropEvents": "0",
"rXNoErrors": "26874276337",
"stompedCRCAlignErrors": "26874272810",
...
}
}
}
]
}
NX-OS Software Release 10.1(2) en eerder
Voor NX-OS-softwarereleases vóór 10.2(1) is de gestampte CRC-teller niet beschikbaar op interfaces. Er zijn verschillende stappen nodig om de ingangsinterface te bepalen waar ongeldige CRC's worden waargenomen en om te valideren of de CRC's ongeldig of gestampt zijn.
Stap 1. Incrementele CRC-tellers identificeren op fysieke interface(s)
Gebruik de opdracht interface tonen om fysieke interfaces te identificeren met toenemende niet-nul CRC-tellers. Een voorbeeld hiervan wordt hier getoond, waar de fysieke interface Ethernet1/1 een niet-nul CRC-teller heeft.
switch# show interface
<snip> Ethernet1/1 is up admin state is up, Dedicated Interface Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe) MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec reliability 255/255, txload 1/255, rxload 1/255 Encapsulation ARPA, medium is broadcast Port mode is trunk full-duplex, 10 Gb/s, media type is 10G Beacon is turned off Auto-Negotiation is turned on FEC mode is Auto Input flow-control is off, output flow-control is off Auto-mdix is turned off Rate mode is dedicated Switchport monitor is off EtherType is 0x8100 EEE (efficient-ethernet) : n/a admin fec state is auto, oper fec state is off Last link flapped 04:09:21 Last clearing of "show interface" counters 00:50:37 0 interface resets RX 3 unicast packets 3087 multicast packets 0 broadcast packets 3097 input packets 244636 bytes 7 jumbo packets 0 storm suppression bytes 0 runts 7 giants 7 CRC 0 no buffer 7 input error 0 short frame 0 overrun 0 underrun 0 ignored 0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop 0 input with dribble 0 input discard 0 Rx pause
U kunt ook de opdracht Interfacetellers weergeven die geen nul zijn, gebruiken om alle interfaces weer te geven met niet-nul-fouttellers (inclusief niet-nul CRC-tellers). Een voorbeeld hiervan wordt hier getoond, waarbij fysieke interface Ethernet1/1 een niet-nul CRC-teller heeft die wordt weergegeven door de FCS-Err-kolom.
switch# show interface counters errors non-zero <snip> -------------------------------------------------------------------------------- Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards -------------------------------------------------------------------------------- Eth1/1 7 7 0 7 0 0
Stap 2. De fysieke interface toewijzen aan de ASIC-, MAC-blok- en Mac-bloksubpoort
Gebruik de opdracht hardware-mappings weergeven om drie belangrijke kenmerken te identificeren:
- Eenheid - De id van de ASIC-schaal van de cloud waarmee de fysieke interface verbinding maakt. Dit maakt gebruik van een op nul gebaseerd nummeringssysteem (bijvoorbeeld de eerste ASIC is 0, de tweede ASIC is 1, enzovoort)
- MacId - De identificatie van het MAC-blok waarmee de fysieke interface verbinding maakt. Dit maakt gebruik van een op nul gebaseerd nummeringssysteem (het eerste MAC-blok is bijvoorbeeld 0, het tweede MAC-blok is 1, enzovoort)
- MacSP - De identificatie van de subpoort van het MAC-blok waarmee de fysieke interface verbinding maakt. Elk MAC-blok heeft vier subpoorten die eraan zijn gekoppeld, die een op nul gebaseerd nummeringssysteem gebruiken en met een waarde van 2 toenemen. Daarom heeft de eerste subpoort een index van 0, de tweede subpoort heeft een index van 2, de derde subpoort heeft een index van 4 en de vierde subpoort heeft een index van 6.
Dit wordt aangetoond in het voorbeeld hier, waar fysieke interface Ethernet1/1 is gekoppeld aan Cloud Scale ASIC 0, MAC-blok 4 en MAC-blok subpoort 0.
switch# show interface hardware-mappings
<snip>
-------------------------------------------------------------------------------------------------------
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
-------------------------------------------------------------------------------------------------------
Eth1/1 1a000000 1 0 16 255 0 -1 0 16 32 4 0 1 0 32
Eth1/2 1a000200 1 0 17 255 4 -1 0 17 34 4 2 5 0 34
Eth1/3 1a000400 1 0 18 255 8 -1 0 18 36 4 4 9 0 36
Eth1/4 1a000600 1 0 19 255 12 -1 0 19 38 4 6 13 0 38
Eth1/5 1a000800 1 0 12 255 16 -1 0 12 24 3 0 17 0 24
Stap 3. Controleer ASIC-registers op cloudschaal voor CRC-gerelateerde tellers
Gebruik de opdracht {x} interne hardwaretellers tonen {asic} om registertellers voor de ASIC-schaal van de cloud weer te geven. Deze opdracht bevat twee variabelen:
- {x} - Vervang deze waarde door het nummer van de lijnkaartsleuf. Voor top-of-rack switches is dit altijd een waarde van 1. Voor modulaire switches aan het einde van een rij is het nummer van de lijnkaartsleuf het eerste nummer in de naam van de fysieke interface. Zo zou de fysieke interface Ethernet1/1 een lijnkaartsleufnummer van 1 hebben, terwijl de fysieke interface Ethernet4/24 een lijnkaartsleufnummer van 4 zou hebben.
- {y} - Vervang deze waarde door de ASIC-id voor de cloudschaal die in stap 2 is geïdentificeerd. Als de kolom Eenheid voor fysieke interface Ethernet1/1 bijvoorbeeld een waarde van 0 had, zou de waarde van deze variabele 0 zijn. Als de kolom Eenheid voor fysieke interface Ethernet4/24 een waarde van 3 had, dan zou de waarde van deze variabele 3 zijn.
Deze uitvoer kan een tabel weergeven. Elke rij van de tabel is een ander ASIC-register. Elke kolom van de tabel komt overeen met een fysische interface op de switch. De naam die voor elke kolom wordt gebruikt, is niet de naam van de fysieke interface, maar is een combinatie van het MAC-blok en de MAC-blok-subpoort. Het formaat dat voor de kolomkop wordt gebruikt, is dit:
M{A},{B}-{InterfaceSpeed}Er zijn drie variabelen in dit formaat, die zijn:
- {A} - Vervang deze waarde door het MAC-bloknummer.
- {B} - Vervang deze waarde door het subpoortnummer van het MAC-blok.
- {InterfaceSpeed} - Deze waarde kan corresponderen met de fysieke snelheid van de interface (bijvoorbeeld 10G, 25G, 40Gx4, enzovoort)
Dat blijkt uit het voorbeeld hier. Onthoud dat de fysieke interface Ethernet1/1 is gekoppeld aan lijnkaartsleuf nummer 1 en Cloud Scale ASIC 0, wat betekent dat de opdracht die u moet uitvoeren sleuf 1 is om interne tah-tellers voor hardware weer te geven asic 0. Het MAC-blok dat is gekoppeld aan de fysieke interface Ethernet1/1 is 4, de MAC-blok-subpoort die is gekoppeld aan de fysieke interface Ethernet1/1 is 0 en de fysieke interface Ethernet1/1 is een 10G-interface. Daarom is de kolomkop die we zoeken M4, 0-10G.
switch# slot 1 show hardware internal tah counters asic 0 <snip> *************** PER MAC/CH SRAM COUNTERS **************** REG_NAME M4,0-10G M4,2-10G M4,4-10G M4,6-10G M5,0-40Gx4 M6,0-40Gx4 M7,0-40Gx4 M8,0-10G ---------------------------------------------------------------------------------------------------------------------------- 02-RX Frm with FCS Err .... .... .... .... .... .... .... .... 16-RX Frm CRC Err(Stomp) c .... .... .... .... .... .... ....
De uitvoer van deze opdracht bevat enkele tientallen registertellers. Er zijn twee belangrijke registertellers die verband houden met het onderscheiden van natuurlijke CRC-fouten van gestampte CRC's:
- 02-RX Frm met FCS Err - Geeft aan dat een frame met een ongeldige, maar niet-gestampte CRC is ontvangen.
- 16-RX Frm CRC Err(Stomp) - Geeft aan dat een frame met een gestampte CRC is ontvangen.
De waarde van deze tellers is hexadecimaal. De opdracht dec NX-OS kan een hexadecimale waarde omzetten in een decimale waarde, zoals hier wordt weergegeven.
N9K-C93180YC-EX-2# dec 0xc
12
De gecombineerde waarden van beide registertellers komen overeen met het aantal CRC's dat op de fysieke interface wordt waargenomen via de uitvoer van show-interface of show-interfacetellers zonder fouten van nul.
Cisco Nexus 9500 Cloud Scale - CRC-identificatie en traceringsprocedure op modulaire Switches
In dit gedeelte van het document worden stapsgewijze aanwijzingen beschreven om de bron van CRC-fouten te identificeren die zijn waargenomen op een specifieke ethernetinterface1/1 op switches uit de Cisco Nexus 9500-reeks.
Elke lijnkaart op een Nexus 9500-serie switch is via een interne link (iEth) verbonden met de weefselmodules. Elke ASIC van elke lijnkaart heeft volledige mesh-connectiviteit voor alle fabric-modules. Het voorbeeld hier toont een lijnkaart met vier Sugarbowl ASIC's met interne links die aansluiten op vier weefselmodules binnen een modulaire Nexus 9500-switch.
Wanneer verkeer dat door een ASIC wordt ontvangen een andere ASIC- of lijnkaart moet verlaten, moet dat verkeer via een fabric-module naar de fabric worden verzonden. De ingress ASIC selecteert een van de iEth-koppelingen naar de fabric-modules op basis van een hash van de headers van het pakket en het aantal beschikbare iEth-koppelingen naar de ASIC.
Stap 1. Interne verbindingen tussen lijnkaarten en structuurmodules in kaart brengen.
Gebruik de opdracht show system internal fabric connectivity module {x} (waarbij {x} het sleufnummer van de lijnkaart of fabric-module is) om de interne koppelingen tussen de opgegeven lijnkaart en alle fabric-modules weer te geven. Deze uitvoer geeft een tabel weer waarin elke rij een één-op-één toewijzing toont tussen interne links van de lijnkaart (onder de LC-iEthLink-kolom) naar de interne links van elke fabric-module (onder de FM-iEthLink-kolom). Een voorbeeld hiervan wordt hier getoond, genomen van een Nexus 9508-switch met 8 lijnkaarten en 4 stofmodules ingevoegd. De uitvoer laat zien dat elke ASIC-instantie van de lijnkaart die in sleuf 8 van de switch is geplaatst, via twee interne koppelingen is verbonden met elk van de vier ingebouwde fabricmodules (in sleuven 22, 23, 24 en 26).
Nexus9500# show system internal fabric connectivity module 8
Internal Link-info Linecard slot:8
------------------------------------------------------------------------
LC-Slot LC-Unit LC-iEthLink MUX FM-Slot FM-Unit FM-iEthLink
------------------------------------------------------------------------
8 0 iEth01 - 22 0 iEth18
8 0 iEth02 - 22 1 iEth50
8 0 iEth03 - 23 0 iEth18
8 0 iEth04 - 23 1 iEth50
8 0 iEth05 - 24 0 iEth18
8 0 iEth06 - 24 1 iEth50
8 0 iEth07 - 26 0 iEth18
8 0 iEth08 - 26 1 iEth50
8 1 iEth09 - 22 0 iEth03
8 1 iEth10 - 22 1 iEth35
8 1 iEth11 - 23 0 iEth03
8 1 iEth12 - 23 1 iEth35
8 1 iEth13 - 24 0 iEth03
8 1 iEth14 - 24 1 iEth35
8 1 iEth15 - 26 0 iEth03
8 1 iEth16 - 26 1 iEth35
8 2 iEth17 - 22 0 iEth32
8 2 iEth18 - 22 1 iEth53
8 2 iEth19 - 23 0 iEth32
8 2 iEth20 - 23 1 iEth53
8 2 iEth21 - 24 0 iEth32
8 2 iEth22 - 24 1 iEth53
8 2 iEth23 - 26 0 iEth32
8 2 iEth24 - 26 1 iEth53
8 3 iEth25 - 22 0 iEth31
8 3 iEth26 - 22 1 iEth54
8 3 iEth27 - 23 0 iEth31
8 3 iEth28 - 23 1 iEth54
8 3 iEth29 - 24 0 iEth31
8 3 iEth30 - 24 1 iEth54
8 3 iEth31 - 26 0 iEth31
8 3 iEth32 - 26 1 iEth54
Op dezelfde manier kan de toewijzing van de iEth-link worden gecontroleerd vanuit het perspectief van een fabric-module. Een voorbeeld hiervan wordt hier weergegeven, waar interne koppelingen tussen de fabric-module die in sleuf 22 is geplaatst en elk van de 8 lijnkaarten die in het Nexus 9508-chassis zijn geïnstalleerd, worden weergegeven.
Nexus9500# show system internal fabric connectivity module 22
Internal Link-info Fabriccard slot:22
------------------------------------------------------------------------
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX
------------------------------------------------------------------------
22 0 iEth09 1 0 iEth01 -
22 0 iEth06 1 1 iEth11 -
22 0 iEth25 1 2 iEth21 -
22 0 iEth26 1 3 iEth31 -
22 0 iEth10 2 0 iEth01 -
22 0 iEth05 2 1 iEth11 -
22 0 iEth23 2 2 iEth21 -
22 0 iEth24 2 3 iEth31 -
22 0 iEth12 3 0 iEth01 -
22 0 iEth11 3 1 iEth11 -
22 0 iEth21 3 2 iEth21 -
22 0 iEth22 3 3 iEth31 -
22 0 iEth14 4 0 iEth01 -
22 0 iEth13 4 1 iEth11 -
22 0 iEth07 4 2 iEth21 -
22 0 iEth08 4 3 iEth31 -
22 0 iEth16 5 0 iEth01 -
22 0 iEth15 5 1 iEth11 -
22 0 iEth01 5 2 iEth21 -
22 0 iEth04 5 3 iEth31 -
22 0 iEth20 6 0 iEth01 -
22 0 iEth17 6 1 iEth11 -
22 0 iEth28 6 2 iEth21 -
22 0 iEth27 6 3 iEth31 -
22 0 iEth19 7 0 iEth01 -
22 0 iEth02 7 1 iEth09 -
22 0 iEth30 7 2 iEth17 -
22 0 iEth29 7 3 iEth25 -
22 0 iEth18 8 0 iEth01 -
22 0 iEth03 8 1 iEth09 -
22 0 iEth32 8 2 iEth17 -
22 0 iEth31 8 3 iEth25 -
22 1 iEth41 1 0 iEth02 -
22 1 iEth38 1 1 iEth12 -
22 1 iEth59 1 2 iEth22 -
22 1 iEth60 1 3 iEth32 -
22 1 iEth42 2 0 iEth02 -
22 1 iEth37 2 1 iEth12 -
22 1 iEth62 2 2 iEth22 -
22 1 iEth61 2 3 iEth32 -
22 1 iEth44 3 0 iEth02 -
22 1 iEth43 3 1 iEth12 -
22 1 iEth64 3 2 iEth22 -
22 1 iEth63 3 3 iEth32 -
22 1 iEth46 4 0 iEth02 -
22 1 iEth45 4 1 iEth12 -
22 1 iEth39 4 2 iEth22 -
22 1 iEth40 4 3 iEth32 -
22 1 iEth48 5 0 iEth02 -
22 1 iEth47 5 1 iEth12 -
22 1 iEth36 5 2 iEth22 -
22 1 iEth33 5 3 iEth32 -
22 1 iEth52 6 0 iEth02 -
22 1 iEth49 6 1 iEth12 -
22 1 iEth57 6 2 iEth22 -
22 1 iEth58 6 3 iEth32 -
22 1 iEth34 7 0 iEth02 -
22 1 iEth51 7 1 iEth10 -
22 1 iEth55 7 2 iEth18 -
22 1 iEth56 7 3 iEth26 -
22 1 iEth50 8 0 iEth02 -
22 1 iEth35 8 1 iEth10 -
22 1 iEth53 8 2 iEth18 -
22 1 iEth54 8 3 iEth26 -
Gebruik de opdracht show system internal fabric link-state module {x} om te controleren of de interne poort omhoog is of niet (onder de ST-kolommen) en wat de bijbehorende ASIC-segment en MAC-id van een bepaalde interne link (onder de MAC-kolom) zijn. Hieronder volgt een voorbeeld hiervan.
Nexus9500# show system internal fabric link-state module 8
cli : mod = 8
module number = 8
========================================================================================================================
Module number = 8
========================================================================================================================
[LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
========================================================================================================================
[ 8] [ 0 : 0 : 7 : 0x38] [iEth01] [UP] <========> [22] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 9 : 0x0] [iEth02] [UP] <========> [22] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 0 : 0 : 6 : 0x30] [iEth03] [UP] <========> [23] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 16 : 0x38] [iEth04] [UP] <========> [23] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 0 : 0 : 8 : 0x40] [iEth05] [UP] <========> [24] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 15 : 0x30] [iEth06] [UP] <========> [24] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 0 : 0 : 5 : 0x28] [iEth07] [UP] <========> [26] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 17 : 0x40] [iEth08] [UP] <========> [26] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 1 : 0 : 7 : 0x38] [iEth09] [UP] <========> [22] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 9 : 0x0] [iEth10] [UP] <========> [22] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 1 : 0 : 6 : 0x30] [iEth11] [UP] <========> [23] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 16 : 0x38] [iEth12] [UP] <========> [23] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 1 : 0 : 8 : 0x40] [iEth13] [UP] <========> [24] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 15 : 0x30] [iEth14] [UP] <========> [24] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 1 : 0 : 5 : 0x28] [iEth15] [UP] <========> [26] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 17 : 0x40] [iEth16] [UP] <========> [26] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 2 : 0 : 7 : 0x38] [iEth17] [UP] <========> [22] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 9 : 0x0] [iEth18] [UP] <========> [22] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 2 : 0 : 6 : 0x30] [iEth19] [UP] <========> [23] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 16 : 0x38] [iEth20] [UP] <========> [23] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 2 : 0 : 8 : 0x40] [iEth21] [UP] <========> [24] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 15 : 0x30] [iEth22] [UP] <========> [24] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 2 : 0 : 5 : 0x28] [iEth23] [UP] <========> [26] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 17 : 0x40] [iEth24] [UP] <========> [26] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 3 : 0 : 7 : 0x38] [iEth25] [UP] <========> [22] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 9 : 0x0] [iEth26] [UP] <========> [22] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
[ 8] [ 3 : 0 : 6 : 0x30] [iEth27] [UP] <========> [23] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 16 : 0x38] [iEth28] [UP] <========> [23] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
[ 8] [ 3 : 0 : 8 : 0x40] [iEth29] [UP] <========> [24] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 15 : 0x30] [iEth30] [UP] <========> [24] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
[ 8] [ 3 : 0 : 5 : 0x28] [iEth31] [UP] <========> [26] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 17 : 0x40] [iEth32] [UP] <========> [26] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
Stap 2. Controleer de CRC-tellers op Eith Links en volg de bron van beschadigde frames
Op een modulaire Nexus 9500-switch kunt u CRC-fouten zien op een of meer Eith-links in deze scenario's:
- Wanneer de switch in een modus voor doorgeschakelde switches werkt, laat een lijnkaart die een beschadigd Ethernet-frame ontvangt met een onjuiste CRC-waarde in het FCS-veld het frame niet lokaal vallen. In plaats daarvan stuurt de lijnkaart het pakket zoals normaal door. Als de uitgang interface voor het pakket behoort tot een andere ASIC of lijn kaart, de ingang lijn kaart stuurt het pakket naar een stof module. De fabric-modules werken ook in een cut-through-schakelmodus, dus de fabric-module stuurt het pakket naar de uitgang lijnkaart. De uitgang lijn kaart stuurt het pakket naar de volgende-hop en verhogen de output fouten teller op de uitgang interface.
- Als een interne koppeling mislukt als gevolg van defecte hardware, kunnen pakketten die de interne koppeling doorkruisen, worden beschadigd tussen een lijnkaart en de fabric-module.
Gebruik de opdracht show system internal fabric connectivity stats module {x} om de CRC-teller van de corresponderende interne koppelingen te controleren. Een voorbeeld hiervan wordt hier getoond, waarbij de fabric module die in sleuf 22 is geplaatst pakketten ontvangt met een ongeldige CRC op iEth56 die is aangesloten op iEth26 van de lijnkaart die in sleuf 7 van de switch is geplaatst. Dit geeft aan dat beschadigde Ethernet-frames door de fabric-module worden ontvangen van de lijnkaart die in sleuf 7 van de switch is geplaatst.
Nexus9500# show system internal fabric connectivity stats module 22
Internal Link-info Stats Fabriccard slot:22
-------------------------------------------------------------------------------------
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX CRC
-------------------------------------------------------------------------------------
22 0 iEth09 1 0 iEth01 - 0
22 0 iEth06 1 1 iEth11 - 0
22 0 iEth25 1 2 iEth21 - 0
22 0 iEth26 1 3 iEth31 - 0
22 0 iEth10 2 0 iEth01 - 0
22 0 iEth05 2 1 iEth11 - 0
22 0 iEth23 2 2 iEth21 - 0
22 0 iEth24 2 3 iEth31 - 0
22 0 iEth12 3 0 iEth01 - 0
22 0 iEth11 3 1 iEth11 - 0
22 0 iEth21 3 2 iEth21 - 0
22 0 iEth22 3 3 iEth31 - 0
22 0 iEth14 4 0 iEth01 - 0
22 0 iEth13 4 1 iEth11 - 0
22 0 iEth07 4 2 iEth21 - 0
22 0 iEth08 4 3 iEth31 - 0
22 0 iEth16 5 0 iEth01 - 0
22 0 iEth15 5 1 iEth11 - 0
22 0 iEth01 5 2 iEth21 - 0
22 0 iEth04 5 3 iEth31 - 0
22 0 iEth20 6 0 iEth01 - 0
22 0 iEth17 6 1 iEth11 - 0
22 0 iEth28 6 2 iEth21 - 0
22 0 iEth27 6 3 iEth31 - 0
22 0 iEth19 7 0 iEth01 - 0
22 0 iEth02 7 1 iEth09 - 0
22 0 iEth30 7 2 iEth17 - 0
22 0 iEth29 7 3 iEth25 - 0
22 0 iEth18 8 0 iEth01 - 0
22 0 iEth03 8 1 iEth09 - 0
22 0 iEth32 8 2 iEth17 - 0
22 0 iEth31 8 3 iEth25 - 0
22 1 iEth41 1 0 iEth02 - 0
22 1 iEth38 1 1 iEth12 - 0
22 1 iEth59 1 2 iEth22 - 0
22 1 iEth60 1 3 iEth32 - 0
22 1 iEth42 2 0 iEth02 - 0
22 1 iEth37 2 1 iEth12 - 0
22 1 iEth62 2 2 iEth22 - 0
22 1 iEth61 2 3 iEth32 - 0
22 1 iEth44 3 0 iEth02 - 0
22 1 iEth43 3 1 iEth12 - 0
22 1 iEth64 3 2 iEth22 - 0
22 1 iEth63 3 3 iEth32 - 0
22 1 iEth46 4 0 iEth02 - 0
22 1 iEth45 4 1 iEth12 - 0
22 1 iEth39 4 2 iEth22 - 0
22 1 iEth40 4 3 iEth32 - 0
22 1 iEth48 5 0 iEth02 - 0
22 1 iEth47 5 1 iEth12 - 0
22 1 iEth36 5 2 iEth22 - 0
22 1 iEth33 5 3 iEth32 - 0
22 1 iEth52 6 0 iEth02 - 0
22 1 iEth49 6 1 iEth12 - 0
22 1 iEth57 6 2 iEth22 - 0
22 1 iEth58 6 3 iEth32 - 0
22 1 iEth34 7 0 iEth02 - 0
22 1 iEth51 7 1 iEth10 - 0
22 1 iEth55 7 2 iEth18 - 0
22 1 iEth56 7 3 iEth26 - 1665601166
22 1 iEth50 8 0 iEth02 - 0
22 1 iEth35 8 1 iEth10 - 0
22 1 iEth53 8 2 iEth18 - 0
22 1 iEth54 8 3 iEth26 - 0
Gebruik de opdracht {x} toon interne hardware-tah-tellers asic {y} op een lijnkaart of fabric-module om te bepalen of CRC-fouten ongeldig zijn of CRC's zijn gestampt. De twee registertellers die ongeldige CRC-fouten onderscheiden van gestampte CRC-fouten zijn:
- 02-RX Frm met FCS Err - Geeft aan dat een frame met een ongeldige, maar niet-gestampte CRC is ontvangen.
- 16-RX Frm CRC Err(Stomp) - Geeft aan dat een frame met een gestampte CRC is ontvangen.
Een voorbeeld hiervan wordt hier getoond, waarbij beschadigde frames worden ontvangen op de fabric-module die in sleuf 22 van het chassis is geplaatst via interne link iEth54 verbinden met de lijnkaart die in sleuf 8 van het chassis is geplaatst, worden ontvangen met gestampte CRC:
Nexus9500# slot 22 show hardware internal tah counters asic 1
REG_NAME M24,0-100Gx4 M25,0-100Gx4
--------------------------------------------------------------------------------------------------------------------------
02-RX Frm with FCS Err .... ....
03-RX Frm with any Err .... 144912733e
16-RX Frm CRC Err(Stomp) .... 14491277d7
U kunt ook de opdracht Interne hardwarefouten weergeven {x} gebruiken om ASIC-fouttellers voor een specifieke module te bekijken. Hieronder volgt een voorbeeld hiervan.
Opmerking: In deze uitvoer worden de stappen voor de teller van de Inbound Interface-fouten (CRC, len, Algn Err) voor zowel ongeldige CRC's als gestampte CRC's weergegeven, terwijl de teller voor de Inbound-CRC-fout van de interface alleen voor gestampte CRC's wordt gestempeld.
Nexus9500# show hardware internal errors module 22
|------------------------------------------------------------------------|
| Device:Lacrosse Role:MAC Mod:22 |
| Last cleared @ Tue Jul 6 04:10:45 2021
| Device Statistics Category :: ERROR
|------------------------------------------------------------------------|
Instance:0
ID Name Value Ports
-- ---- ----- -----
Instance:1
ID Name Value Ports
-- ---- ----- -----
196635 Interface Inbound Errors (CRC,len,Algn Err) 0000053053264536 27:0
1048603 Interface Inbound CRC Error Stomped 0000053053264535 27:0
Nadat u de ingangslijnkaart hebt geïdentificeerd waarvan de beschadigde frames worden ontvangen, gebruikt u de sleuf {x} om de interne tabtellers van de hardware te tonen (asic {y}) of om de interne fouten van de hardware-module {x} opdrachten op een vergelijkbare manier weer te geven om de ingangsinterface te identificeren waarop de fouten worden ontvangen en om te bepalen of fouten worden ontvangen als ongeldige CRC's of gestampte CRC's.
Een zeldzaam scenario is mogelijk waarbij een fabric module of uitgang lijn kaart toont CRC fouten op een iEth link, maar de aangesloten lijn kaart heeft geen tekenen van ingress CRCs. De hoofdoorzaak van dit probleem is meestal hardwarefout van de fabric-module. Cisco raadt aan een supportcase te openen met Cisco TAC om dit probleem verder op te lossen en de fabric-module indien nodig te vervangen.
Voorbeelden
Dit deel van het document loopt door de vorige procedure met enkele voorbeelden.
Scenario 1. Fysieke interface die gestompte CRC's ontvangt
Dit voorbeeld laat zien hoe CRC-fouten op een fysieke interface kunnen worden geïdentificeerd als CRC's.
Bekijk de volgende topologie:
In dit voorbeeld worden doelbewust gestampte CRC-fouten gegenereerd op switch N9K-1 via jumbo-sized 8000 byte ICMP-pakketten afkomstig van interface SVI 10 (die IP-adres 192.0.2.1 bezit) bestemd voor N9K-3's interface SVI 10 (die IP-adres 192.0.2.3 bezit), die een MTU van 1500 bytes heeft. N9K-1, N9K-2 en N9K-3 zijn allemaal Nexus 93180YC-EX model switches.
N9K-1# ping 192.0.2.3 count 5 packet-size 8000 PING 192.0.2.3 (192.0.2.3): 8000 data bytes Request 0 timed out Request 1 timed out Request 2 timed out Request 3 timed out Request 4 timed out Request 5 timed out --- 192.0.2.3 ping statistics --- 5 packets transmitted, 0 packets received, 100.00% packet loss
In dit voorbeeld worden toenemende CRC-fouten waargenomen op de ethernetinterface 1/1 van switch N9K-3.
N9K-3# show interface Ethernet1/1
<snip>
Ethernet1/1 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:13:44
Last clearing of "show interface" counters 02:55:00
0 interface resets
RX
9 unicast packets 10675 multicast packets 0 broadcast packets
10691 input packets 816924 bytes
7 jumbo packets 0 storm suppression bytes
0 runts 7 giants 7 CRC 0 no buffer
7 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
Stap 1. Bevestig het verhogen van CRC's
Bevestig dat CRC's toenemen op de fysieke interface Ethernet1/1 door jumbo-sized 8000 byte ICMP-pakketten te genereren die afkomstig zijn van N9K-1's interface SVI 10 (die IP-adres 192.0.2.1 bezit) bestemd voor N9K-3's interface SVI 10 (die IP-adres 192.0.2.3 bezit).
N9K-1# ping 192.0.2.3 count 5 packet-size 8000
PING 192.0.2.3 (192.0.2.3): 8000 data bytes
Request 0 timed out
Request 1 timed out
Request 2 timed out
Request 3 timed out
Request 4 timed out
Request 5 timed out
--- 192.0.2.3 ping statistics ---
5 packets transmitted, 0 packets received, 100.00% packet loss
N9K-3# show interface Ethernet1/1
Ethernet1/1 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:52:57
Last clearing of "show interface" counters 03:34:13
0 interface resets
RX
11 unicast packets 13066 multicast packets 0 broadcast packets
13089 input packets 1005576 bytes
12 jumbo packets 0 storm suppression bytes
0 runts 12 giants 12 CRC 0 no buffer
12 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
Stap 2. Fysieke interface toewijzen aan ASIC-, MAC-blok- en MAC-bloksubpoort
Gebruik de opdracht hardware-mappings weergeven op N9K-3 om de fysieke interface Ethernet1/1 toe te wijzen aan ASIC-nummer 0, MAC-blok 4 en MAC-blok-subpoort 0.
N9K-3# show interface hardware-mappings
<snip>
-------------------------------------------------------------------------------------------------------
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
-------------------------------------------------------------------------------------------------------
Eth1/1 1a000000 1 0 16 255 0 -1 0 16 32 4 0 1 0 32
Eth1/2 1a000200 1 0 17 255 4 -1 0 17 34 4 2 5 0 34
Eth1/3 1a000400 1 0 18 255 8 -1 0 18 36 4 4 9 0 36
Eth1/4 1a000600 1 0 19 255 12 -1 0 19 38 4 6 13 0 38
Eth1/5 1a000800 1 0 12 255 16 -1 0 12 24 3 0 17 0 24
Stap 3. Controleer ASIC-registers op cloudschaal voor CRC-gerelateerde tellers
Op basis van de informatie uit stap 2 kent u deze feiten:
- Fysieke interface Ethernet1/1 is toegewezen aan ASIC-nummer 0.
- Fysieke interface Ethernet1/1 is toegewezen aan MAC-blok subpoort 0 van MAC-blok 4
- Omdat N9K-3 een top-of-rack Nexus 93180YC-EX model switch is, weet u dat het enige mogelijke lijnkaartsleufnummer 1 is
- Uit de uitvoer van de show-interface verzameld in stap 1, weet u dat de snelheid van de fysieke interface Ethernet1/1 10G is.
Met deze informatie kunt u de opdracht Sleuf 1 toon interne tah tellers asic 0 gebruiken om de ASIC-registertellers voor alle fysieke interfaces te bekijken. In het bijzonder, bent u op zoek naar ASIC register tellers geassocieerd met M4, 0-10G.
N9K-3# slot 1 show hardware internal tah counters asic 0 <snip> *************** PER MAC/CH SRAM COUNTERS **************** REG_NAME M4,0-10G M4,2-10G M4,4-10G M4,6-10G M5,0-40Gx4 M6,0-40Gx4 M7,0-40Gx4 M8,0-10G ---------------------------------------------------------------------------------------------------------------------------------- 02-RX Frm with FCS Err .... .... .... .... .... .... .... .... 16-RX Frm CRC Err(Stomp) c .... .... .... .... .... .... ....
U kunt een niet-nul hexadecimale waarde van 0xc zien voor register 16, wat aangeeft dat frames met een gestampte CRC zijn ontvangen op deze fysieke interface. U kunt de opdracht dec 0xc gebruiken om dit te vertalen naar een decimale waarde van 12, die overeenkomt met het aantal CRC-fouten op de fysieke interface Ethernet1/1.
N9K-3# dec 0xc
12
Conclusie
U hebt bevestigd dat N9K-3 frames ontvangt met een gestampte CRC op de fysieke interface Ethernet1/1. Dit betekent dat het apparaat aan de externe kant van de Ethernet1/1-link (in dit geval N9K-2) de CRC van deze frames stampt; de hoofdoorzaak van de misvormde frames is niet de link die rechtstreeks is verbonden met Ethernet1/1, maar is verder stroomafwaarts. Extra probleemoplossing kan worden uitgevoerd op het downstream netwerkapparaat om de bron van deze misvormde frames te bepalen.
Scenario 2. Fysieke interface ontvangen misvormde frames met ongeldige CRC
Dit voorbeeld laat zien hoe CRC-fouten op een fysieke interface toenemen als gevolg van misvormde frames veroorzaakt door een probleem met een fysieke laag op een direct verbonden link.
Bekijk de volgende topologie:
In dit voorbeeld genereert een verkeersgenerator die is aangesloten op ethernetinterface 1/40 van switch N9K-1 doelbewust frames met een onjuist CRC. Dit simuleert een fysiek laagprobleem op de koppeling die is aangesloten op Ethernet1/40, zoals een defecte transceiver of beschadigde kabel. N9K-1 ontvangt deze frames, herkent dat de CRC ongeldig is en verhoogt de CRC-foutteller op de fysieke Ethernet1/40-interface. N9K-1 is een Nexus 93180YC-EX model switch.
N9K-1# show interface Ethernet1/40
Ethernet1/40 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2c02)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:13:44
Last clearing of "show interface" counters 02:55:00
0 interface resets
RX
1710 unicast packets 9873 multicast packets 0 broadcast packets
11583 input packets 886321 bytes
0 jumbo packets 0 storm suppression bytes
0 runts 0 giants 1683 CRC 0 no buffer
1683 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
Stap 1. Bevestig het verhogen van CRC's
Bevestig dat CRC's toenemen op de fysieke interface Ethernet1/40 van N9K-1 via de interface tonen of interfacetellers tonen met niet-nul-opdrachten.
N9K-1# show interface Ethernet1/40
<snip>
Ethernet1/40 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2c02)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:13:44
Last clearing of "show interface" counters 02:55:00
0 interface resets
RX
14055 unicast packets 9873 multicast packets 0 broadcast packets
23928 input packets 1676401 bytes
0 jumbo packets 0 storm suppression bytes
0 runts 0 giants 14028 CRC 0 no buffer
14028 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
N9K-1# show interface counters errors non-zero
<snip>
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth1/40 26373 26373 0 26373 0 0
Stap 2. Fysieke interface toewijzen aan ASIC-, MAC-blok- en MAC-bloksubpoort
Gebruik de opdracht hardware-mappings weergeven op N9K-1 om de fysieke interface Ethernet1/40 toe te wijzen aan ASIC-nummer 0, MAC-blok 10, MAC-blok subpoort 6.
N9K-1# show interface hardware-mappings <snip> --------------------------------------------------------------------------------------------- Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID --------------------------------------------------------------------------------------------- Eth1/38 1a004a00 1 0 45 255 148 -1 1 5 10 10 2 149 0 10 Eth1/39 1a004c00 1 0 46 255 152 -1 1 6 12 10 4 153 0 12 Eth1/40 1a004e00 1 0 47 255 156 -1 1 7 14 10 6 157 0 14 Eth1/41 1a005000 1 0 76 255 160 -1 1 36 64 17 0 161 0 64 Eth1/42 1a005200 1 0 77 255 164 -1 1 37 66 17 2 165 0 66
Stap 3. Controleer ASIC-registers op cloudschaal voor CRC-gerelateerde tellers
Op basis van de informatie uit stap 2 kent u deze feiten:
- Fysieke interface Ethernet1/40 is toegewezen aan ASIC-nummer 0.
- Fysieke interface Ethernet1/40 is toegewezen aan MAC-blok subpoort 6 van MAC-blok 10.
- Omdat N9K-1 een top-of-rack Nexus 93180YC-EX model switch is, weet u dat het enige mogelijke lijnkaartsleufnummer 1 is.
- Uit de uitvoer van de show-interface verzameld in stap 1, weet u dat de snelheid van de fysieke interface Ethernet1/40 10G is.
Met behulp van deze informatie kunt u de opdracht slot 1 show hardware internal tah counters asic 0 gebruiken om de ASIC-registertellers voor alle fysieke interfaces te bekijken. In het bijzonder, bent u op zoek naar ASIC register tellers geassocieerd met M10, 6-10G.
N9K-1# slot 1 show hardware internal tah counters asic 0 *************** PER MAC/CH SRAM COUNTERS **************** REG_NAME M8,2-10G M8,4-10G M8,6-10G M9,0-40Gx4 M10,0-10G M10,2-10G M10,4-10G M10,6-10G ------------------------------------------------------------------------------------------------------------------------------------- 02-RX Frm with FCS Err .... .... .... .... .... .... .... 973e 16-RX Frm CRC Err(Stomp) .... .... .... .... .... .... .... ....
U kunt een niet-nul hexadecimale waarde van 0x973e zien voor register 2, wat aangeeft dat frames met een ongeldige, maar niet-gestampte CRC zijn ontvangen op deze fysieke interface.
U kunt de opdracht dec 0x973e gebruiken om dit te vertalen naar een decimale waarde van 38.718, die overeenkomt (of minder is dan, omdat de CRC's voortdurend toenemen) met het aantal CRC-fouten op de fysieke interface Ethernet1/40.
N9K-1# dec 0x973e
38718
Conclusie
U hebt bevestigd dat N9K-1 frames ontvangt met een ongeldige, maar niet-gestampte CRC op de fysieke interface Ethernet1/40. Dit betekent dat de koppeling die rechtstreeks is verbonden met Ethernet1/40 (of het apparaat aan het externe uiteinde van de koppeling) de meest waarschijnlijke bron is van de misvormde frames. Verdere probleemoplossing kan worden uitgevoerd op de fysieke laag van deze link om de hoofdoorzaak van de misvormde frames te isoleren (zoals controleren op beschadigde bekabeling, de huidige transceivers vervangen door bekende goede transceivers, enzovoort).
Scenario 3. Nexus 9500 iEth CRC-fouten Syslog
Dit voorbeeld laat zien hoe de bron van CRC-fouten op een iEth-link kan worden geïdentificeerd wanneer een syslog die fouten rapporteert op een interneinterface wordt gegenereerd door een Nexus 9500-serie switch. Een voorbeeld van deze syslog is hier te zien.
Nexus9500# show logging logfile
<snip>
2021 Jul 9 05:51:19 Nexus9500 %DEVICE_TEST-SLOT22-3-INTERNAL_PORT_MONITOR_CRC_ERRORS_DETECTED: Module 22 received tx errors on internal interface ii22/1/56 since last run TXErr=36836897 TotalTXErr=50781987904
Deze syslog geeft aan dat er fouten zijn gedetecteerd in de iEth56-interneverbinding van de structuurmodule die in sleuf 22 van de switch is geplaatst.
Stap 1. Kaart met link op fabric-module naar Connected Line-kaart
Gebruik de module voor de verbindingsstatus van de interne structuur van het systeem weergeven {x} om te bepalen met welke lijnkaart de betreffende interne verbinding van iEth is verbonden. In dit voorbeeld vertoont iEth56 van de weefselmodule die in sleuf 22 van de switch is geplaatst fouten. Een voorbeeld hiervan wordt hier getoond, waarbij iEth56 van de weefselmodule die in sleuf 22 is geplaatst, is aangesloten op iEth26 van de lijnkaart die in sleuf 7 van de switch is geplaatst.
Nexus9500# show system internal fabric connectivity stats module 22 | include Eth56|FM-Slot
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX CRC
22 1 iEth56 7 3 iEth26 - 603816174
Gebruik de opdracht show system internal fabric link-state module {x} om de ASIC-instantie en MAC-id te zoeken die zijn gekoppeld aan de interne koppeling iEth56 van de fabric-module. Een voorbeeld hiervan wordt hier weergegeven, waarbij de ASIC-instantie 1 is en de MAC-id 27.
Nexus9500# show system internal fabric link-state module 22 | include MAC|iEth56
[FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
[22] [ 1 : 4 : 27 : 0x18] [iEth56] [UP] <========> [ 7] [ 3 : 1 : 9 : 0x0] [iEth26] [UP]
Stap 2. Controleren of CRC's die via de eTH-link zijn ontvangen, ongeldig of stopgezet zijn
Uit de vorige stap blijkt dat onze ASIC-instantie-id 1 is en onze MAC-id 27 voor iEth56 is aangesloten op de fabric-module die in sleuf 22 is geplaatst. Gebruik de opdracht {x} toon interne hardware-tah-tellers asic {y} om te bepalen of de CRC's die door de syslog worden gerapporteerd, ongeldige CRC's of gestempelde CRC's zijn. Een voorbeeld hiervan wordt hier getoond, waarbij de M27,0-100Gx4 kolom is gekoppeld aan onze MAC-id van 27 en aangeeft dat de CRC's zijn gestampt.
Nexus9500# slot 22 show hardware internal tah counters asic 1
REG_NAME M27,0-100Gx4
-----------------------------------------
02-RX Frm with FCS Err ....
16-RX Frm CRC Err(Stomp) be9cb9bd6
U kunt ook de opdracht Interne hardwarefouten weergeven {x} gebruiken om dezelfde informatie te verzamelen. Hieronder volgt een voorbeeld hiervan.
Nexus9500# show hardware internal errors module 22 | include CRC|Stomp|Inst
Instance:1
196635 Interface Inbound Errors (CRC,len,Algn Err) 0000051587084851 27:0
1048603 Interface Inbound CRC Error Stomped 0000051587084850 27:0
Bedenk dat in deze uitvoer de teller Interface Inbound Errors (CRC, len, Algn Err) voor zowel ongeldige CRC's als gestampte CRC's wordt verhoogd, terwijl de teller voor Inbound CRC-fout van de interface alleen voor gestampte CRC's wordt gestampt.
Stap 3. Bronnen van frames met ongeldige CRC's volgen op Ingress Line-kaart
U weet nu dat de CRC's die de weefselmodule in sleuf 22 van de switch invoeren, de switch binnenkomen vanaf de lijnkaart die in sleuf 7 is geplaatst. Met deze informatie kunt u met de opdracht show interface counters errors module {x} non-zero aangeven welke CRC-tellers niet nul zijn op interfaces die behoren tot de betreffende lijnkaart. Hieronder volgt een voorbeeld hiervan.
Nexus9500# show interface counters errors module 7 non-zero
<snip>
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth7/32 0 0 0 1195309745 0 0
U kunt stap #2 van dit scenario op de betreffende lijnkaart herhalen om te controleren of de lijnkaart ongeldige CRC's of gestampte CRC's ontvangt.
Nexus9500# show hardware internal errors module 7 | include ignore-case CRC|Stomp|Inst
Instance:3
196619 Interface Inbound Errors (CRC,len,Algn Err) 0000051801011139 11:0
1048587 Interface Inbound CRC Error Stomped 0000051801011140 11:0
Gebruik de opdracht hardware-toewijzingen weergeven om de poort op het voorpaneel te identificeren waaraan de MacId:MacSP-waarde van 11:0 in de vorige uitvoer is toegewezen. Een voorbeeld hiervan wordt hier weergegeven, waarbij 11:0 wordt toegewezen aan de poort Eth7/32 op het voorpaneel.
Nexus9500# show interface hardware-mappings | include Name|Eth7
<snip>
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
Eth7/1 1a300000 25 0 16 255 0 -1 0 16 32 4 0 1 0 32
Eth7/2 1a300200 25 0 12 255 4 -1 0 12 24 3 0 5 0 24
Eth7/3 1a300400 25 0 8 255 8 -1 0 8 16 2 0 9 0 16
Eth7/4 1a300600 25 0 4 255 12 -1 0 4 8 1 0 13 0 8
Eth7/5 1a300800 25 0 60 255 16 -1 1 20 40 14 0 17 0 40
Eth7/6 1a300a00 25 0 56 255 20 -1 1 16 32 13 0 21 0 32
Eth7/7 1a300c00 25 0 52 255 24 -1 1 12 24 12 0 25 0 24
Eth7/8 1a300e00 25 0 48 255 28 -1 1 8 16 11 0 29 0 16
Eth7/9 1a301000 26 1 12 255 32 -1 0 12 24 3 0 33 0 24
Eth7/10 1a301200 26 1 8 255 36 -1 0 8 16 2 0 37 0 16
Eth7/11 1a301400 26 1 4 255 40 -1 0 4 8 1 0 41 0 8
Eth7/12 1a301600 26 1 0 255 44 -1 0 0 0 0 0 45 0 0
Eth7/13 1a301800 26 1 60 255 48 -1 1 20 40 14 0 49 0 40
Eth7/14 1a301a00 26 1 56 255 52 -1 1 16 32 13 0 53 0 32
Eth7/15 1a301c00 26 1 52 255 56 -1 1 12 24 12 0 57 0 24
Eth7/16 1a301e00 26 1 48 255 60 -1 1 8 16 11 0 61 0 16
Eth7/17 1a302000 27 2 16 255 64 -1 0 16 32 4 0 65 0 32
Eth7/18 1a302200 27 2 12 255 68 -1 0 12 24 3 0 69 0 24
Eth7/19 1a302400 27 2 8 255 72 -1 0 8 16 2 0 73 0 16
Eth7/20 1a302600 27 2 4 255 76 -1 0 4 8 1 0 77 0 8
Eth7/21 1a302800 27 2 60 255 80 -1 1 20 40 14 0 81 0 40
Eth7/22 1a302a00 27 2 56 255 84 -1 1 16 32 13 0 85 0 32
Eth7/23 1a302c00 27 2 52 255 88 -1 1 12 24 12 0 89 0 24
Eth7/24 1a302e00 27 2 48 255 92 -1 1 8 16 11 0 93 0 16
Eth7/25 1a303000 28 3 12 255 96 -1 0 12 24 3 0 97 0 24
Eth7/26 1a303200 28 3 8 255 100 -1 0 8 16 2 0 101 0 16
Eth7/27 1a303400 28 3 4 255 104 -1 0 4 8 1 0 105 0 8
Eth7/28 1a303600 28 3 0 255 108 -1 0 0 0 0 0 109 0 0
Eth7/29 1a303800 28 3 60 255 112 -1 1 20 40 14 0 113 0 40
Eth7/30 1a303a00 28 3 56 255 116 -1 1 16 32 13 0 117 0 32
Eth7/31 1a303c00 28 3 52 255 120 -1 1 12 24 12 0 121 0 24
Eth7/32 1a303e00 28 3 48 255 124 -1 1 8 16 11 0 125 0 16
Conclusie
U hebt bevestigd dat de Nexus 9500 frames ontvangt met een gestampte CRC op de fysieke interface Ethernet7/32. Dit betekent dat het apparaat aan de externe kant van de Ethernet7/32-koppeling de CRC van deze frames stompt; de hoofdoorzaak van de misvormde frames is niet de koppeling die rechtstreeks is verbonden met Ethernet7/32, maar is verder stroomafwaarts. Extra probleemoplossing kan worden uitgevoerd op het downstream netwerkapparaat om de bron van deze misvormde frames te bepalen.
Scenario 4. Bronnen van ongeldige CRC-frames bijhouden met Eress-interface
Dit voorbeeld laat zien hoe u de bron van frames met ongeldige CRC's op een Nexus 9500-switch kunt volgen wanneer een upstream-switch meldt dat de Nexus 9500 frames genereert met gestampte CRC's. In dit geval wordt de upstream-switch aangesloten via de Ethernet8/9-poort op het voorpaneel.
Stap 1. Identificeer Fabric Module verzenden van ongeldige CRC-frames naar Egress Line Card
U weet dat de uitgaande interface die frames met gestampte CRC's naar de upstream-switch stuurt, Ethernet8/9 is. Eerst moet u de fabric-module bepalen die frames met gestampte CRC's verzendt naar de lijnkaart die in sleuf 8 van het chassis is geplaatst. U start dit proces met de opdracht show hardware internal errors module {x}. Hieronder volgt een voorbeeld hiervan.
Nexus9500# show hardware internal errors module 8 | i CRC|Inst
<snip>
Instance:1
196617 Interface Inbound Errors (CRC,len,Algn Err) 0000091499464650 9:0
1048585 Interface Inbound CRC Error Stomped 0000091499464651 9:0
MacID: MacSP 9:0 in de vorige uitvoer kan worden toegewezen aan de bronstructuurmodule met de opdracht Koppeling-status van interne fabric van systeem tonen. Hieronder volgt een voorbeeld hiervan.
Nexus9500# show system internal fabric link-state module 8
cli : mod = 8
module number = 8
========================================================================================================================
Module number = 8
========================================================================================================================
[LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
========================================================================================================================
...
[ 8] [ 1 : 1 : 9 : 0x0] [iEth10] [UP] <========> [22] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
U ziet dat MAC-id 9 op de lijnkaart die in sleuf 8 is geplaatst, is toegewezen aan de fabric-module die in sleuf 22 van het chassis is geplaatst. U verwacht CRC-fouten te zien op de interne link iEth10. U kunt dit valideren met de opdracht show system internal fabric connectivity stats module 8. Hieronder volgt een voorbeeld hiervan.
Nexus9500# show system internal fabric connectivity stats module 8
Internal Link-info Stats Linecard slot:8
-------------------------------------------------------------------------------------
LC-Slot LC-Unit LC-iEthLink MUX FM-Slot FM-Unit FM-iEthLink CRC
-------------------------------------------------------------------------------------
8 0 iEth01 - 22 0 iEth18 0
8 0 iEth02 - 22 1 iEth50 0
8 0 iEth03 - 23 0 iEth18 0
8 0 iEth04 - 23 1 iEth50 0
8 0 iEth05 - 24 0 iEth18 0
8 0 iEth06 - 24 1 iEth50 0
8 0 iEth07 - 26 0 iEth18 0
8 0 iEth08 - 26 1 iEth50 0
8 1 iEth09 - 22 0 iEth03 0
8 1 iEth10 - 22 1 iEth35 1784603561
Stap 2. Koppel de iEth-link op de Fabric-module aan de Connected Linecard en controleer op gestompte CRC's
Vervolgens gebruikt u hetzelfde proces als in Scenario 3 door de interne links van Eth te controleren die CRC's ontvangen, of die CRC's zijn gestempeld of niet volgens de ASIC van de fabric-module en welke lijnkaart is verbonden met de interne link van de fabric-module. Een voorbeeld hiervan wordt hier weergegeven met de opdracht Connectiviteitsstatusmodule voor interne structuur van systeem tonen {x}, de opdracht Interne fouten weergeven {x} en de opdracht Koppeling-statusmodule voor interne structuur van systeem tonen {x}.
Nexus9500# show system internal fabric connectivity stats module 22
Internal Link-info Stats Fabriccard slot:22
-------------------------------------------------------------------------------------
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX CRC
22 1 iEth56 7 3 iEth26 - 1171851894
Nexus9500# show hardware internal errors module 22 | i CRC|Stomp|Inst
Instance:1
196635 Interface Inbound Errors (CRC,len,Algn Err) 0000054593935847 27:0
1048603 Interface Inbound CRC Error Stomped 0000054593935846 27:0
Nexus9500# show system internal fabric link-state module 22 | i MAC|iEth56
[FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
[22] [ 1 : 4 : 27 : 0x18] [iEth56] [UP] <========> [ 7] [ 3 : 1 : 9 : 0x0] [iEth26] [UP]
Stap 3. Bronnen van frames met ongeldige CRC's volgen op Ingress Module
Na het bepalen van de ingangslijnkaart (in dit geval wordt de lijnkaart ingevoegd in sleuf 7 die is verbonden door iEth26 met iEth56 van de structuurmodule die is ingevoegd in sleuf 22), identificeert u welke ingangspoort de beschadigde frames in de switch invoeren. Dit wordt gedaan met de opdracht Show Interface Counters errors module {x} non-zero. Met de uitvoer van de opdracht interne hardwarefouten weergeven {x} en de opdracht hardware-toewijzingen weergeven in de interface kan worden gevalideerd of de ontvangen frames ongeldige of gestampte CRC's zijn.
Een voorbeeld hiervan wordt hier getoond, waarbij beschadigde frames de switch binnenkomen via de voorpaneelinterface Ethernet7/32.
Nexus9500# show interface counters errors module 7 non-zero
<snip>
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth7/32 0 0 0 4128770335 0 0
--------------------------------------------------------------------------------
Port Stomped-CRC
--------------------------------------------------------------------------------
Eth7/32 4129998971
Nexus9500# show hardware internal errors module 7 | i i CRC|Stomp|Inst
<snip>
Instance:3
196619 Interface Inbound Errors (CRC,len,Algn Err) 0000054901402307 11:0
1048587 Interface Inbound CRC Error Stomped 0000054901402308 11:0
Nexus9500# show interface hardware-mappings | i Name|Eth7
<snip>
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
...
Eth7/32 1a303e00 28 3 48 255 124 -1 1 8 16 11 0 125 0 16
Conclusie
U hebt bevestigd dat de Nexus 9500 frames ontvangt met een gestampte CRC op de fysieke interface Ethernet7/32. Dit betekent dat het apparaat aan de externe kant van de Ethernet7/32-koppeling de CRC van deze frames stompt; de hoofdoorzaak van de misvormde frames is niet de koppeling die rechtstreeks is verbonden met Ethernet7/32, maar is verder stroomafwaarts.
Extra probleemoplossing kan worden uitgevoerd op het downstream netwerkapparaat om de bron van deze misvormde frames te bepalen.
Gerelateerde informatie
Revisiegeschiedenis
| Revisie | Publicatiedatum | Opmerkingen |
|---|---|---|
3.0 |
08-Nov-2023
|
Bijgewerkte titel, introductie, terminologie voor technische inhoud, SEO, stijlvereisten, machinevertaling en opmaak. |
2.0 |
03-Oct-2021
|
Bijwerken van het gedeelte Toepasselijke hardware om nieuwe hardware toe te voegen. |
1.0 |
13-Nov-2020
|
Eerste vrijgave |
FeedbackContact Cisco
- Een ondersteuningscase openen
- (Vereist een Cisco-servicecontract)