Nexus 9500-R, Nexus 3000-R: Problemen oplossen bij invoerkaarten
Inhoud
Inleiding
Dit document beschrijft de oorzaken van en de oplossingen voor invoerweggooien voor Cisco Nexus 9500-R EoR en Nexus 3000-R ToR. Een invoerteruggooi geeft het aantal pakketten aan dat in de invoerwachtrij is gevallen vanwege congestie. Dit getal bevat ook druppels die worden veroorzaakt door zogenoemde 'tail druppels' en Weighted Random Early Detection (WRED).
Als u lijdt aan willekeurige/sporadische/historische (d.w.z. niet langer voorkomende) vallen, kunt u contact opnemen met Cisco TAC voor verder onderzoek. Deze wandeling is handig wanneer invoerkaarten regelmatig worden verhoogd.
Achtergrondinformatie
De R-Series maakt gebruik van de inkomende VOQ-architectuur. VOQ-architectuur emuleert noodrijen in de ingress buffer met virtuele wachtrijen. Elke poort heeft acht rijen voor eenastverkeer en acht rijen voor multicast verkeer. Het verkeer kan in verkeersklassen worden geclassificeerd op basis van de waarde van de Klasse-of-Service (CoS) of het Gedifferentieerde Punt van de Servicescode (DSCP) in de pakketten en dan in de overeenkomstige virtuele rij voor die verkeersklasse in de wachtrij geplaatst worden.
De R-Series gebruikt een gedistribueerd kredietmechanisme om verkeer over de stof te verplaatsen. Voordat een pakket gepland is om de VOQ te verlaten, vraagt de server van de ingress buffer een krediet voor de specifieke poort en prioriteit in de egress buffer. Het krediet wordt gevraagd van een gevestigde kredietplanner voor de doelhaven en prioriteit. Als bufferruimte beschikbaar is, geeft de server toegang en stuurt de kredietsubsidie naar de server van de ingangsbuffer. Als er geen bufferruimte in de egress buffer beschikbaar is, kent de uitsparing geen krediet toe en wordt het verkeer in de VOQ gebufferd totdat het volgende krediet beschikbaar is.
Hieronder zie je de Packet Forwarding Pipeline voor het -R platform. In dit artikel richt u zich op de component Ingress Traffic Manager. Meer informatie over de architectuur op deze link
IP-verkeersbeheer (ITM)
De indringer (ITM) is een blok in de indringleiding. Het voert stappen uit verbonden met rijverkeer in VOQ, verkeer voor transmissie over de stof te plannen en kredieten te beheren.
Ingreress VOQ-buffer
Het ingress VOQ-bufferblok beheert zowel de op-chip-buffer als de off-chip pakketbuffer. Beide buffers gebruiken VOQ-architectuur en verkeer wordt in de wachtrij geplaatst op basis van de informatie van de IRPP (Ingrress ontvanger Packet Processor). Er zijn in totaal 96.000 VOQ’s beschikbaar voor eenvoudig en multicast verkeer.
Schedule en Flow Control
Voordat een pakje uit de ingangspijplijn wordt verzonden, moet het pakje op een geplande datum voor overdracht via het weefsel worden geplaatst. De server verstuurt een kredietaanvraag naar de server die in de gevangenis ligt. Wanneer de ingangsverkeersmanager het krediet ontvangt, begint het verkeer naar de ingress te verzenden pakkeprocessor. Als de egress buffer vol is, wordt het verkeer gebufferd in de specifieke wachtrij die wordt weergegeven door de poort en de verkeersklasse.
Vaak voorkomende oorzaken
Over het algemeen kunnen teruggooi van input om de volgende redenen gezien worden door verschillende Nexus hardware
- Verkeersstromen congesterninginterfaces (zoals 10G ingangen en 1G stress)
- OverSubscriber SPAN-doelpoort - is van toepassing op specifieke hardwaretypen.
Toepasselijke hardware
| PID |
| N9K-X9636C-R |
| N9K-X9636Q-R |
| N9K-X9636C-RX |
| N9K-X96136YC-R |
| N3K-C36180YC-R |
| N3K-C3636C-R |
Problemen oplossen bij invoerkaarten
Common Scenario - 10G tot 1G Traffic Flow - constante druppels:
In dit artikel zal de waarde voor de teller van "input disards" en elke HW interne teller die hetzelfde aangeeft, veranderen aangezien de fouten toenamen terwijl het testen en relevante opdrachten live moeten worden gegrepen.
Stap 1. Controleer welke wachtrij op uw interface voor invoerkaarten is ingeschakeld.
Deze stap is later handig.
In ons geval is het Wachtrij 7, de standaardrij - er zijn 8 rijen in totaal bij ingangen:
Stap 2. Controleer de grafische weergave van Broadcom van tellers die voor diagnostiek worden gebruikt:
Nexus-R# bcm-shell mod 1 "diag counters g"
| /|\
| J E R I C H O N E T W O R K I N T E R F A C E |
\|/ |
+-------------------------------------------+-------------------------------------------+-------------------------------------------+-------------------------------------------+
| NBI |
| RX_TOTAL_BYTE_COUNTER = 10,616,663,796 | TX_TOTAL_BYTE_COUNTER = 41,136 |
| RX_TOTAL_PKT_COUNTER = 10,659,301 | TX_TOTAL_PKT_COUNTER = 606 |
| RX_TOTAL_DROPPED_EOPS = 0 | |
+-------------------------------------------+-------------------------------------------+-------------------------------------------+-------------------------------------------+
| IRE | EPNI |
| CPU_PACKET_COUNTER = 606 | |
| NIF_PACKET_COUNTER = 10,659,302 | EPE_BYTES_COUNTER = 41,136 |
| OAMP_PACKET_COUNTER = 0 | EPE_PKT_COUNTER = 606 |
| OLP_PACKET_COUNTER = 0 | EPE_DSCRD_PKT_CNT = 0 |
| RCY_PACKET_COUNTER = 0 | |
| IRE_FDT_INTRFACE_CNT = 0 | |
+-------------------------------------------+-------------------------------------------+-------------------------------------------+-------------------------------------------+
| IDR | EGQ |
| | |
| MMU_IDR_PACKET_COUNTER = 10,659,302 | FQP_PACKET_COUNTER = 606 |
| IDR_OCB_INTERFACE_COUNTER = 0 | PQP_UNICAST_PKT_CNT = 606 |
| | PQP_DSCRD_UC_PKT_CNT = 0 |
| | PQP_UC_BYTES_CNT = 48,408 |
+-------------------------------------------+-------------------------------------------| PQP_MC_PKT_CNT = 0 |
| IQM | PQP_DSCRD_MC_PKT_CNT = 0 |
| | PQP_MC_BYTES_CNT = 0 |
| ENQUEUE_PKT_CNT = 1,403,078 | EHP_UNICAST_PKT_CNT = 606 |
| DEQUEUE_PKT_CNT = 1,403,078 | EHP_MC_HIGH_PKT_CNT = 0 |
| DELETED_PKT_CNT = 0 | EHP_MC_LOW_PKT_CNT = 0 |
| ENQ_DISCARDED_PACKET_COUNTER = 9,256,829 | DELETED_PKT_CNT = 0 |
| Rejects: PORT_AND_PG_STATUS | |
| | RQP_PKT_CNT = 606 |
| | RQP_DSCRD_PKT_CNT = 0 |
| | PRP_PKT_DSCRD_TDM_CNT = 0 |
| | PRP_SOP_DSCRD_UC_CNT = 0 |
| | PRP_SOP_DSCRD_MC_CNT = 0 |
| | PRP_SOP_DSCRD_TDM_CNT = 0 |
| | EHP_MC_HIGH_DSCRD_CNT = 0 |
| | EHP_MC_LOW_DSCRD_CNT = 0 |
| | ERPP_LAG_PRUNING_DSCRD_CNT = 0 |
| | ERPP_PMF_DISCARDS_CNT = 0 |
| | ERPP_VLAN_MBR_DSCRD_CNT = 0 |
+-------------------------------------------+-------------------------------------------+-------------------------------------------+-------------------------------------------+
| | FDA |
| | CELLS_IN_CNT_P1 = 0 | CELLS_OUT_CNT_P1 = 0 |
| | CELLS_IN_CNT_P2 = 0 | CELLS_OUT_CNT_P2 = 0 |
+-------------------------------------------+-------------------------------------------| CELLS_IN_CNT_P3 = 0 | CELLS_OUT_CNT_P3 = 0 |
| IPT | CELLS_IN_TDM_CNT = 0 | CELLS_OUT_TDM_CNT = 0 |
| | CELLS_IN_MESHMC_CNT = 0 | CELLS_OUT_MESHMC_CNT = 0 |
| EGQ_PKT_CNT = 606 --> CELLS_IN_IPT_CNT = 606 | CELLS_OUT_IPT_CNT = 606 |
| ENQ_PKT_CNT = 1,403,084 | EGQ_DROP_CNT = 0 |
| FDT_PKT_CNT = 1,402,472 | EGQ_MESHMC_DROP_CNT = 0 |
| CRC_ERROR_CNT = 0 | EGQ_TDM_OVF_DROP_CNT = 0 |
| CFG_EVENT_CNT = 606 * | |
| CFG_BYTE_CNT = 48,408 | |
+-------------------------------------------+-------------------------------------------+-------------------------------------------+-------------------------------------------+
| FDT | FDR |
| IPT_DESC_CELL_COUNTER = 5,609,892 | P1_CELL_IN_CNT = 0 |
| IRE_DESC_CELL_COUNTER = 0 | P2_CELL_IN_CNT = 0 |
| | P3_CELL_IN_CNT = 0 |
| TRANSMITTED_DATA_CELLS_COUNTER = 5,609,892 | CELL_IN_CNT_TOTAL = 0 |
+-------------------------------------------+-------------------------------------------+-------------------------------------------+-------------------------------------------+
| /|\
| J E R I C H O F A B R I C I N T E R F A C E |
\|/ |
Een QUEUE_DELETED_PACKET_COUNTER die groter is dan nul zou betekenen dat pakketten na de wachtrij werden GEDELETEERD door de IQM (Ingress Queueing Manager). Dit zou het gevolg zijn van een actieve wachtrij die geen kredieten ontvangt die zouden wijzen op een verkeerde configuratie van de planningsregeling. Je zou dit controleren via bcm-shell mod X "getReg IQM_QUEUE_DELETED_PACKET_COUNTER"
ENQ_DISCARDED_PACKET_COUNTER betekent dat pakketten werden weggegooid VOORDAT u de informatie in de wachtrij bracht. U kunt deze teller ook in BCM zien instellen (de opdracht wordt gewist bij lezen):
U kunt deze altijd snel opmerken met show hardware interne foutmodule X (opdracht wordt bij lezen gewist):
Stap 3. Zoek naar welke ASIC en welke Jericho-poort in de poort van uw Frontpaneel-poort de invoerkaarten behoren:
Het tonen van Eth1/33 voor dit voorbeeld. In een echt netwerk, zal je de gecongeneerde poort nog niet kennen.
Stap 4. Begrijp wat de VOQ- en VOQ-connector van uw Inbelpoort heeft.
Deze opdracht toont ons details voor de flow voor VoQ voor een specifieke poort. Daarnaast toont het ons het huidige kredietsaldo van het VoQ.
Het VOQ van de haven is op deze manier afgeleid:
LC's zijn 0 gebaseerd - module 1 is 0, module 2 is 1, enz
Er zijn 256 systeempoortadapters per LC
ID = (LC * Systeem poort-ID + FP-nummer
Eth1/9 = (0 * 256) + 9 = 9
VOQ-id = 32 + (systeempoortadapter-ID * 8)
Eth1/9 = 32 + (9 * 8) = 104
Ons VOQ for th1/9 zal daarom 104 zijn die de eerder verzamelde productie aanpassen
Stap 5. Controleer vanuit het perspectief van BCM, welke wachtrij specifiek niet-leeg is; bijv. verstopt.
Stap 6. Vind uw uitgaande geconvergeerde poort op de waarde van de niet-lege wachtrij:
Als de Wachtrij 303 is, moet je dan bedenken dat deze rijen feitelijk een bereik hebben zodat het 303 + 7 of 303-7 kan zijn. De vraag is: welke haven heeft een VOQ die overeenkomt met een bereik van 296-303 of, anders, 303-310?
Het is bekend dat wachtrij 7 op nummer 1/9 verstopt is, dus 303 is feitelijk het hoogste in zijn bereik, dus het bereik 296-303 is een goed opgeleide gok.
Dit is gelijk aan basis 0, niet hier voor de beknoptheid; U merkt onder de Voq-kolom dat uw bereik niet in die ASIC zit
Let op een paar dingen bij de bovenstaande uitvoer:
- Onze enorme gested haven is op ASIC 1.
- Onze enorme overbelaste haven heeft een VOQ van 296 en 303 zou gelijk zijn aan Wachtrij 7 op die haven.
- Let op de kolom Credit Balance. Er zijn maar weinig credits over op deze interface om te verstrekken, daarom begint onze etentje 9 te bufferen.
Stap 7. Controleer welke poort op het voorpaneel in ASIC 1 en kaarten naar Jericho poort 9 is gebaseerd op uw vorige zoekopdracht.
Op dit punt, hebt u de gras gecongested port gevonden - Bepaal of er iets ten onrechte in het netwerk is gebrand, u hebt SPAN ingesteld en uw doelpoort is 1G terwijl u een of meer 10G interface aanschaft of als dit een knelpunt/ontwerpprobleem is.
Aanvullende opdrachten
Deze zijn geavanceerder - niet nodig om in normale scenario's een Groot Gegste haven te vinden.
attach module X
show hardware internal jer-usd tm_debug asic <slot> module <module>
show hardware internal jer-usd info voq [ asic <instance> ] [ port <port> ] [ ]
show hardware internal jer-usd info non-empty voq asic [ <instance> ] [ ]
show hardware internal jer-usd info voq-profile { QueueThreshold drop_p <dp> | OCBThreshold } [ asic <instance> ] [ port<port> ] [ ]
show hardware internal jer-usd info voq-connector front-port <port> [ ]
show hardware internal jer-usd stats vsq { front-port <port> | inband asic <slot> | recycle-port <port> asic <slot> }
show hardware internal jer-usd ingress-vsq buffer-occupancy front-port <port>
show hardware internal jer-usd info IQM { counter | rate } asic <instance> dst-port <port> [ interval <int> ] [ ]
show hardware internal jer-usd info SCH { counter | rate } asic <instance> dst-port <port> [ interval <int> ] [ ]
bcm-shell mod X
diag cosq print_flow_and_up dest_id=<flow_id>
diag cosq voq id=<voqid> detailed=1
diag cosq qpair e2e ps=<id>
cosq conn ing
cosq conn egr
dump IPS_CR_BAL_TABLE <voqID>
getReg IQM_QUEUE_MAXIMUM_OCCUPANCY_QUEUE_SIZE
Aanvullende laboratoriumtests:
Stap 1. Invoerkaarten met meerdere uitgaande interfaces.
Neem deze topologie in overweging waar de Generator van het verkeer 2 G verkeer naar elke Server stuurt:
Snel controleren welke wachtrijen niet leeg zijn - Opmerking: 4:
Bepaal welke interfaces deze wachtrijen behoren tot - Controleer ASIC 0 eerst (het demonstreert alleen met één interface):
Herhaal hetzelfde proces voor de andere drie waarden van de wachtrij: 247, 303 en 351.
Stap 2. Teruggooi van ingangen vanwege SPAN.
th1/33 instellen als een SPAN-doelpoort terwijl Eth1/9 wordt ingesteld als een SPAN-bronpoort in de RX-richting
Stap 3. Teruggooi van ingangen door verkeershelf.
pakketten verzenden met SRC 10.10.10.10 en DEST 192.168.10.10, waarbij Eth1/9 zich op 10.10.10.1/24 bevindt - Dit leidt niet tot een invoerkaart; u ziet deze teller echter :
Nexus-R# bcm-shell mod 1 "diag counters g" | /|\ | J E R I C H O N E T W O R K I N T E R F A C E | \|/ | +-------------------------------------------+-------------------------------------------+-------------------------------------------+-------------------------------------------+ _PACKET_COUNTER = 0 | DELETED_PKT_CNT = 12,027,201 | | | Discards: INVALID_OTM SRC_EQUAL_DEST +-------------------------------------------+-------------------------------------------+-------------------------------------------+-------------------------------------------+
Stap 4. Verzend pakketten met een niet bekende bestemming van IP.
Verzend pakketten met SRC 10.10.10.10 en DEST 192.168.10.10 waar Eth1/9 in 10.10.10.1/24 is en Eth1/33 een L3 poort in 172.16.0.1/30 subnet - Geen druppelteller, geen input teruggooi zelfs wanneer de bestemming onbekend is.
Stap 5. Invoerkaarten worden verwijderd terwijl een Access/Trunk-poort wordt overgeschakeld op STP-doorsturen
Verzend pakketten waar Eth1/9 slechts een brede boomstam (of toegangshaven) is - Dit is geregistreerd als een Vergiet van de Invoer terwijl de haven in een STP door middel van staat overgaat.
Nexus-R(config)# int e1/9
Nexus-R(config-if)# switchport mode trunk
Nexus-R# bcm-shell mod 1 "diag counters g" | i i --|IQM|ENQ_DISCARD|Rejects +-------------------------------------------+-------------------------------------------+-------------------------------------------+-------------------------------------------+ +-------------------------------------------+-------------------------------------------+-------------------------------------------+-------------------------------------------+ +-------------------------------------------+-------------------------------------------+-------------------------------------------+-------------------------------------------+ +-------------------------------------------+-------------------------------------------| PQP_MC_PKT_CNT = 1,678,949 | | IQM | PQP_DSCRD_MC_PKT_CNT = 11,369,033 | | ENQ_DISCARDED_PACKET_COUNTER = 1,289,182 | DELETED_PKT_CNT = 11,369,081 | | Rejects: QUEUE_NOT_VALID_STATUS | Discards: SRC_EQUAL_DEST | +-------------------------------------------+-------------------------------------------+-------------------------------------------+-------------------------------------------+
Nexus-R# show span int e1/9
Vlan Role Sts Cost Prio.Nbr Type
---------------- ---- --- --------- -------- --------------------------------
VLAN0001 Desg BLK 2 128.9 P2p
VLAN0010 Desg BLK 2 128.9 P2p
<snip>
QUEUE_NOT_VALID_STATUS is een druppel vanwege de PP-beslissing (Packet Processor) van de Packet Processor- (PP) blokkering of een ongeldige bestemming die is ontvangen van de Packet Processor- (PP) blokken.
Stap 6. Invoerteruggooi door Ethernet1/9 te overschrijden lijnsnelheid.
Verzenden van 10G+ naar Eth1/9 zou resulteren in een ander type daling aangezien u op de eerste plaats Eth1/9 uitvouwt - telt nog steeds als een invoerkaart:
bcm-shell.0> diag counters g
| /|\
| J E R I C H O N E T W O R K I N T E R F A C E |
\|/ |
+-------------------------------------------+-------------------------------------------+-------------------------------------------+-------------------------------------------+
| NBI |
| RX_TOTAL_BYTE_COUNTER = 53,913,106,009 | TX_TOTAL_BYTE_COUNTER = 1,164,231 |
| RX_TOTAL_PKT_COUNTER = 54,145,395 | TX_TOTAL_PKT_COUNTER = 17,029 |
| RX_TOTAL_DROPPED_EOPS = 0 | |
+-------------------------------------------+-------------------------------------------+-------------------------------------------+-------------------------------------------+
| IRE | EPNI |
| CPU_PACKET_COUNTER = 17,010 | |
| NIF_PACKET_COUNTER = 54,145,476 | EPE_BYTES_COUNTER = 5,721,307 |
| OAMP_PACKET_COUNTER = 0 | EPE_PKT_COUNTER = 50,703 |
| OLP_PACKET_COUNTER = 0 | EPE_DSCRD_PKT_CNT = 0 |
| RCY_PACKET_COUNTER = 16,837 | |
| IRE_FDT_INTRFACE_CNT = 0 | |
+-------------------------------------------+-------------------------------------------+-------------------------------------------+-------------------------------------------+
| IDR | EGQ |
| | |
| MMU_IDR_PACKET_COUNTER = 54,128,577 | FQP_PACKET_COUNTER = 50,703 |
| IDR_OCB_INTERFACE_COUNTER = 0 | PQP_UNICAST_PKT_CNT = 50,683 |
| | PQP_DSCRD_UC_PKT_CNT = 0 |
| | PQP_UC_BYTES_CNT = 5,216,716 |
+-------------------------------------------+-------------------------------------------| PQP_MC_PKT_CNT = 20 |
| IQM | PQP_DSCRD_MC_PKT_CNT = 20 |
| | PQP_MC_BYTES_CNT = 2,079 |
| ENQUEUE_PKT_CNT = 5,463,323 | EHP_UNICAST_PKT_CNT = 50,683 |
| DEQUEUE_PKT_CNT = 5,594,400 | EHP_MC_HIGH_PKT_CNT = 20 |
| DELETED_PKT_CNT = 0 | EHP_MC_LOW_PKT_CNT = 0 |
| ENQ_DISCARDED_PACKET_COUNTER = 48,716,055 | DELETED_PKT_CNT = 40 |
| Rejects: VOQ_MX_QSZ_STATUS | |
<snip>
FeedbackContact Cisco
- Een ondersteuningscase openen
- (Vereist een Cisco-servicecontract)