Inhoud

Inleiding

Dit document beschrijft hoe u problemen kunt oplossen met Link Aggregation Control Protocol (LACP) op Nexus 9000 cloudscale-reeks.

Voorwaarden

Vereisten

Cisco raadt aan dat u kennis van deze onderwerpen hebt:

- LACS-protocol

- NXOS-platform

- ELAM-begrip

- Begrip over ethanalisten

Gebruikte componenten

Naam

Paltform

Versie

N9K1

N9K-C93108TC-EX

9.3(10)

N9K2

N9K-C93108TC-EX

9.3(10)

De informatie in dit document is gebaseerd op de apparaten in een specifieke laboratoriumomgeving. Alle apparaten die in dit document worden beschreven, hadden een opgeschoonde (standaard)configuratie. Als uw netwerk live is, moet u zorgen dat u de potentiële impact van elke opdracht begrijpt.

Topologie

Controleer de status van de LACS-link

Opmerking: Afbeelding 1.1.

LACP configureren:

N9K1

N9K2

show run interface port-channel 1 membership

interface port-channel1

switchport

switchport mode trunk

interface Ethernet1/1

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

interface Ethernet1/2

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

show run interface port-channel 1 membership

interface port-channel1

switchport

switchport mode trunk

interface Ethernet1/1

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

interface Ethernet1/2

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

Controleer de status van het poortkanaal

N9K1

N9K2

sh port-channel summary interface port-channel 1

Flags:  D - Down        P - Up in port-channel (members)

I - Individual  H - Hot-standby (LACP only)

s - Suspended   r - Module-removed

b - BFD Session Wait

S - Switched    R - Routed

U - Up (port-channel)

p - Up in delay-lacp mode (member)

M - Not in use. Min-links not met

--------------------------------------------------------------------------------

Group Port-       Type     Protocol  Member Ports

Channel

--------------------------------------------------------------------------------

1     Po1(SU)     Eth      LACP      Eth1/1(P)

sh port-channel summary interface port-channel 1

Flags:  D - Down        P - Up in port-channel (members)

I - Individual  H - Hot-standby (LACP only)

s - Suspended   r - Module-removed

b - BFD Session Wait

S - Switched    R - Routed

U - Up (port-channel)

p - Up in delay-lacp mode (member)

M - Not in use. Min-links not met

--------------------------------------------------------------------------------

Group Port-       Type     Protocol  Member Ports

Channel

--------------------------------------------------------------------------------

1     Po1(SU)     Eth      LACP      Eth1/1(P)

Opmerking: De meest voorkomende storingsscenario's is Nexus schorsing van de interface, die wordt behandeld in LACP Suspended interface sectie.

Controleer de LACP opgeschorte interface

sh port-channel summary interface port-channel 1

Flags:  D - Down        P - Up in port-channel (members)

I - Individual  H - Hot-standby (LACP only)

s - Suspended   r - Module-removed

b - BFD Session Wait

S - Switched    R - Routed

U - Up (port-channel)

p - Up in delay-lacp mode (member)

M - Not in use. Min-links not met

--------------------------------------------------------------------------------

Group Port-       Type     Protocol  Member Ports

Channel

--------------------------------------------------------------------------------

1     Po1(SD)     Eth      LACP      Eth1/1(s)

sh int e1/1 status

--------------------------------------------------------------------------------

Port         Name           Status     Vlan    Duplex   Speed     Type

--------------------------------------------------------------------------------

Eth1/1       --            suspended   trunk    auto     auto   10Gbase-SR

sh int e1/1

Ethernet1/1 is down (suspended(no LACP PDUs))

admin state is up, Dedicated Interface

Belongs to Po1

Hardware: 100/1000/10000/25000 Ethernet, address: 003a.9c08.68ab (bia 003a.9c08.68ab)

MTU 9216 bytes, BW 10000000 Kbit , DLY 10 usec

reliability 255/255, txload 1/255, rxload 1/255

<Snipped>

Opmerking: Wanneer Nexus met dit scenario wordt geconfronteerd, ontvangt hij geen LACP PDUS van de partner, kunnen de LACP-interfacetellers worden geverifieerd, zoals geschreven sectie: Controleer LACP-interfacetellers of pakketopnamen zoals SPAN of ELAM (beschreven in sectie LACP ELAM) kunnen worden genomen.

Controleer LACP-interfacetellers

Elk apparaat moet LACPDUs verzenden en ontvangen met dezelfde snelheid zodat het poortkanaal naar boven komt.

N9K1

N9K2

sh lacp counters interface port-channel 1

NOTE: Clear lacp counters to get accurate statistics

------------------------------------------------------------------------------

LACPDUs                      Markers/Resp LACPDUs

Port              Sent                Recv                  Recv Sent  Pkts Err

------------------------------------------------------------------------------

port-channel1

Ethernet1/1        445                  445                    0      0    0

Ethernet1/2        445                  445                    0      0    0

sh lacp counters interface port-channel 1

NOTE: Clear lacp counters to get accurate statistics

------------------------------------------------------------------------------

LACPDUs                      Markers/Resp LACPDUs

Port              Sent                Recv                  Recv Sent  Pkts Err

------------------------------------------------------------------------------

port-channel1

Ethernet1/1        445                  445                    0      0    0

Ethernet1/2        445                  445                    0      0    0

Controleer de LACS Actor State Bits

In elke LACP PDU Actor staat informatie wordt uitgewisseld tussen Partner en Actor.

Activiteit

1: actieve modus

0: passieve modus

Timeout

1: Korte time-out

0: Lange time-out

Aggregation (Aggregatie)

1: aggregeerbaar

0: Individueel

Sync

1: In sync

0: niet synchroon

Verzamelen

1: Inschakelen

0: Verzamelen is uitgeschakeld

Distributie

1: Ingeschakeld voor distributie

0: Uitgeschakeld distribueren

Defaulted (Standaard)

1: Gebruik standaard voor partner

0: Gebruik rx LACPDU voor partner

Expired (Verlopen)

1: Partner PDU verlopen

0: niet verlopen

Toelichting: Tabel 2.0 Obligaties van actoren

Controleer de hexadecimale waarde van de LACS-staat:

Opmerking: Afbeelding 3.0 LACP-status conversie van binair naar hexadecimaal

Controleer LAG-ID

Link Agregation Identifier is de informatie die elk fysiek interfacelid van hetzelfde poortkanaal deelt, om als één "virtuele interface" te verschijnen. U kunt dit controleren met behulp van opdrachten.

N9K1 LAG-ID

N9K2 LAG-ID

sh lacp interface e1/1 | include iignore  local|lag

Lag Id: [ [(1770, a8-c-d-96-43-7f, 5, 8000, 1c9), (1770, a8-c-d-96-c9-bf, 5, 8000, 1c9)] ]

Local Port: Eth1/1 MAC Address=a8-c-d-96-c9-bf

sh lacp interface e1/2 | include iignore  local|lag

Lag Id: [ [(1770, a8-c-d-96-43-7f, 5, 8000, 1ca), (1770, a8-c-d-96-c9-bf, 5, 8000, 1ca)] ]

Local Port: Eth1/2 MAC Address=a8-c-d-96-c9-bf

sh lacp interface e1/1 | include iignore  local|lag

Lag Id: [ [(1770, a8-c-d-96-c9-bf, 5, 8000, 1c9),(1770, a8-c-d-96-43-7f, 5, 8000, 1c9)] ]

Local Port: Eth1/1 MAC Address=a8-c-d-96-43-7f

sh lacp interface e1/2 | include iignore  local|lag

Lag Id: [ [(1770, a8-c-d-96-c9-bf, 5, 8000, 1c9),(1770, a8-c-d-96-43-7f, 5, 8000, 1c9)] ]

Local Port: Eth1/2 MAC Address=a8-c-d-96-43-7f

Controleer LACS PDU exchange

Er zijn bepaalde scenario's waarbij zelfs als Nexus LACP PDU's tegen het juiste tempo uitwisselt, het havenkanaal niet komt.

Dit kan te wijten zijn aan een mislukking van de LACP-onderhandelingen.

Een voorbeeld van een correcte LACP-transactie voor een poortkanaal wordt in deze tabel getoond.

1

N9K1-speler

N9K2-partner

- N9K1 verstuurt LACP met actorinformatie met de statebits.

- Partnergegevens zijn op 0s omdat N9K1 geen LACP PDU van partner heeft ontvangen.

2

N9K1-partner

N9K2-speler

- N9K2 ontvangt informatie voor N9K1.

- N9K2 verstuurt LACP PDU met zijn informatie en erkent N9K1 informatie.

3

N9K1-speler

N9K2-partner

- N9K1 Bevestig N9K2-informatie.

4

N9K1-partner

N9K2-speler

- N9K2 ontvangt een bevestiging van N9K1.

- N9K2 verstuurt LACP PDU door SYNC bit toe te voegen op 1.

5

N9K1-speler

N9K2-partner

- N9K1 erkent SYNC-bit van N9K2.

- N9K1 voegt SYNC-bit toe aan LACP PDU.

6

N9K1-partner

N9K2-speler

- N9K2 Acknoledge SYNC-bit van N9K1.

- N9K2 voegt Verzamel bit op 1 toe aan LACP PDU.

7

N9K1-speler

N9K2-partner

- N9K1 Bevestigen Verzamel bit van N9K2.

- N9K1 Voegt Verzamel bit toe aan zijn LACP PDU.

8

N9K1-speler

N9K2-partner

- N9K1 besluit dat klaar is om de staat te distribueren, dus het verandert nu Time Out bit van 1 (snel) naar 0 (langzaam) en stelt Distribute bit in 1.

9

N9K1-partner

N9K2-speler

- N9k2 erkent N9k1 PDU en wijzigt de Time Out bit van 1 naar 0 en stelt de verdeling van de beet in 1.

- Op dit moment zijn beide nexus klaar om gegevens te versturen over het poortkanaal.

10

N9K1-speler

N9K2-partner

- N9K1 LACP-PDU van N9K2 erkennen.

- Op dit moment gaat Port-Channel over naar de top.

Controleer het LACS FSM-logboek

LACP Finite State Machine heeft een speciaal logg waar het alle gebeurtenissen van de interface LACP-staten en LACP PDUS kan worden gevonden op dit logbestand:

sh lacp interne info interface e1/1 detail fsmlog

Op nieuwe versies kunt u ook gebruiken:

sh lacp internethistorie-interface voor interne gebeurtenis e1/1

In het eerste deel worden de LACP-overgangen beschreven

>>>>FSM: <Ethernet1/1> has 61 logged transitions<<<<<

<Snipped>

58) FSM:<Ethernet1/1> Transition at 127198 usecs after Mon Aug 14 22:34:42 2023

Previous state: [LACP_ST_WAIT_FOR_HW_TO_PROGRAM_RECEIVE_PATH]

Triggered event: [LACP_EV_PORT_RECEIVE_PATH_ENABLED_AS_CHANNEL_MEMBER_MESSAGE]

Next state: [LACP_ST_PORT_MEMBER_RECEIVE_ENABLED]

59) FSM:<Ethernet1/1> Transition at 127227 usecs after Mon Aug 14 22:34:42 2023

Previous state: [LACP_ST_PORT_MEMBER_RECEIVE_ENABLED]

Triggered event: [LACP_EV_PARTNER_PDU_IN_SYNC_COLLECT_ENABLED_DISTRIBUTING_DISABLED]

Next state: [LACP_ST_WAIT_FOR_HW_TO_PROGRAM_TRANSMIT_PATH]

60) FSM:<Ethernet1/1> Transition at 128265 usecs after Mon Aug 14 22:34:42 2023

Previous state: [LACP_ST_WAIT_FOR_HW_TO_PROGRAM_TRANSMIT_PATH]

Triggered event: [LACP_EV_PERIODIC_TRANSMIT_TIMER_EXPIRED]

Next state: [FSM_ST_NO_CHANGE]

61) FSM:<Ethernet1/1> Transition at 134352 usecs after Mon Aug 14 22:34:42 2023

Previous state: [LACP_ST_WAIT_FOR_HW_TO_PROGRAM_TRANSMIT_PATH]

Triggered event: [LACP_EV_PORT_HW_PATH_ENABLED]

Next state: [LACP_ST_PORT_MEMBER_COLLECTING_AND_DISTRIBUTING_ENABLED]

Curr state: [LACP_ST_PORT_MEMBER_COLLECTING_AND_DISTRIBUTING_ENABLED]
Het tweede deel toont alle LACP PDUS informatie die exus heeft verzonden of ontvangen.
<Snipped>

(1) Send LACP PDU: len:110 at 492243 usecs after Tue Aug 15 00:02:13 2023

01010114 8000f8a7 3a393d6b 80008000 01013d00 00000214 8000f8a7 3a2ea30f

80008000 01013d00 00000310 00000000 00000000 00000000 00000000 00000000

00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000

00000000 00000000 00000000 0000

Actor:

info: (8000, f8-a7-3a-39-3d-6b, 8000, 8000, 101)

state:0x0f (Ac-1:To-1:Ag-1:Sy-1:Co-0:Di-0:De-0:Ex-0)

Partner:

info: (8000, f8-a7-3a-2e-a3-f, 8000, 8000, 101)

state:0x0f (Ac-1:To-1:Ag-1:Sy-1:Co-0:Di-0:De-0:Ex-0

(2) Recv LACP PDU: len:124 at 708749 usecs after Tue Aug 15 00:02:12 2023

0180c200 0002f8a7 3a2ea310 88090101 01148000 f8a73a2e a30f8000 80000101

3d000000 02148000 f8a73a39 3d6b8000 80000101 3d000000 03100000 00000000

00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000

00000000 00000000 00000000 00000000 00000000 00000000 00000000

Actor:

info: (8000, f8-a7-3a-2e-a3-f, 8000, 8000, 101)

state:0x0f (Ac-1:To-1:Ag-1:Sy-1:Co-0:Di-0:De-0:Ex-0)

Partner:

info: (8000, f8-a7-3a-39-3d-6b, 8000, 8000, 101)

state:0x07 (Ac-1:To-1:Ag-1:Sy-0:Co-0:Di-0:De-0:Ex-0)

Opmerking: Houd er rekening mee dat de tijdlijn van de LACP PDU-gebeurtenis van nieuwere naar oudere logs gaat, maar de tijdlijn van de LACP-staten gebeurtenis-geschiedenis gaat van oudere logs naar nieuwere logs.

Configureer en controleer LACP Ethanalyzer

LACP PDUS moet worden verwerkt door CPU, nexus heeft geïnstalleerd in hardware interne toegangslijst om LACP-pakketten om te leiden naar CPU, alle LACP PDUS kan worden waargenomen met ethanalyzer, om ze te filteren wireshark filter "langzaam" kan worden gebruikt.

ethanalyzer local interface inband display-filter "slow and eth.addr==04:76:b0:b2:00:20 and eth.addr==01:80:c2:00:00:02" limit-captured-frames 0

Capturing on inband

2023-07-03 23:37:14.420839 04:76:b0:b2:00:20 -> 01:80:c2:00:00:02 LACP Link Aggregation Control ProtocolVersion 1. Actor Port = 257 Partner Port = 449

Detailed:

Frame 19 (124 bytes on wire, 124 bytes captured)

Arrival Time: Jul 3, 2023 23:38:14.425502000

[Time delta from previous captured frame: 0.836575000 seconds]

[Time delta from previous displayed frame: 11.246799000 seconds]

[Time since reference or first frame: 11.246799000 seconds]

Frame Number: 19

Frame Length: 124 bytes

Capture Length: 124 bytes

[Frame is marked: False]

[Protocols in frame: eth:slow]

Ethernet II, Src: 04:76:b0:b2:00:20 (04:76:b0:b2:00:20), Dst: 01:80:c2:00:00:02 (01:80:c2:00:00:02)

Destination: 01:80:c2:00:00:02 (01:80:c2:00:00:02)

Address: 01:80:c2:00:00:02 (01:80:c2:00:00:02)

.... ...1 .... .... .... .... = IG bit: Group address (multicast/broadcast)

.... ..0. .... .... .... .... = LG bit: Globally unique address (factory default)

Source: 04:76:b0:b2:00:20 (04:76:b0:b2:00:20)

Address: 04:76:b0:b2:00:20 (04:76:b0:b2:00:20)

.... ...0 .... .... .... .... = IG bit: Individual address (unicast)

.... ..0. .... .... .... .... = LG bit: Globally unique address (factory default)

Type: Slow Protocols (0x8809)

Link Aggregation Control Protocol

Slow Protocols subtype: LACP (0x01)

LACP Version Number: 0x01

Actor Information: 0x01

Actor Information Length: 0x14

Actor System Priority: 32768

Actor System: 04:76:b0:b2:00:1f (04:76:b0:b2:00:1f)

Actor Key: 32768

Actor Port Priority: 32768

Actor Port: 257

Actor State: 0x3d (Activity, Aggregation, Synchronization, Collecting, Distributing)

.... ...1 = LACP Activity: Yes

.... ..0. = LACP Timeout: No

.... .1.. = Aggregation: Yes

.... 1... = Synchronization: Yes

...1 .... = Collecting: Yes

..1. .... = Distributing: Yes

.0.. .... = Defaulted: No

0... .... = Expired: No

Reserved: 000000

Partner Information: 0x02

Partner Information Length: 0x14

Partner System Priority: 32768

Partner System: 70:0f:6a:d7:d0:fb (70:0f:6a:d7:d0:fb)

Partner Key: 32768

Partner Port Priority: 32768

Partner Port: 449

Partner State: 0x3d (Activity, Aggregation, Synchronization, Collecting, Distributing)

.... ...1 = LACP Activity: Yes

.... ..0. = LACP Timeout: No

.... .1.. = Aggregation: Yes

.... 1... = Synchronization: Yes

...1 .... = Collecting: Yes

..1. .... = Distributing: Yes

.0.. .... = Defaulted: No

0... .... = Expired: No

Reserved: 000000

Collector Information: 0x03

Collector Information Length: 0x10

Collector Max Delay: 0

Reserved: 000000000000000000000000

Terminator Information: 0x00

Terminator Length: 0x00

Reserved: 000000000000000000000000000000000000000000000000...

LACP Elam configureren en verifiëren

Eerste MAC-adres van externe interface moet worden geïdentificeerd:

N9K2#sh int e1/1 | i i addr

Hardware: 1000/10000/25000/40000/50000/100000 Ethernet, address: 0476.b0b2.0020 (bia 0476.b0b2.0020)

Nu op nexus N9K1 elam is geconfigureerd.

N9K1#debug platform internal tah elam

N9K1(TAH-elam)#trigger init

N9K1(TAH-elam-insel6)#set outer l2 src_mac 04:76:b0:b2:00:20 dst_mac 01:80:c2:00:00:02 <<<<<Dest mac is mcast mac for LACP

N9K1(TAH-elam-insel6)#tart

N9K1(TAH-elam-insel6)#report

SUGARBOWL ELAM REPORT SUMMARY

slot - 1, asic - 0, slice - 1

============================Incoming Interface: Eth1/49

Src Idx : 0x601, Src BD : 1

Outgoing Interface Info: met_ptr 0Packet Type: CE

Dst MAC address: 01:80:C2:00:00:02

Src MAC address: 04:76:B0:B2:00:20

Sup hit: 1, Sup Idx: 2627. <<<<<Traffic needs to be punted to the CPU.

Drop Info:

----------LUA:

LUB:

LUC:

LUD:

Final Drops:vntag:

vntag_valid : 0

vntag_vir : 0

vntag_svif : 0

Om de sup redirect index te decoderen, kunnen de opdracht sh-systeem interne access-list sup-redirect-stats worden uitgevoerd:

sh system internal access-list sup-redirect-stats | i i 2627

2627 LACP 0

2627 LACP 103