Inhalt

Einleitung

In diesem Dokument wird die Fehlerbehebung für das Link Aggregation Control Protocol (LACP) auf Nexus 9000-Cloud-Infrastrukturen beschrieben.

Voraussetzungen

Anforderungen

Cisco empfiehlt, dass Sie über Kenntnisse in den folgenden Bereichen verfügen:

- LACP-Protokoll

- NXOS-Plattform

- ELAM-Verständnis

- Ethanalyzer-Verständnis

Verwendete Komponenten

Name

Plattform

Version

N9K1

N9K-C93108TC-EX

9.3(10)

N9K2

N9K-C93108TC-EX

9.3(10)

Die Informationen in diesem Dokument beziehen sich auf Geräte in einer speziell eingerichteten Testumgebung. Alle Geräte, die in diesem Dokument benutzt wurden, begannen mit einer gelöschten (Nichterfüllungs) Konfiguration. Wenn Ihr Netzwerk in Betrieb ist, stellen Sie sicher, dass Sie die möglichen Auswirkungen aller Befehle kennen.

Topologie

LACP-Verbindungsstatus überprüfen

Hinweis: LACP-Verbindungsstatus für Image 1.1.

Konfigurieren von LACP:

N9K1

N9K2

show run interface port-channel 1 membership

interface port-channel1

switchport

switchport mode trunk

interface Ethernet1/1

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

interface Ethernet1/2

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

show run interface port-channel 1 membership

interface port-channel1

switchport

switchport mode trunk

interface Ethernet1/1

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

interface Ethernet1/2

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

Überprüfen des Port-Channel-Status

N9K1

N9K2

sh port-channel summary interface port-channel 1

Flags:  D - Down        P - Up in port-channel (members)

I - Individual  H - Hot-standby (LACP only)

s - Suspended   r - Module-removed

b - BFD Session Wait

S - Switched    R - Routed

U - Up (port-channel)

p - Up in delay-lacp mode (member)

M - Not in use. Min-links not met

--------------------------------------------------------------------------------

Group Port-       Type     Protocol  Member Ports

Channel

--------------------------------------------------------------------------------

1     Po1(SU)     Eth      LACP      Eth1/1(P)

sh port-channel summary interface port-channel 1

Flags:  D - Down        P - Up in port-channel (members)

I - Individual  H - Hot-standby (LACP only)

s - Suspended   r - Module-removed

b - BFD Session Wait

S - Switched    R - Routed

U - Up (port-channel)

p - Up in delay-lacp mode (member)

M - Not in use. Min-links not met

--------------------------------------------------------------------------------

Group Port-       Type     Protocol  Member Ports

Channel

--------------------------------------------------------------------------------

1     Po1(SU)     Eth      LACP      Eth1/1(P)

Hinweis: Die gängigsten Fehlerszenarios sind Nexus-Schnittstellen, die vorübergehend außer Betrieb genommen werden. Weitere Informationen hierzu finden Sie im Abschnitt über LACP Suspended Interfaces (LACP-Ausgesetzte Schnittstelle).

Überprüfung der Schnittstelle mit angehaltenem LACP

sh port-channel summary interface port-channel 1

Flags:  D - Down        P - Up in port-channel (members)

I - Individual  H - Hot-standby (LACP only)

s - Suspended   r - Module-removed

b - BFD Session Wait

S - Switched    R - Routed

U - Up (port-channel)

p - Up in delay-lacp mode (member)

M - Not in use. Min-links not met

--------------------------------------------------------------------------------

Group Port-       Type     Protocol  Member Ports

Channel

--------------------------------------------------------------------------------

1     Po1(SD)     Eth      LACP      Eth1/1(s)

sh int e1/1 status

--------------------------------------------------------------------------------

Port         Name           Status     Vlan    Duplex   Speed     Type

--------------------------------------------------------------------------------

Eth1/1       --            suspended   trunk    auto     auto   10Gbase-SR

sh int e1/1

Ethernet1/1 is down (suspended(no LACP PDUs))

admin state is up, Dedicated Interface

Belongs to Po1

Hardware: 100/1000/10000/25000 Ethernet, address: 003a.9c08.68ab (bia 003a.9c08.68ab)

MTU 9216 bytes, BW 10000000 Kbit , DLY 10 usec

reliability 255/255, txload 1/255, rxload 1/255

<Snipped>

Hinweis: Wenn Nexus in diesem Szenario keinen LACP PDUS vom Partner empfängt, können die Zähler der LACP-Schnittstellen überprüft werden. Dies geschieht im schriftlichen Abschnitt: Überprüfen der Zähler der LACP-Schnittstellen oder der Paketerfassung wie SPAN oder ELAM (beschrieben in Abschnitt LACP ELAM).

Überprüfung der LACP-Schnittstellenzähler

Jedes Gerät muss LACPDUs mit der gleichen Geschwindigkeit senden und empfangen, damit der Port-Channel aktiv wird.

N9K1

N9K2

sh lacp counters interface port-channel 1

NOTE: Clear lacp counters to get accurate statistics

------------------------------------------------------------------------------

LACPDUs                      Markers/Resp LACPDUs

Port              Sent                Recv                  Recv Sent  Pkts Err

------------------------------------------------------------------------------

port-channel1

Ethernet1/1        445                  445                    0      0    0

Ethernet1/2        445                  445                    0      0    0

sh lacp counters interface port-channel 1

NOTE: Clear lacp counters to get accurate statistics

------------------------------------------------------------------------------

LACPDUs                      Markers/Resp LACPDUs

Port              Sent                Recv                  Recv Sent  Pkts Err

------------------------------------------------------------------------------

port-channel1

Ethernet1/1        445                  445                    0      0    0

Ethernet1/2        445                  445                    0      0    0

Überprüfung der LACP-Aktor-Zustandsbits

In jeder LACP PDU Actor-Instanz werden Statusinformationen zwischen Partner und Actor ausgetauscht.

Aktivität

1: Aktiver Modus

0: Passiver Modus

Zeitüberschreitung

1: Kurze Zeitüberschreitung

0: Langes Timeout

Aggregation

1: Aggregationsfähig

0: Einzelperson

Synchronisierung

1: Synchronisierung läuft

0: Nicht synchronisiert

Wird erfasst

1: Erfassung aktiviert

0: Erfassung deaktiviert

Verteilung

1: Verteilung aktiviert

0: Verteilung deaktiviert

Ausgefallen

1: Standard für Partner verwenden

0: rx LACPDU für Partner verwenden

Abgelaufen

1: Partner PDU abgelaufen

0: Nicht abgelaufen

Hinweis: Tabelle 2.0 Statusbits der Akteure

Überprüfen Sie den Hexadezimalwert des LACP-Zustands:

Hinweis: LACP-Statuskonvertierung von Image 3.0 von binär in hexadezimal

LAG-ID überprüfen

Link Aggregation Identifier ist die Information, die jeder physische Schnittstellenmember des gleichen Port-Channels teilt, um als eine einzige "virtuelle Schnittstelle" zu erscheinen. Sie kann mithilfe von Befehlen überprüft werden.

N9K1 LAG-ID

N9K2 LAG-ID

sh lacp interface e1/1 | include iignore  local|lag

Lag Id: [ [(1770, a8-c-d-96-43-7f, 5, 8000, 1c9), (1770, a8-c-d-96-c9-bf, 5, 8000, 1c9)] ]

Local Port: Eth1/1 MAC Address=a8-c-d-96-c9-bf

sh lacp interface e1/2 | include iignore  local|lag

Lag Id: [ [(1770, a8-c-d-96-43-7f, 5, 8000, 1ca), (1770, a8-c-d-96-c9-bf, 5, 8000, 1ca)] ]

Local Port: Eth1/2 MAC Address=a8-c-d-96-c9-bf

sh lacp interface e1/1 | include iignore  local|lag

Lag Id: [ [(1770, a8-c-d-96-c9-bf, 5, 8000, 1c9),(1770, a8-c-d-96-43-7f, 5, 8000, 1c9)] ]

Local Port: Eth1/1 MAC Address=a8-c-d-96-43-7f

sh lacp interface e1/2 | include iignore  local|lag

Lag Id: [ [(1770, a8-c-d-96-c9-bf, 5, 8000, 1c9),(1770, a8-c-d-96-43-7f, 5, 8000, 1c9)] ]

Local Port: Eth1/2 MAC Address=a8-c-d-96-43-7f

LACP PDU-Austausch überprüfen

Es gibt bestimmte Szenarien, in denen selbst dann, wenn Nexus LACP PDUs mit der richtigen Rate austauscht, Port-Channel nicht verfügbar sind.

Dies kann auf einen Fehler bei der LACP-Aushandlung zurückzuführen sein.

In dieser Tabelle ist ein Beispiel für eine richtige LACP-Transaktion für einen zu öffnenden Port-Channel dargestellt.

1

N9K1-Akteur

N9K2-Partner

- N9K1 sendet LACP mit Schauspielerinformationen mit den Statusbits.

- Die Partnerinformationen liegen bei 0 s, da N9K1 keine LACP PDU vom Partner erhalten hat.

2

N9K1-Partner

N9K2-Akteur

- N9K2 empfängt Informationen von N9K1.

- N9K2 sendet LACP PDU mit den zugehörigen Informationen und bestätigt N9K1-Informationen.

3

N9K1-Akteur

N9K2-Partner

- N9K1 N9K2-Informationen bestätigen.

4

N9K1-Partner

N9K2-Akteur

- N9K2 empfängt Bestätigung von N9K1.

- N9K2 sendet LACP PDU, die das SYNC-Bit bei 1 hinzufügt.

5

N9K1-Akteur

N9K2-Partner

- N9K1 bestätigt das SYNC-Bit von N9K2.

- N9K1 fügt der LACP PDU das SYNC-Bit bei 1 hinzu.

6

N9K1-Partner

N9K2-Akteur

- N9K2-Backnoledge-SYNC-Bit von N9K1.

- N9K2 fügt der LACP PDU das Collect-Bit bei 1 hinzu.

7

N9K1-Akteur

N9K2-Partner

- N9K1 Bestätigungssammlungsbit von N9K2.

- N9K1 fügt der LACP-PDU ein Collect-Bit hinzu.

8

N9K1-Akteur

N9K2-Partner

- N9K1 entscheidet, dass der Übergang in den Verteilungszustand bereit ist. Daher ändert es jetzt das Time-Out-Bit von 1 (schnell) in 0 (langsam) und setzt das Verteilungsbit auf 1.

9

N9K1-Partner

N9K2-Akteur

- N9k2 bestätigt N9k1 PDU und ändert sein Time-Out-Bit von 1 auf 0 und setzt den Verteilungsbiss auf 1.

- Derzeit sind beide Nexus zum Senden von Daten auf dem Port-Channel bereit.

10

N9K1-Akteur

N9K2-Partner

- N9K1 bestätigt LACP PDU von N9K2.

- Port-Channel wird zu diesem Zeitpunkt aktiviert.

LACP-FSM-Protokoll überprüfen

LACP Finite State Machine verfügt über ein dediziertes Protokoll, in dem alle Ereignisse der Schnittstelle "LACP States" (LACP-Status) gespeichert werden. LACP PDUS ist in diesem Protokoll zu finden:

sh lacp intern info interface e1/1 detail fsmlog

Bei neuen Versionen können Sie auch Folgendes verwenden:

sh lacp interne Ereignisverlaufsschnittstelle e1/1

Im ersten Abschnitt werden die LACP-Schnittstellenübergänge beschrieben.

>>>>FSM: <Ethernet1/1> has 61 logged transitions<<<<<

<Snipped>

58) FSM:<Ethernet1/1> Transition at 127198 usecs after Mon Aug 14 22:34:42 2023

Previous state: [LACP_ST_WAIT_FOR_HW_TO_PROGRAM_RECEIVE_PATH]

Triggered event: [LACP_EV_PORT_RECEIVE_PATH_ENABLED_AS_CHANNEL_MEMBER_MESSAGE]

Next state: [LACP_ST_PORT_MEMBER_RECEIVE_ENABLED]

59) FSM:<Ethernet1/1> Transition at 127227 usecs after Mon Aug 14 22:34:42 2023

Previous state: [LACP_ST_PORT_MEMBER_RECEIVE_ENABLED]

Triggered event: [LACP_EV_PARTNER_PDU_IN_SYNC_COLLECT_ENABLED_DISTRIBUTING_DISABLED]

Next state: [LACP_ST_WAIT_FOR_HW_TO_PROGRAM_TRANSMIT_PATH]

60) FSM:<Ethernet1/1> Transition at 128265 usecs after Mon Aug 14 22:34:42 2023

Previous state: [LACP_ST_WAIT_FOR_HW_TO_PROGRAM_TRANSMIT_PATH]

Triggered event: [LACP_EV_PERIODIC_TRANSMIT_TIMER_EXPIRED]

Next state: [FSM_ST_NO_CHANGE]

61) FSM:<Ethernet1/1> Transition at 134352 usecs after Mon Aug 14 22:34:42 2023

Previous state: [LACP_ST_WAIT_FOR_HW_TO_PROGRAM_TRANSMIT_PATH]

Triggered event: [LACP_EV_PORT_HW_PATH_ENABLED]

Next state: [LACP_ST_PORT_MEMBER_COLLECTING_AND_DISTRIBUTING_ENABLED]

Curr state: [LACP_ST_PORT_MEMBER_COLLECTING_AND_DISTRIBUTING_ENABLED]
Im zweiten Abschnitt werden alle LACP PDUS-Informationen angezeigt, die exus gesendet oder empfangen hat.
<Snipped>

(1) Send LACP PDU: len:110 at 492243 usecs after Tue Aug 15 00:02:13 2023

01010114 8000f8a7 3a393d6b 80008000 01013d00 00000214 8000f8a7 3a2ea30f

80008000 01013d00 00000310 00000000 00000000 00000000 00000000 00000000

00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000

00000000 00000000 00000000 0000

Actor:

info: (8000, f8-a7-3a-39-3d-6b, 8000, 8000, 101)

state:0x0f (Ac-1:To-1:Ag-1:Sy-1:Co-0:Di-0:De-0:Ex-0)

Partner:

info: (8000, f8-a7-3a-2e-a3-f, 8000, 8000, 101)

state:0x0f (Ac-1:To-1:Ag-1:Sy-1:Co-0:Di-0:De-0:Ex-0

(2) Recv LACP PDU: len:124 at 708749 usecs after Tue Aug 15 00:02:12 2023

0180c200 0002f8a7 3a2ea310 88090101 01148000 f8a73a2e a30f8000 80000101

3d000000 02148000 f8a73a39 3d6b8000 80000101 3d000000 03100000 00000000

00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000

00000000 00000000 00000000 00000000 00000000 00000000 00000000

Actor:

info: (8000, f8-a7-3a-2e-a3-f, 8000, 8000, 101)

state:0x0f (Ac-1:To-1:Ag-1:Sy-1:Co-0:Di-0:De-0:Ex-0)

Partner:

info: (8000, f8-a7-3a-39-3d-6b, 8000, 8000, 101)

state:0x07 (Ac-1:To-1:Ag-1:Sy-0:Co-0:Di-0:De-0:Ex-0)

Hinweis: Beachten Sie, dass die Ereignisverlaufszeitzeile von LACP PDU von neueren Protokollen zu älteren Protokollen wechselt, die Ereignisverlaufszeitzeile von älteren Protokollen zu neueren Protokollen wechselt.

Konfigurieren und Überprüfen von LACP Ethanalyzer

LACP PDUS muss von der CPU verarbeitet werden, Nexus hat in der Hardware-internen Zugriffsliste installiert, um LACP-Pakete an die CPU umzuleiten. Alle LACP PDUS können mit Ethanalyzer beobachtet werden, um sie zu filtern Wireshark-Filter "langsam" kann verwendet werden.

ethanalyzer local interface inband display-filter "slow and eth.addr==04:76:b0:b2:00:20 and eth.addr==01:80:c2:00:00:02" limit-captured-frames 0

Capturing on inband

2023-07-03 23:37:14.420839 04:76:b0:b2:00:20 -> 01:80:c2:00:00:02 LACP Link Aggregation Control ProtocolVersion 1. Actor Port = 257 Partner Port = 449

Detailed:

Frame 19 (124 bytes on wire, 124 bytes captured)

Arrival Time: Jul 3, 2023 23:38:14.425502000

[Time delta from previous captured frame: 0.836575000 seconds]

[Time delta from previous displayed frame: 11.246799000 seconds]

[Time since reference or first frame: 11.246799000 seconds]

Frame Number: 19

Frame Length: 124 bytes

Capture Length: 124 bytes

[Frame is marked: False]

[Protocols in frame: eth:slow]

Ethernet II, Src: 04:76:b0:b2:00:20 (04:76:b0:b2:00:20), Dst: 01:80:c2:00:00:02 (01:80:c2:00:00:02)

Destination: 01:80:c2:00:00:02 (01:80:c2:00:00:02)

Address: 01:80:c2:00:00:02 (01:80:c2:00:00:02)

.... ...1 .... .... .... .... = IG bit: Group address (multicast/broadcast)

.... ..0. .... .... .... .... = LG bit: Globally unique address (factory default)

Source: 04:76:b0:b2:00:20 (04:76:b0:b2:00:20)

Address: 04:76:b0:b2:00:20 (04:76:b0:b2:00:20)

.... ...0 .... .... .... .... = IG bit: Individual address (unicast)

.... ..0. .... .... .... .... = LG bit: Globally unique address (factory default)

Type: Slow Protocols (0x8809)

Link Aggregation Control Protocol

Slow Protocols subtype: LACP (0x01)

LACP Version Number: 0x01

Actor Information: 0x01

Actor Information Length: 0x14

Actor System Priority: 32768

Actor System: 04:76:b0:b2:00:1f (04:76:b0:b2:00:1f)

Actor Key: 32768

Actor Port Priority: 32768

Actor Port: 257

Actor State: 0x3d (Activity, Aggregation, Synchronization, Collecting, Distributing)

.... ...1 = LACP Activity: Yes

.... ..0. = LACP Timeout: No

.... .1.. = Aggregation: Yes

.... 1... = Synchronization: Yes

...1 .... = Collecting: Yes

..1. .... = Distributing: Yes

.0.. .... = Defaulted: No

0... .... = Expired: No

Reserved: 000000

Partner Information: 0x02

Partner Information Length: 0x14

Partner System Priority: 32768

Partner System: 70:0f:6a:d7:d0:fb (70:0f:6a:d7:d0:fb)

Partner Key: 32768

Partner Port Priority: 32768

Partner Port: 449

Partner State: 0x3d (Activity, Aggregation, Synchronization, Collecting, Distributing)

.... ...1 = LACP Activity: Yes

.... ..0. = LACP Timeout: No

.... .1.. = Aggregation: Yes

.... 1... = Synchronization: Yes

...1 .... = Collecting: Yes

..1. .... = Distributing: Yes

.0.. .... = Defaulted: No

0... .... = Expired: No

Reserved: 000000

Collector Information: 0x03

Collector Information Length: 0x10

Collector Max Delay: 0

Reserved: 000000000000000000000000

Terminator Information: 0x00

Terminator Length: 0x00

Reserved: 000000000000000000000000000000000000000000000000...

Konfigurieren und Überprüfen von LACP Elam

Erste MAC-Adresse von der Remote-Schnittstelle muss identifiziert werden:

N9K2#sh int e1/1 | i i addr

Hardware: 1000/10000/25000/40000/50000/100000 Ethernet, address: 0476.b0b2.0020 (bia 0476.b0b2.0020)

Auf dem Nexus N9K1 ist elam jetzt konfiguriert.

N9K1#debug platform internal tah elam

N9K1(TAH-elam)#trigger init

N9K1(TAH-elam-insel6)#set outer l2 src_mac 04:76:b0:b2:00:20 dst_mac 01:80:c2:00:00:02 <<<<<Dest mac is mcast mac for LACP

N9K1(TAH-elam-insel6)#tart

N9K1(TAH-elam-insel6)#report

SUGARBOWL ELAM REPORT SUMMARY

slot - 1, asic - 0, slice - 1

============================Incoming Interface: Eth1/49

Src Idx : 0x601, Src BD : 1

Outgoing Interface Info: met_ptr 0Packet Type: CE

Dst MAC address: 01:80:C2:00:00:02

Src MAC address: 04:76:B0:B2:00:20

Sup hit: 1, Sup Idx: 2627. <<<<<Traffic needs to be punted to the CPU.

Drop Info:

----------LUA:

LUB:

LUC:

LUD:

Final Drops:vntag:

vntag_valid : 0

vntag_vir : 0

vntag_svif : 0

Um den SUP-Umleitungsindex zu dekodieren, kann der Befehl sh system internal access-list sup-redirect-stats ausgeführt werden:

sh system internal access-list sup-redirect-stats | i i 2627

2627 LACP 0

2627 LACP 103