Contenido

Introducción

Este documento describe cómo resolver problemas del Link Aggregation Control Protocol (LACP) en la familia de la escala de nubes Nexus 9000.

Prerequisites

Requirements

Cisco recomienda que conozca estos temas:

- protocolo LACP

- Plataforma NXOS

- comprensión de ELAM

- Comprensión de Ethanalyzer

Componentes Utilizados

Nombre

Plataforma

Versión

N9K1

N9K-C93108TC-EX

9.3(10)

N9K2

N9K-C93108TC-EX

9.3(10)

La información que contiene este documento se creó a partir de los dispositivos en un ambiente de laboratorio específico. Todos los dispositivos que se utilizan en este documento se pusieron en funcionamiento con una configuración verificada (predeterminada). Si tiene una red en vivo, asegúrese de entender el posible impacto de cualquier comando.

Topología

Verificar el estado del link LACP

Nota: Imagen 1.1 Estado del link LACP.

Configuración de LACP:

N9K1

N9K2

show run interface port-channel 1 membership

interface port-channel1

switchport

switchport mode trunk

interface Ethernet1/1

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

interface Ethernet1/2

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

show run interface port-channel 1 membership

interface port-channel1

switchport

switchport mode trunk

interface Ethernet1/1

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

interface Ethernet1/2

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

Verificar el estado del canal de puerto

N9K1

N9K2

sh port-channel summary interface port-channel 1

Flags:  D - Down        P - Up in port-channel (members)

I - Individual  H - Hot-standby (LACP only)

s - Suspended   r - Module-removed

b - BFD Session Wait

S - Switched    R - Routed

U - Up (port-channel)

p - Up in delay-lacp mode (member)

M - Not in use. Min-links not met

--------------------------------------------------------------------------------

Group Port-       Type     Protocol  Member Ports

Channel

--------------------------------------------------------------------------------

1     Po1(SU)     Eth      LACP      Eth1/1(P)

sh port-channel summary interface port-channel 1

Flags:  D - Down        P - Up in port-channel (members)

I - Individual  H - Hot-standby (LACP only)

s - Suspended   r - Module-removed

b - BFD Session Wait

S - Switched    R - Routed

U - Up (port-channel)

p - Up in delay-lacp mode (member)

M - Not in use. Min-links not met

--------------------------------------------------------------------------------

Group Port-       Type     Protocol  Member Ports

Channel

--------------------------------------------------------------------------------

1     Po1(SU)     Eth      LACP      Eth1/1(P)

Nota: La mayoría de los escenarios de fallas comunes es la suspensión de la interfaz por parte de Nexus, que se trata en la sección Interfaz suspendida de LACP.

Verificar interfaz LACP suspendida

sh port-channel summary interface port-channel 1

Flags:  D - Down        P - Up in port-channel (members)

I - Individual  H - Hot-standby (LACP only)

s - Suspended   r - Module-removed

b - BFD Session Wait

S - Switched    R - Routed

U - Up (port-channel)

p - Up in delay-lacp mode (member)

M - Not in use. Min-links not met

--------------------------------------------------------------------------------

Group Port-       Type     Protocol  Member Ports

Channel

--------------------------------------------------------------------------------

1     Po1(SD)     Eth      LACP      Eth1/1(s)

sh int e1/1 status

--------------------------------------------------------------------------------

Port         Name           Status     Vlan    Duplex   Speed     Type

--------------------------------------------------------------------------------

Eth1/1       --            suspended   trunk    auto     auto   10Gbase-SR

sh int e1/1

Ethernet1/1 is down (suspended(no LACP PDUs))

admin state is up, Dedicated Interface

Belongs to Po1

Hardware: 100/1000/10000/25000 Ethernet, address: 003a.9c08.68ab (bia 003a.9c08.68ab)

MTU 9216 bytes, BW 10000000 Kbit , DLY 10 usec

reliability 255/255, txload 1/255, rxload 1/255

Nota: Al enfrentarse a este escenario, Nexus no recibe PDU de LACP del partner, se pueden verificar los contadores de interfaces de LACP, como se describe en la sección: Verifique que los contadores de la interfaz LACP o las capturas de paquetes como SPAN o ELAM (descritos en la sección LACP ELAM) se puedan tomar.

Verificar contadores de interfaz LACP

Cada dispositivo debe enviar y recibir LACPDUs a la misma velocidad para que el canal de puerto aparezca.

N9K1

N9K2

sh lacp counters interface port-channel 1

NOTE: Clear lacp counters to get accurate statistics

------------------------------------------------------------------------------

LACPDUs                      Markers/Resp LACPDUs

Port              Sent                Recv                  Recv Sent  Pkts Err

------------------------------------------------------------------------------

port-channel1

Ethernet1/1        445                  445                    0      0    0

Ethernet1/2        445                  445                    0      0    0

sh lacp counters interface port-channel 1

NOTE: Clear lacp counters to get accurate statistics

------------------------------------------------------------------------------

LACPDUs                      Markers/Resp LACPDUs

Port              Sent                Recv                  Recv Sent  Pkts Err

------------------------------------------------------------------------------

port-channel1

Ethernet1/1        445                  445                    0      0    0

Ethernet1/2        445                  445                    0      0    0

Verificar bits de estado de actor de LACP

En cada LACP PDU Actor, la información de estado se intercambia entre el Partner y el Actor.

Actividad

1: Modo activo

0: Modo pasivo

Tiempo de espera

1: Tiempo de espera corto

0: Largo tiempo de espera

Switching

1: Agregable

0: Individual

Sincrónico

1: En sincronización

0: Falta de sincronización

Recopilación

1: Recopilación habilitada

0: Recopilación deshabilitada

Distribución

1:  Distribución habilitada

0: Distribución deshabilitada

Predeterminado

1:  Utilizar valor predeterminado para partner

0: Utilice Rx LACPDU para el partner

Vencido

1: PDU del partner caducada

0: No vencido

Nota: Tabla 2.0 Significado de bits de estado de actor

Verificar valor hexadecimal del estado de LACP:

Nota: Conversión del estado LACP de la imagen 3.0 de binario a hexadecimal

Verificar ID DE LAG

El Identificador de agregación de link es la información que comparte cada miembro de la interfaz física del mismo canal de puerto, para que aparezca como una única "interfaz virtual" . Se puede verificar mediante comandos.

ID DE LAG N9K1

ID DE LAG N9K2

sh lacp interface e1/1 | include iignore  local|lag

Lag Id: [ [(1770, a8-c-d-96-43-7f, 5, 8000, 1c9), (1770, a8-c-d-96-c9-bf, 5, 8000, 1c9)] ]

Local Port: Eth1/1 MAC Address=a8-c-d-96-c9-bf

sh lacp interface e1/2 | include iignore  local|lag

Lag Id: [ [(1770, a8-c-d-96-43-7f, 5, 8000, 1ca), (1770, a8-c-d-96-c9-bf, 5, 8000, 1ca)] ]

Local Port: Eth1/2 MAC Address=a8-c-d-96-c9-bf

sh lacp interface e1/1 | include iignore  local|lag

Lag Id: [ [(1770, a8-c-d-96-c9-bf, 5, 8000, 1c9),(1770, a8-c-d-96-43-7f, 5, 8000, 1c9)] ]

Local Port: Eth1/1 MAC Address=a8-c-d-96-43-7f

sh lacp interface e1/2 | include iignore  local|lag

Lag Id: [ [(1770, a8-c-d-96-c9-bf, 5, 8000, 1c9),(1770, a8-c-d-96-43-7f, 5, 8000, 1c9)] ]

Local Port: Eth1/2 MAC Address=a8-c-d-96-43-7f

Verificar intercambio LACP PDU

Hay ciertos escenarios donde incluso si Nexus está intercambiando PDU LACP a la velocidad correcta, el canal de puerto no aparece.

Esto podría deberse a un error en la negociación LACP.

En esta tabla se muestra un ejemplo de una transacción LACP correcta para que aparezca un canal de puerto.

1

Actor N9K1

Partner N9K2

- N9K1 envía LACP con información de actor con los bits de estado.

- La información del partner está en 0, ya que N9K1 no ha recibido ninguna PDU de LACP del partner.

2

Partner N9K1

Actor N9K2

- N9K2 recibe información de N9K1.

- N9K2 envía LACP PDU con su información y reconoce la información N9K1 .

3

Actor N9K1

Partner N9K2

- N9K1 Reconoce información N9K2.

4

Partner N9K1

Actor N9K2

- N9K2 recibe confirmación de N9K1.

- N9K2 envía LACP PDU agregando bit SYNC a 1.

5

Actor N9K1

Partner N9K2

- Bits de SINCRONIZACIÓN de reconocimiento N9K1 de N9K2.

- N9K1 agrega el bit SYNC en 1 a la PDU LACP.

6

Partner N9K1

Actor N9K2

- Bit de SINCRONIZACIÓN de confirmación N9K2 de N9K1.

- N9K2 agrega el bit de recopilación en 1 a la PDU de LACP.

7

Actor N9K1

Partner N9K2

- Bit de recopilación de reconocimiento N9K1 de N9K2.

- N9K1 agrega el bit de recopilación a su PDU de LACP.

8

Actor N9K1

Partner N9K2

- N9K1 decide que está listo para la transición al estado de distribución, por lo que cambia ahora el bit de tiempo de espera de 1 (rápido) a 0 (lento) y establece el bit de distribución en 1.

9

Partner N9K1

Actor N9K2

- N9k2 reconoce la PDU N9k1 y cambia su bit de tiempo de espera de 1 a 0 y establece la distribución de mordida a 1.

- En este momento, ambos nexus están listos para enviar datos en el canal de puerto.

10

Actor N9K1

Partner N9K2

- N9K1 Reconoce LACP PDU de N9K2.

- En este momento Port-Channel realizará la transición a up.

Verificar registro de LACP FSM

La máquina de estado finito de LACP tiene un registro dedicado donde almacena todos los eventos de los estados de la interfaz LACP y las PDU de LACP se pueden encontrar en este registro:

sh lacp internal info interface e1/1 detail fsmlog

En las nuevas versiones también puede utilizar:

sh lacp internal event-history interface e1/1

La primera sección describe las transiciones LACP de la interfaz

>>>>FSM:

has 61 logged transitions<<<<<

58) FSM:

Transition at 127198 usecs after Mon Aug 14 22:34:42 2023

Previous state: [LACP_ST_WAIT_FOR_HW_TO_PROGRAM_RECEIVE_PATH]

Triggered event: [LACP_EV_PORT_RECEIVE_PATH_ENABLED_AS_CHANNEL_MEMBER_MESSAGE]

Next state: [LACP_ST_PORT_MEMBER_RECEIVE_ENABLED]

59) FSM:

Transition at 127227 usecs after Mon Aug 14 22:34:42 2023

Previous state: [LACP_ST_PORT_MEMBER_RECEIVE_ENABLED]

Triggered event: [LACP_EV_PARTNER_PDU_IN_SYNC_COLLECT_ENABLED_DISTRIBUTING_DISABLED]

Next state: [LACP_ST_WAIT_FOR_HW_TO_PROGRAM_TRANSMIT_PATH]

60) FSM:

Transition at 128265 usecs after Mon Aug 14 22:34:42 2023

Previous state: [LACP_ST_WAIT_FOR_HW_TO_PROGRAM_TRANSMIT_PATH]

Triggered event: [LACP_EV_PERIODIC_TRANSMIT_TIMER_EXPIRED]

Next state: [FSM_ST_NO_CHANGE]

61) FSM:

Transition at 134352 usecs after Mon Aug 14 22:34:42 2023

Previous state: [LACP_ST_WAIT_FOR_HW_TO_PROGRAM_TRANSMIT_PATH]

Triggered event: [LACP_EV_PORT_HW_PATH_ENABLED]

Next state: [LACP_ST_PORT_MEMBER_COLLECTING_AND_DISTRIBUTING_ENABLED]

Curr state: [LACP_ST_PORT_MEMBER_COLLECTING_AND_DISTRIBUTING_ENABLED]

La segunda sección muestra toda la información de LACP PDU que Exus ha enviado o recibido.

(1) Send LACP PDU: len:110 at 492243 usecs after Tue Aug 15 00:02:13 2023

01010114 8000f8a7 3a393d6b 80008000 01013d00 00000214 8000f8a7 3a2ea30f

80008000 01013d00 00000310 00000000 00000000 00000000 00000000 00000000

00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000

00000000 00000000 00000000 0000

Actor:

info: (8000, f8-a7-3a-39-3d-6b, 8000, 8000, 101)

state:0x0f (Ac-1:To-1:Ag-1:Sy-1:Co-0:Di-0:De-0:Ex-0)

Partner:

info: (8000, f8-a7-3a-2e-a3-f, 8000, 8000, 101)

state:0x0f (Ac-1:To-1:Ag-1:Sy-1:Co-0:Di-0:De-0:Ex-0

(2) Recv LACP PDU: len:124 at 708749 usecs after Tue Aug 15 00:02:12 2023

0180c200 0002f8a7 3a2ea310 88090101 01148000 f8a73a2e a30f8000 80000101

3d000000 02148000 f8a73a39 3d6b8000 80000101 3d000000 03100000 00000000

00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000

00000000 00000000 00000000 00000000 00000000 00000000 00000000

Actor:

info: (8000, f8-a7-3a-2e-a3-f, 8000, 8000, 101)

state:0x0f (Ac-1:To-1:Ag-1:Sy-1:Co-0:Di-0:De-0:Ex-0)

Partner:

info: (8000, f8-a7-3a-39-3d-6b, 8000, 8000, 101)

state:0x07 (Ac-1:To-1:Ag-1:Sy-0:Co-0:Di-0:De-0:Ex-0)

Nota: Tenga en cuenta que la línea de tiempo del historial de eventos de PDU de LACP va de los registros más nuevos a los más antiguos; sin embargo, LACP establece que la línea de tiempo del historial de eventos va de los registros más antiguos a los más recientes.

Configuración y verificación de LACP Ethanalyzer

Las PDU de LACP deben ser procesadas por la CPU , nexus ha instalado en la lista de acceso interno del hardware para redirigir los paquetes de LACP a la CPU, todas las PDU de LACP se pueden observar con el etanalyzer, para filtrarlos el filtro de Wireshark "lento" se puede utilizar.

ethanalyzer local interface inband display-filter "slow and eth.addr==04:76:b0:b2:00:20 and eth.addr==01:80:c2:00:00:02" limit-captured-frames 0

Capturing on inband

2023-07-03 23:37:14.420839 04:76:b0:b2:00:20 -> 01:80:c2:00:00:02 LACP Link Aggregation Control ProtocolVersion 1. Actor Port = 257 Partner Port = 449

Detailed:

Frame 19 (124 bytes on wire, 124 bytes captured)

Arrival Time: Jul 3, 2023 23:38:14.425502000

[Time delta from previous captured frame: 0.836575000 seconds]

[Time delta from previous displayed frame: 11.246799000 seconds]

[Time since reference or first frame: 11.246799000 seconds]

Frame Number: 19

Frame Length: 124 bytes

Capture Length: 124 bytes

[Frame is marked: False]

[Protocols in frame: eth:slow]

Ethernet II, Src: 04:76:b0:b2:00:20 (04:76:b0:b2:00:20), Dst: 01:80:c2:00:00:02 (01:80:c2:00:00:02)

Destination: 01:80:c2:00:00:02 (01:80:c2:00:00:02)

Address: 01:80:c2:00:00:02 (01:80:c2:00:00:02)

.... ...1 .... .... .... .... = IG bit: Group address (multicast/broadcast)

.... ..0. .... .... .... .... = LG bit: Globally unique address (factory default)

Source: 04:76:b0:b2:00:20 (04:76:b0:b2:00:20)

Address: 04:76:b0:b2:00:20 (04:76:b0:b2:00:20)

.... ...0 .... .... .... .... = IG bit: Individual address (unicast)

.... ..0. .... .... .... .... = LG bit: Globally unique address (factory default)

Type: Slow Protocols (0x8809)

Link Aggregation Control Protocol

Slow Protocols subtype: LACP (0x01)

LACP Version Number: 0x01

Actor Information: 0x01

Actor Information Length: 0x14

Actor System Priority: 32768

Actor System: 04:76:b0:b2:00:1f (04:76:b0:b2:00:1f)

Actor Key: 32768

Actor Port Priority: 32768

Actor Port: 257

Actor State: 0x3d (Activity, Aggregation, Synchronization, Collecting, Distributing)

.... ...1 = LACP Activity: Yes

.... ..0. = LACP Timeout: No

.... .1.. = Aggregation: Yes

.... 1... = Synchronization: Yes

...1 .... = Collecting: Yes

..1. .... = Distributing: Yes

.0.. .... = Defaulted: No

0... .... = Expired: No

Reserved: 000000

Partner Information: 0x02

Partner Information Length: 0x14

Partner System Priority: 32768

Partner System: 70:0f:6a:d7:d0:fb (70:0f:6a:d7:d0:fb)

Partner Key: 32768

Partner Port Priority: 32768

Partner Port: 449

Partner State: 0x3d (Activity, Aggregation, Synchronization, Collecting, Distributing)

.... ...1 = LACP Activity: Yes

.... ..0. = LACP Timeout: No

.... .1.. = Aggregation: Yes

.... 1... = Synchronization: Yes

...1 .... = Collecting: Yes

..1. .... = Distributing: Yes

.0.. .... = Defaulted: No

0... .... = Expired: No

Reserved: 000000

Collector Information: 0x03

Collector Information Length: 0x10

Collector Max Delay: 0

Reserved: 000000000000000000000000

Terminator Information: 0x00

Terminator Length: 0x00

Reserved: 000000000000000000000000000000000000000000000000...

Configuración y verificación de LACP Elam

Es necesario identificar la primera dirección MAC de la interfaz remota:

N9K2#sh int e1/1 | i i addr

Hardware: 1000/10000/25000/40000/50000/100000 Ethernet, address: 0476.b0b2.0020 (bia 0476.b0b2.0020)

Ahora en el nexus N9K1 elam está configurado.

N9K1#debug platform internal tah elam

N9K1(TAH-elam)#trigger init

N9K1(TAH-elam-insel6)#set outer l2 src_mac 04:76:b0:b2:00:20 dst_mac 01:80:c2:00:00:02 <<<<

Para decodificar el índice sup redirect, se puede ejecutar el comando sh system internal access-list sup-redirect-stats:

sh system internal access-list sup-redirect-stats | i i 2627

2627 LACP 0

2627 LACP 103