Contents

Introdução

Pré-requisitos

Requisitos

Componentes Utilizados

Informações de Apoio

Razões para Quadros Inválidos e Erros de CRC

Comportamento do Modo de Encaminhamento (Cut-Through ou Store-and-Forward)

Principais comandos de encaminhamento ASICs para FIs, IOMs e placas VIC do UCS

Informações Relacionadas

Introdução

Este documento descreve os comandos usados para solucionar problemas de conectividade de rede, quedas e erros de CRC em diferentes UCS, FIs, IOMs e adaptadores VIC.

Pré-requisitos

Requisitos

Este documento pressupõe que você tenha conhecimento destes tópicos:

- Placa de interface virtual (VIC) do Cisco Unified Computing Systems (UCS)

- Cisco UCS B-Series e C-Series Servers

- Módulo de E/S (IOM) do extensor de estrutura Cisco UCS

- Interconexão em malha (FI) do Cisco UCS

- Cisco Unified Computing System Manager (UCSM)

- Interface de linha de comando (CLI) do Cisco Unified Computing System Manager (UCSM)

- Modo de gerenciamento de interceptação (IMM)

- Switches cut-through e store-and-forward

- Barreiras

Componentes Utilizados

As informações neste documento são baseadas nestas versões de software e hardware:

- Cisco UCS Manager versão 2. x e posterior

- Interconexão de estrutura Cisco UCS 6200, 6300, 6400 e 6500 Series

- Módulo de E/S do extensor de estrutura Cisco UCS 2200, 2300 e 2400 Series

- Placa de interface virtual (VIC) Cisco UCS 1200, 1300, 1400 e 1500 Series

As informações neste documento foram criadas a partir de dispositivos em um ambiente de laboratório específico. Todos os dispositivos utilizados neste documento foram iniciados com uma configuração (padrão) inicial. Se a rede estiver ativa, certifique-se de que você entenda o impacto potencial de qualquer comando.

Informações de Apoio

O Cisco UCS Fabric Interconnect é um switch cut-through como os switches Cisco Nexus 5000 Series. Encaminha quadros defeituosos como quadros bons. Quadros defeituosos são descartados pelo servidor de destino ou quando passam por um equipamento de rede que não é cut-through. Uma verificação CRC é executada no final do quadro para determinar se um quadro foi corrompido.  Alguns switches podem descartar o quadro quando detectarem que um quadro está corrompido. Os switches Cut-through tomam a decisão de encaminhamento antes que possam executar a verificação de CRC. Devido a esses quadros que falham, uma verificação CRC ainda pode ser comutada por um switch cut-through. Outros switches, como o N7K, são os switches store-and-forward. Os switches de armazenamento e encaminhamento examinam todo o quadro antes de tomarem uma decisão de encaminhamento.  Um switch store-and-forward descartaria um quadro com falha em uma verificação de CRC. Entender a arquitetura (cut-through vs store-forward) dos switches na topologia é essencial. Muitas vezes, você precisa voltar para a origem do erro de CRC. Consulte este artigo para obter mais detalhes sobre switches cut-through e store-and-forward: Switches de rede em nuvem

Observação: . Se ocorrerem erros de CRC em uma interface, isso não significa que a interface é a origem do problema.

Razões para Quadros Inválidos e Erros de CRC

Alguns dos motivos pelos quais você recebe quadros defeituosos e erros de CRC podem ser:

- Conexão física ruim; transceptor, cobre, fibra, adaptador, expansor de porta, etc.

- Violação de MTU

- CRC inválido recebido removido do switch cut-through vizinho.

Comportamento do Modo de Encaminhamento (Cut-Through ou Store-and-Forward)

As interconexões em malha do UCS (semelhantes ao Nexus 5000) utilizam switching cut-through e store-and-forward. O modo de encaminhamento depende da taxa de dados de entrada e saída, como mostrado na Tabela 1.

Observação: a comutação cut-through pode ser executada apenas quando a taxa de dados de entrada é equivalente ou mais rápida que a taxa de dados de saída.

Tabela 1 - Comportamento do modo de encaminhamento (Cut-Through ou Store-and-Forward) para interconexão de estrutura UCS

Interface de entrada/ origem

Interface de saída/ destino

Modo de encaminhamento

10 Gigabit Ethernet

10 Gigabit Ethernet

Corte-através

10 Gigabit Ethernet

1 Gigabit Ethernet

Corte-através

1 Gigabit Ethernet

1 Gigabit Ethernet

Armazenar e encaminhar

1 Gigabit Ethernet

10 Gigabit Ethernet

Armazenar e encaminhar

10 Gigabit Ethernet

40 Gigabit Ethernet

Armazenar e encaminhar

40 Gigabit Ethernet

10 Gigabit Ethernet

Corte-através

40 Gigabit Ethernet

40 Gigabit Ethernet

Corte-através

40 Gigabit Ethernet

100 Gigabit Ethernet

Armazenar e encaminhar

100 Gigabit Ethernet

40 Gigabit Ethernet

Corte-através

100 Gigabit Ethernet

100 Gigabit Ethernet

Corte-através

FCoE

Fibre Channel

Corte-através

Fibre Channel

FCoE

Armazenar e encaminhar

Fibre Channel

Fibre Channel

Armazenar e encaminhar

FCoE

FCoE

Corte-através

Principais comandos de encaminhamento ASICs para FIs, IOMs e placas VIC do UCS

As tabelas 2 e 3 mostram os diferentes comandos que podem ser executados a partir de diferentes terminais de gerenciamento no UCS para determinar de onde vêm os descartes e por que eles estão ocorrendo.

Além dos comandos específicos do ASIC mencionados na Tabela 2, esses comandos podem ser executados no shell do UCS FI NXOS para procurar erros na direção de recebimento das interfaces:

show interface counters errors

Tabela 2 - Principais comandos de encaminhamento ASICs para UCS FIs e IOMs

UCS FI/IOM

Nome do ASIC do FW principal

Comandos

Propósito

Interconexões em malha Cisco UCS

Cisco UCS 6200 Series (Gen 2 FIs 62xx)

Carmelo

(nxos)#show hardware internal carmel

Esse comando mostra os componentes internos e as informações do driver do ASIC Carmel. A 5ª coluna mostra quantas portas/interfaces estão mapeadas para cada ASIC Carmel.

(nxos)#show hardware internal carmel all-ports

Esse comando mostra informações de driver para todas as portas e portas físicas do painel frontal para o mapeamento ASIC.

(nxos)#show hardware internal carmel crc

Esse comando mostra informações se algum quadro foi recebido ou transmitido com erros de CRC ou estompado para todas as portas.

(nxos)# show platform fwm info asic-errors X

Esse comando mostra registros de erro de motivos de queda Carmel diferentes de zero (onde X é o número ASIC Carmel de 0 a 4).

(nxos)# show platform fwm info pif e1/X | grep asic

Use esse comando para mapear sua interface para o ID do ASIC Carmel "global_asic_num" (onde X é o número da interface).

(nxos)# show platform fwm info pif e1/X | queda de grep

Esse comando mostra o número de quadros e filtra o contador de queda de uma determinada interface (onde X é o número da interface).

(nxos)# show hardware internal carmel all-ports detail | egrep -i "Carmel port|crc|frame_error"

Esse comando filtra os contadores de erro de quadro e CRC para todas as portas.

Cisco UCS 6300 Series (Gen 3 FIs 63xx)

Trident2 (ASIC Broadcom)

(nxos)# show hardware internal bcm-usd info port-info

Esse comando mostra o mapeamento entre cada porta física para uma porta frontal no ASIC Broadcom e esse mapeamento é diferente entre FIs 6332 e 6332-16UP.

(nxos)# show hard internal interface indiscard-stats front-port X

Esse comando mostra os contadores de descarte interno de porta para uma determinada porta frontal no ASIC Broadcom após a conclusão do mapeamento que usa o comando anterior.

Cisco UCS Mini (interconexão em malha 6324)

ASIC Monticello

(nxos)#show hardware internal mtc-usd port-status

Esse comando mostra o status das portas para o ASIC Monticello.

(nxos)# show hardware internal inband-mtc ?

ASIC Mostrar informações ASIC Monticello

informações. Mostrar informações do driver inband Monticello

estatísticas.  Mostrar estatísticas de drivers inband Monticello.

- Observe que o mapeamento de KRs para os blades no UCS Mini usa um mapeamento de porta diferente em comparação a um chassi com IOMs do UCS. Consulte o TAC para obter mais detalhes.

Cisco UCS 6400 (Gen 4 FIs 64xx)

ASIC da Homewood

FI # connect nxos

(nx-os)# show hardware internal interface asic counters module 1

Esse comando mostra o motivo para o encaminhamento de quedas se relatado na interface.

FI # attach module 1

module-1# show hardware internal tah counters asic 0

Esse comando mostra os diferentes contadores de informações que usam a biblioteca ASIC.

Há apenas um ASIC nesse modelo de interconexão de estrutura do UCS, portanto, sempre o ASIC número 0.

FI # attach module 1

module-1# show hardware internal tah-reason counters module 0

Esse comando mostra os motivos de descarte e o número de pacotes descartados.

FIs Cisco UCS 64108 Gen 4

Cisco ASIC Heavenly

FI # connect nxos

(nx-os)# show hardware internal interface asic counters module 1

Esse comando mostra o motivo para o encaminhamento de quedas se relatado na interface

(nxos) # attach module 1

module-1# show hardware internal tah counters asic 0

Esse comando mostra os diferentes contadores de informações que usam a biblioteca ASIC.

Há apenas um ASIC nesse modelo de interconexão de estrutura do UCS, portanto, sempre o ASIC número 0.

FI # attach module 1

module-1# show hardware internal tah-reason counters module 0

Esse comando mostra o motivo para o encaminhamento de quedas se relatado na interface.

FIs Cisco UCS 6500 Gen 5

Cisco ASIC Heavenly

FI # connect nxos

(nx-os)# show hardware internal interface asic counters module 1

Esse comando mostra o motivo para o encaminhamento de quedas se relatado na interface

(nxos) # show hardware internal errors module 1

Esse comando mostra a saída de Pacotes de queda para o módulo nas portas.

(nxos) # attach module 1

module-1# show hardware internal tah counters asic 0

FI # attach module 1

module-1# show hardware internal tah-reason counters module 0

Esse comando mostra os diferentes contadores de informações que usam a biblioteca ASIC.

Esse segundo comando mostra os motivos de descarte e o número de pacotes descartados.3

Módulos de E/S (IOMs) do extensor de estrutura Cisco UCS

Cisco UCS 2200 IOM (2ª Geração)

Lona da floresta

FI # connect IOM <ID do chassi>

fex-1# show platform software woodside sts

Esse comando mostra o status da interface dos HIFs e NIFs no Woodside ASIC e quais HIFs são usados por cada blade.

Observação: há duas numerações para os HIFs, uma é usada quando você soluciona problemas do IOM (depois de se conectar ao IOM) e a outra é usada quando você soluciona problemas do mesmo HIF e executa os comandos dos nxos do UCSM.

Por exemplo, a lâmina 1 usa números HIF 28-31. Você pode usar esses números depois de se conectar ao IOM e executar os comandos relacionados a esse HIF. Eles correspondem a Eth1/1/1 - 4 do UCSM NXOS conforme o detalhe FEX mostrado.

FI # connect IOM <ID do chassi>

fex-1# show platform software woodside rate

Esse comando mostra as taxas de pacotes para portas HIF ou NIF ativas.

FI # connect IOM <ID do chassi>

fex-1# show platform software woodside rmon 0 [NIx/HIx]

Por exemplo, você pode filtrar alguns contadores de erro usando o grep para todos os NIFs conforme abaixo:

fex-1# show platform software woodside rmon 0 nif_all | egrep -i

Esse comando mostra os tamanhos de pacotes recebidos e transmitidos para um determinado HIF ou NIF e tipos de pacotes como unicast, broadcast ou multicast.

A coluna Comparação é útil durante a solução de problemas ao vivo, pois é redefinida após cada execução do comando para mostrar se os pacotes estão sendo incrementados quando você executa o comando novamente.

Você também pode verificar se a coluna Comparação mostra novos pacotes para estes:

RX_CRC_NOT_STOMPED

RX_CRC_STOMPED

TX_FRM_ERROR

FI # connect IOM <ID do chassi>

fex-1# show platform software woodside drops 0 [NIx/HIx]

Esse comando mostra os contadores de queda para um determinado NIF ou HIF.

FI # connect IOM <ID do chassi>

fex-1# show platform software woodside oper

Esse comando mostra o controle administrativo, o MAC e o status físico, além dos SFPs detectados nos NIFs.

FI # connect iom <ID do chassi>

fex-1# show platform software woodside sfp 0 ni0

fex-1# show platform software woodside sfp 0 ni1

fex-1# show platform software woodside sfp 0 ni2

fex-1# show platform software woodside sfp 0 ni3

Esse comando mostra os detalhes do transceptor dentro das portas NIF da IOM da floresta.

Cisco UCS 2300 IOM (Gen 3)

e

Cisco UCS 2300 IOM versão 2 (UCS-IOM-2304V2)

Tiburon (ASIC Broadcom)

# connect IOM <ID do chassi>

Fex-1# show platform software tiburon sts

Esse comando mostra o status da interface dos HIFs e NIFs no ASIC do Tibrun e quais HIFs são usados por cada blade.

O ASIC do Tibrun vem do 2248 FEX, que tem 48 portas HIF; portanto, para o UCS, existem algumas portas não utilizadas no ASIC (NI0-7 e HI0-9 não são utilizadas).

Observação: com relação às portas de painel traseiro de 40G dentro dos IOMs da geração 3, o status do HIF normalmente pode ser com as portas primárias de 40 Gig marcadas como UP e as portas membro de 40 Gig marcadas como Down.

# connect IOM <ID do chassi>

fex-1# show platform software tiburon rate

Esse comando mostra as taxas de pacotes para portas HIF ou NIF ativas.

FI # connect IOM <ID do chassi>

fex-1# show platform software tiburon rmon 0 [NIx/HIx]

Por exemplo, você pode filtrar alguns contadores de erro usando grep para todos os NIFs, como mostrado:

fex-1# show platform software tiburon rmon 0 nif_all | egrep -i 'crc|ni|stomp|pause|err'

Esse comando mostra os tamanhos de pacotes recebidos e transmitidos para um determinado HIF ou NIF e tipos de pacotes como unicast, broadcast ou multicast.

A coluna Comparação é útil durante a solução de problemas ao vivo, pois é redefinida após cada execução do comando para mostrar se algum pacote novo está chegando quando você executa o comando novamente.

Você também pode verificar se a coluna Comparação mostra novos pacotes para estes:

RX_CRC_NOT_STOMPED

RX_CRC_STOMPED

TX_FRM_ERROR

Cisco UCS 2408 (Módulo de E/S de quarta geração)

"Summerville" UCS-IOM-2408

Pôr do sol

FI # connect iom <ID do chassi>

fex-1# show hardware internal.ts

Esse comando mostra o status da interface dos HIFs e NIFs dentro do ASIC Tahoe e quais HIFs são usados por cada blade.

fex-1# show hardware internal tah sts detail

Este comando mostra o NXOS para o mapeamento de porta HIF, link-state e velocidade operacional.

fex-1# show hardware internal tah counters asic 0 nxos-port ?

<0-44> Número de porta Nxos 0-31 hif/35 bif/36-43 nif

Este comando mostra os contadores por porta detalhados

Os contadores de interface detalhados podem ser visualizados consultando o número da porta NXOS.

As portas 0 a 31 do NXOS correspondem a 32 portas HIF

As portas 36-43 do NXOS correspondem às 8 portas NIF.

1 anúncio de fim das vendas e fim da vida útil das interconexões de estrutura Cisco UCS 6200 Series: interconexões de estrutura Cisco UCS 6200 Series

2 Anúncio de fim das vendas e fim da vida útil dos módulos de E/S Cisco UCS 2100 Series: módulos de E/S Cisco UCS 2200 Series

3 Detalhes do modo em algumas colunas do comando show hardware internal carmel crc:

- MM rx CRC = CRC neste link; O problema é L1; Verifique a altura dos olhos; feche, não feche; substitua o cabo;

- MM Rx Stomp = STOMP no switch remoto; Verifique a mesma saída no switch através deste link;

- FI Rx Stomp = Se MM Rx CRC e MM Rx Stomp estiverem em branco; violação de L2/política, mais comumente violação de MTU; Verifique as configurações de QoS MTU.

4 Às vezes, para ver o mapeamento de portas no FI 6400/6500, o módulo de conexão não funciona. Para resolver esse problema, entre em contato com um engenheiro do TAC da Cisco.

Tabela 3 - Os principais comandos para solucionar problemas de conectividade, quedas e erros de CRC para placas VIC do Cisco UCS.

Geração de UCS VIC

Exemplo do modelo da placa VIC

Comandos

Propósito

VIC Cisco UCS 1200 (2ª Geração)

um exemplo é a VIC 1225, a VIC 1240, a VIC 1280, etc.

Exemplo de blades:

FI#connect adapter 1/1/1

adapter 1/1/1 # connect

adaptador 1/1/1 (parte superior):1# show-log

adaptador 1/1/1 (superior):1# attach-mcp

adaptador (mcp):1# uifportstatus

adaptador (mcp):3# dcem-macstats 0 <<< Estatística da porta-1

adaptador (mcp):3# dcem-macstats 1 <<< Estatística da porta 2

adaptador 1/1/1 (mcp):1# vnic

adaptador 1/1/1 (mcp):1# lifstats

Para UCS C-Series autônomo:

# chassis de escopo

/chassis # mostrar adaptador (obter o slot PCIe #)

/chassis # connect debug-shell <PCIe slot #> (esse comando só pode funcionar quando o servidor estiver ligado)

adaptador (superior):1# attach-mcp

adaptador (mcp):1# uifportstatus

Esses comandos podem ser executados após a conexão com o adaptador de um servidor Cisco UCS B ou C Series.

O comando macstats fornece informações sobre o status das portas físicas, os tamanhos dos pacotes e se há quadros pisoteados ou não pisoteados recebidos.

VIC Cisco UCS 1300 (Gen 3)

um exemplo é o VIC 1380

VIC Cisco UCS 1400 (Gen 4)

Exemplo é:

(VIC1440)

Placa mLOM baseada em PCIe para blades M5 (UCSB-MLOM-40G-04)

(VIC1480):

Placa MEZZ baseada em PCIe para blades M5 (UCSB-VIC-M84-4P)

(VIC1455):

Placa PCIe para servidores rack M5 (UCSC-PCIE-C25Q-04)

(VIC1457):

Placa mLOM baseada em PCIe para servidores rack M5 (UCSC-MLOM-C25Q-04)

- Verificar o status do link PCIe

adaptador (superior):1# attach-mcp

adaptador (mcp):1# pcie_links

pp,pps type link config status state

0,0 host gen3x16 gen3x16 UP

adaptador (mcp):2# exit

- Verificar o status do link Ethernet

adaptador (superior):2# attach-mcp

adaptador (mcp):1# uifportstatus

Porta ASIC

Velocidade do Estado da Porta UIF

0 0 ATÉ 25g

0 1 ATÉ 25g

1 0 ATÉ 25g

1 1 ATÉ 25g

adaptador (mcp):2# exit

- Verificar contadores de erro Ethernet

adaptador (superior):3# attach-macd

adaptador (macd):1# macstats 0

DESCRIÇÃO DO TOTAL DELTA

112 pacotes bons Rx 112

Total de 112 112 pacotes recebidos Rx

14574 14574 bytes Rx para pacotes bons

14574 14574 Rx bytes

104 quadros multicast 104 Rx

<snip>

Esses comandos podem ser executados após a conexão com o adaptador de um servidor Cisco UCS B ou C Series implantado com o adaptador VIC de 4ª geração.

VIC Cisco UCS 1500 (Gen 5)

Exemplo é:

- VIC15231:

Placa mLOM baseada em PCIe para X210 (UCSX-ML-V5D200G)

- VIC15420:

Placa mLOM baseada em PCIe para X210C M6/M7 (UCSX-ML-V5Q50G)

- VIC15422:

Placa MEZZ baseada em PCIe para X210C M6/M7 (UCSX-ME-V5Q50G)

- VIC15428:

Placa mLOM baseada em PCIe para servidores rack M6/M7 (UCSC-M-V5Q50G)

- VIC15238:

Placa mLOM baseada em PCIe para servidores rack M6/M7 (UCSC-M-V5D200G)

- VIC15411:

Placa mLOM baseada em PCIe para B-Series M6 (UCSB-ML-V5Q10G)

- VIC15235:

Placa PCIe para servidores rack M6/M7 (UCSC-P-V5Q50G)

- VIC15425:

Placa PCIe para servidores rack M6/M7 (UCSC-P-V5Q50G)

Exemplo de blades:

FI#connect adapter 1/1/1

adapter 1/1/1 # connect

adaptador 1/1/1 (superior):1#

Para UCS C-Series autônomo:

# chassis de escopo

/chassis # mostrar adaptador (obter o slot PCIe #)

/chassis # connect debug-shell <PCIe slot #> (esse comando só pode funcionar quando o servidor estiver ligado)

- Verificar o status do link PCIe

adaptador (superior):1# attach-mcp

adaptador (mcp):1# pcie_links

adaptador (mcp):1# exit

- Verificar o status do link Ethernet

adaptador (superior):1# attach-mcp

adaptador (mcp):1# uifportstatus

adaptador (mcp):1# exit

- Verificar contadores de erro Ethernet

adaptador (superior):1# attach-macd

adaptador (macd):1# macstats 0

Esses comandos podem ser executados após a conexão com o adaptador de um servidor Cisco UCS B ou C Series implantado com um adaptador VIC de 5ª geração.

Informações Relacionadas

- Suporte Técnico e Documentação - Cisco Systems

- É necessário um mecanismo de recarregamento para 2348 FEX quando erros de CRC são vistos

- Lista de guias do usuário da CLI do Cisco UCS Manager

- Folha de especificações dos servidores blade UCS B Series 6200

- Folha de especificações dos servidores blade UCS B Series 6332

- Folha de especificações dos servidores blade UCS B Series 6454

- Folha de especificações dos servidores blade UCS B Series 6536