Identificar e mitigar defeitos relacionados a erros de CRC no UCS

Introduction

Este documento descreve os principais defeitos do software que podem fazer com que quadros de dados corrompidos sejam injetados em uma estrutura do Unified Computing System (UCS), conforme identificado pelos contadores de erros de Verificação de Redundância Cíclica (CRC - Cyclic Redundancy Check) ou Sequência de Verificação de Quadro (FCS - Frame Check Sequence) da interface.

Note: Este documento não descreve como isolar o ponto de injeção de CRC.

Informações de Apoio

Em um ambiente UCS, os erros de CRC podem ser de alto impacto. O isolamento e a atenuação da causa desses erros devem ser tratados com elevada prioridade.

O impacto depende do ponto em que o problema ocorre, que pode se estender a vários chassis e afetar a conectividade Ethernet e de armazenamento.

Embora a falha física do componente (especialmente cabo e Small Form-Fator Pluggable (SFP)) seja a causa mais frequente, há defeitos de software conhecidos que também podem causar erros de CRC.

Esses defeitos causam baixa intensidade de sinal entre vários componentes, o que leva a quadros corrompidos.

Um conceito-chave que você pode referir é a Altura do Olho, que é uma medida da integridade do sinal entre os componentes da camada física. Se o nível do sinal cair abaixo de um determinado nível (difere entre os componentes), os quadros enviados ou recebidos podem ser corrompidos.

A Cisco recomenda que você tenha revisadoProblemas comuns de desempenho do FlexPod, especialmentePerda de quadros e pacotes para identificar a fonte de erros de CRC não controlados na estrutura do UCS e/ou nos switches upstream.

Embora o documento seja destinado a implantações FlexPod, a seção mencionada é aplicável para ambientes UCS que não sejam FlexPod.

Indicações para defeito relacionado ao CRC

Se você tiver o cabeamento Twinax em seu ambiente UCS, é mais provável que ele seja afetado por um ou mais desses defeitos, já que a maioria dos defeitos é para o cabeamento baseado em Twinax.

Os ambientes que têm apenas cabeamento óptico ainda podem enfrentar problemas, pois os erros de CRC podem ser injetados entre Adaptador e Módulo de E/S UCS (IOM). No entanto, isso é limitado a servidores específicos e não afeta vários servidores ou chassis no caso de um problema de Uplink ou porta de servidor.

Se a desativação/ativação de uma porta no UCS Manager parecer interromper erros de interface sem nenhuma ação adicional, como a troca de cabos ou a recolocação, devem ser feitas mais verificações para verificar se um defeito de software é a causa raiz do problema.

Se erros de CRC tiverem sido observados depois que flaps/reinicializações de porta repentinas, esses defeitos podem ser uma causa possível.

  

Comandos Para Verificar A Altura Do Olho

Uma indicação chave de defeitos de software relacionados a CRC é um valor de Altura do Olho baixo para uma ou mais portas.

Os comandos comuns usados para verificar isso são:

Switches baseados no Nexus 5500:

show hardware internal carmel eye

Interconexões em malha UCS 6200:

connect nxos a

show hardware internal carmel eye

exit

connect nxos b

show hardware internal carmel eye

exit

Exemplo de saída que mostra uma boa altura do olho (200 mv):

UCSB-5-A(nxos)# show hardware internal carmel eye
+-------+------------+-------------+------------+----------------------------+--+--+--+--+--+--+--+--+--+--+
| Port  | Eye Height | Eye Width   | Raw values | Time measured              |St|20|21|22|23|24|25|26|2E|2F|
+-------+------------+-------------+------------+----------------------------+--+--+--+--+--+--+--+--+--+--+
Eth 1/1 | 200 mv     | 796 mUI     | 40/ 33     | 08/31/2016 16:48:52.345248 |a9|ee|82|00|00|6e|82|00|88|00|
    fi0 | 200 mv     | 843 mUI     | 40/ 36     | 08/31/2016 16:48:52.350360 |00|00|00|00|00|00|00|00|00|00|
    fi1 | 200 mv     | 859 mUI     | 40/ 37     | 08/31/2016 16:48:52.355470 |00|00|00|00|00|00|00|00|00|00|

Nessas plataformas, se o valor for:

• Abaixo de 50mV, foi encontrado para disparar erros de CRC
• 50 a 100mV, pode causar erros de CRC e a mitigação é aconselhada
• > 100 mV, ele não deve causar erros de CRC

Os comandos acima não se aplicam às interconexões em malha 6332, 6454 ou 6324

Módulos de IOM UCS 2200:

connect local-mgmt a or connect local-mgmt b

connect iom x

show platform software woodside sts (Note: The HI number/s for the servers that you need to check)

dbgexec woo
kr_geteye HIxx

Ctrl-C to exit dbgexec mode

Exemplo de saída que mostra uma boa altura do olho (125 mV):

woo> kr_geteye HI31
[serdes] reg: 64/40h = 42ch
check_kr_status: HI31: up (kr_retries=0)
sent SPICO interrupt(20, 0, 49)
Vertical eye result 0x14
sent SPICO interrupt(20, 0, 49)
Horizontal eye result 0x28
HI31: 125.0 mV, 0.6250 UI (NORM)

Módulos de IOM UCS 2300:

connect local-mgmt a or connect local-mgmt b

connect iom x

show platform software tiburon sts (Note the HI number/s for the servers you need to check)

dbgexec tib
kr_geteye 0 HIxx

Ctrl-C to exit dbgexec mode

Exemplo de saída que mostra uma boa altura do olho (156 mv):

tib> kr_geteye 0 HI31
Start eye measurement HI31...
bottom: -73.5 (mV), top: 82.7 (mV), height: 156.2 (mV)
left: -0.34 (UI), right: 0.33 (UI), width: 0.69 (UI)
total time = 0.119456 sec

Nestas plataformas, se o valor de altura for:

• Abaixo de 90 mV, foi encontrado para disparar erros de CRC
• > 90 mV, ele não deve acionar erros de CRC

Defeitos

Interconexão de estrutura

• CSCuo76425 Observando erro de CRC no cabo de cobre

Esse defeito é observado nas portas de interconexão de estrutura, como portas de uplink e de servidor.

Ele é corrigido na UCS Infrastructure 2.2(3a), consulte Bug Search Tool para obter outras versões fixas.

• Um bug quase idêntico que mais tarde afeta o firmware do UCS:

CSCuw36398 Observando erros de CRC no cabo de cobre

Esse defeito é observado em portas de interconexão de estrutura, como portas de uplink e de servidor

Ela é fixa na UCS Infrastructure 2.2(7b). Consulte Bug Search Tool para obter outras versões fixas.

IOM e adaptador

• CSCuz78417 Serdes de altura entre IOM e VIC inferior a 90 mV
  

Esse defeito é observado entre as interfaces do painel traseiro das interfaces do host IOM (HIF) e dos adaptadores.

Desde então, descobriu-se que isso pode ser causado por problemas de backplane do chassi. Se você observar esse problema, abra uma solicitação de serviço no Cisco TAC.

• CSCva47085 VIC1340+2304 IOM Native 40g Link Training Issue Causa Perda de conectividade

Esse defeito é observado entre o IOM HIF e os adaptadores, o que afeta os servidores individuais.

Atualmente sob investigação.

Série C

• O CSCux31002 VIC 1227 mostra CRCs quando você usa um cabo twinax ativo.

Fixado no firmware 2.0(9c) C Series autônomo. Consulte Bug Search Tool para obter outras versões fixas.

A condição de disparo deste bug é o inverso da sabedoria comum de que o Ative Twinax é menos provável de causar problemas de CRC devido à sua transmissão de energia ativa.

Nexus 5500

• CSCuj86736 Precisa otimizar o ajuste do DFE em switches da série 55xxUP - Erros de CRC do RX

Embora não seja apenas um bug UCS, ele ainda é normalmente visto em configurações UCS devido à prevalência de upstream do Nexus 55xx. Consulte Bug Search Tool para obter detalhes sobre versões fixas.

Soluções/Mitigação

Consulte a nota de versão para cada bug para obter detalhes específicos, mas se você encontrou evidência de baixa Altura do Olho, então o fechamento/não fechamento da porta é razoável.

No caso de um defeito de altura do olho do IOM/Adaptador, uma redefinição do DCE na interface pode ser feita. Navegue até Server > Adapter > DCE Interface > Reset Connectivity conforme apropriado.

As saídas devem ser verificadas para ver se a Altura do Olho aumentou para valores bons e se os contadores de CRC não aumentaram mais.

Podem ser necessários vários flapes (geralmente até 5) para aumentar a altura do olho de forma suficiente.

Se a Altura do Olho não se recuperar após várias oscilações de link, pode haver uma falha de hardware do componente.

Quando você bate as portas, saiba que isso pode disparar uma descoberta superficial pelo UCS Manager.

Uma descoberta superficial em circunstâncias normais não é um plano de dados impactando, no entanto, há defeitos conhecidos que afetam os blades B200-M4 (consulte CSCut61527 para obter o defeito mais comum). Uma descoberta superficial pode se transformar em uma descoberta profunda, que pode disparar a reinicialização do SO do host.

A Cisco recomenda que você revise as Notas de versão para sua versão do UCS Manager para verificar se há outros defeitos aplicáveis.

Além da oscilação manual de porta como uma etapa de recuperação reativa, o UCS Policy-Based Port Error Handling no UCS Manager 2.2(4) e posterior pode ser usado para desativar portas NIF quando erros de CRC são vistos. Embora essa ação possa limitar rapidamente o impacto de erros de CRC, ela pode ter o potencial de interrupção do fluxo de tráfego, portanto não está habilitada por padrão e deve-se tomar cuidado se você ativá-la.

O UCS Manager gera falhas para erros de CRC e essas falhas podem ser monitoradas via API XML ou SNMP (Simple Network Management Protocol).