UCSM: Ferramenta de verificação de integridade e pré-atualização

Introduction

Este documento descreve o processo para executar a ferramenta de integridade e pré-atualização do Unified Computing System Manager (UCSM). Essa ferramenta é um utilitário para realizar autoverificações proativas no UCSM para garantir sua estabilidade e resiliência.

Prerequisites

Requirements

A Cisco recomenda que você tenha o Python 3.6 ou superior instalado no sistema. 

Note: Se estiver executando o SO Windows, você deve ter o Python instalado e configurado o caminho do ambiente.

Note: Não abra um caso TAC para problemas/falha na execução do script Python. Consulte a seção de comandos CLI para identificar manualmente o problema e abrir o caso do TAC por problema identificado

Componentes Utilizados

Este documento não se restringe a versões de software e hardware específicas.

The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. Se a rede estiver ativa, certifique-se de que você entenda o impacto potencial de qualquer comando.

Informações de Apoio

A ferramenta de verificação de integridade do UCSM ajuda a automatizar uma lista de verificações de integridade e pré-atualização em sistemas UCS para economizar tempo quando as operações de atualização e manutenção da infraestrutura do UCS ocorrem.

Note: Sempre baixe e use a versão mais recente da ferramenta. Como a ferramenta é aprimorada com frequência, o uso de uma versão mais antiga pode resultar na falta de verificações importantes.

Note: Este roteiro é um melhor esforço, uma oferta gratuita e pode não identificar todos os possíveis problemas.

Quando usar

• Antes das atualizações da infraestrutura do UCS

• Verificação de integridade do UCS antes e depois da atividade de manutenção
• Quando você trabalha com o Cisco TAC
• Verificação de integridade proativa a qualquer momento

How to Use

SO Windows

Etapa 1. Baixe a versão mais recente do Python em https://www.python.org/downloads/.

Etapa 2. Siga o processo de instalação normal e clique em Instalar agora (o recomendado) para baixar a configuração. 

Note: Verifique a opção Add Python to PATH.

Etapa 3. Navegue até o diretório em que Python foi instalado no sistema.

Etapa 4. Abra o prompt de comando e digite o comando Python para verificar a instalação do python.

Etapa 5. Baixe a versão mais recente do script de verificação de integridade aqui e salve-a em uma pasta, agora extraia o arquivo compactado, como mostrado na imagem.

Etapa 6. Baixe e salve os registros mais recentes do suporte técnico UCSM na pasta criada, como mostrado na imagem. Clique neste link para encontrar as etapas para baixar o pacote de log UCSM; gerando suporte técnico UCSM.

Passo 7. Abra o CMD e o cd na pasta onde UCSMTool.py está localizado e execute o UCSMTool.py como mostrado na imagem.

Etapa 8. Insira o caminho do arquivo onde o arquivo de suporte técnico do UCSM está localizado e selecione a opção desejada.

1. Verificação de integridade do UCSM

2. Verificação de pré-atualização

MacOS

Etapa 1. O MacOS vem com o python padrão instalado. Verifique a versão do python instalada como mostrado aqui:

Note: Caso a versão python seja inferior a 3.6, atualize para 3.6 e versões posteriores.

Note: Se a versão python for 3.6 ou superior, vá para a Etapa 5. em alternativa, siga a Etapa 2.

Etapa 2. Baixe a versão mais recente do Python em https://www.python.org/downloads/macos/.

Etapa 3. Siga o processo normal de instalação para concluir/atualizar a instalação do python.

Etapa 4. Baixe a versão mais recente do script de verificação de integridade aqui e salve-a em uma pasta, agora extraia o arquivo compactado, como mostrado nesta imagem.

Etapa 5. Baixe e salve os registros mais recentes do suporte técnico UCSM na pasta criada, como mostrado nesta imagem. Clique no link para encontrar as etapas para baixar o pacote de log UCSM; gerando suporte técnico UCSM.

Etapa 6. Abra o terminal, navegue até o diretório em que o script de verificação de integridade foi baixado, execute python UCSMTool.py ou python3 UCSMTool.py como mostrado aqui.

Passo 7. Insira o caminho do arquivo onde o arquivo de suporte técnico do UCSM está localizado e selecione a opção desejada para executar o script.

1. Verificação de integridade do UCSM

2. Verificação de pré-atualização

Entender os resultados/verificações realizadas

Verificações realizadas pelo UCSM HealthCheck

Essas verificações são realizadas pela ferramenta de verificação UCSM-Healthcare:

Cluster HA UCSM Estado:  Exibe o estado do cluster de interconexões de estrutura.

Processo PMON Estado: Exibe o estado de todos os processos no Cisco UCS Manager. 

Montagem do sistema de arquivos: Exibe a tabela de montagem.  

Verifique se há um problema de /var/ sysmgr no tamanho: Verifica usos /var/sysmgr.

Verifique se há um problema de /var/ tmp size: Verifica se há usos /var/tmp.

6296 FI sem resposta após um ciclo de alimentação, atualização da revisão de hardware: verificar módulo de interconexão de estrutura e seu número de revisão de hardware.

Falhas com severidade grave ou severidade crítica: Relatórios se você tiver algum alerta principal ou crítico no UCS Manager.

Verificar backup disponível: Verifique se o backup está disponível no UCS Manager.

Cert. do teclado  Verificar: Verifica se o chaveiro expirou ou é válido.

Solução alternativa segura necessária ou não: Verifique se é necessária ou não uma solução de shafeshut verificando o modelo FI e sua versão.  

Hardware obsoleto no Cisco UCS Manager versão 4.x: Verifica se há hardware preterido no Cisco UCS Manager 4.x Release.

HW preterido encontrado para 3.1.x em diante: Verifica se há hardware preterido no Cisco UCS Manager 3.x Release

Verifique a reinicialização do B200M4 devido aos campos MRAID12G em branco: Verifica se o servidor B200M4 está com S/N vazio da controladora RAID MRAID12G.

A mudança no UCSM 3.1 na alocação máxima de energia causa falha na descoberta de blades: verifique a política de energia configurada no UCS Manager.  

Existência de código de falha de flash de inicialização F1219: Verifique a existência de corrupção de flash de inicialização.

Verifique se o httpd não foi iniciado quando o chaveiro padrão foi excluído: Verifique se o chaveiro padrão é excluído.

FIs de 3ª geração têm estados de sistema de arquivos não limpos-"Estado do sistema de arquivos: limpar com erros": Verifique se há erro no sistema de arquivos.

Verifique se a instalação automática do servidor na versão 4.0(4b) falha ao ativar o controlador SAS: verifique a versão do firmware do host e a versão do expansor SAS

Verifique se a atualização do firmware C-Series permanece por muito tempo no processo "executar um inventário do servidor" Inventário do SO PNU: Ele verifica o Modelo do servidor e sua versão para identificar se você está enfrentando esse problema.

Verifique o domínio de autenticação UCSM usando um período ou um hífen: Verifica se o nome do domínio de autenticação está configurado com um ponto ou caracteres de hífen.

Falha de autenticação local ou de fallback: Verifica o método de autenticação configurado para um modelo FI específico e também verifica sua versão.

Verificação de integridade entre UCSM e UCS central: Verificando se o UCSManager está registrado no UCS Central

Grupos de pinos LAN e SAN: Verifique a configuração de pinning de lan/san no cluster e realce para revisar sua configuração antes de atualizar/qualquer atividade de MW

Verificando atividades pendentes presentes no UCSM: verifique se há atividades pendentes no domínio do UCS Manager.

Verificação de integridade do IOM: Verifica a integridade geral dos módulos de I/O.  

Principais arquivos disponíveis na verificação UCSM: verifica se algum arquivo principal foi encontrado em 60 dias.

Desconjuntar configuração potencial incorreta: Verifica se há algum erro de configuração no caso de a L2 desconjuntada estar configurada.

Problema de oscilação de link VIC 1400 e 6400: Verifica as condições presentes nesse defeito  

Verifique se os IOMs 2304 se desconectam e se reconectam durante a atualização do firmware: Verifica o modelo de interconexão de estrutura e módulo de E/S e identifica se há algum problema potencial.

DME Health Check: Verifica a integridade do banco de dados do DME (Data Management Engine).

Número de interfaces ativas e Flogi correspondentes em FI: Verifica o número de interfaces e a sessão de flogi

Verificação de MTU Jumbo ou Standard: identifica a configuração de MTU.

Exemplo de saída da ferramenta UCSM nº

afrahmad@AFRAHMAD-M-C3RS ucsm_health_check-master $ python UCSMTool.py

		 UCS Health Check Tool 1.1

Enter the UCSM file path: /Users/afrahmad/Desktop/20190328180425_fabric-5410-1k08_UCSM.tar

Press 1 for UCSM Health Check
Press 2 for PreUpgrade Check
Enter your choice (1/2): 2

Enter the UCS Target Version [Ex:4.1(1x)]: 4.2(1i)

Log Extraction:  [########################] COMPLETED

UCSM Version: 3.2(3h)A

Target Version: 4.2(1i)

Upgrade Path: 3.2(3) ==> 4.2(1i)

Summary Result:
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| SlNo | Name                                                              | Status     | Comments                                                       |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 1    | UCSM HA Cluster State                                             | PASS       |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 2    | PMON Process State                                                | PASS       |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 3    | File System Mount                                                 | PASS       |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 4    | Check for /var/sysmgr size issue                                  | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 5    | Check for /var/tmp size issue                                     | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 6    | 6296 FI unresponsive after power cycle, HW revision update        | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 7    | Faults with Severity Major or Severity Critical                   | Found      | Review the faults and Contact TAC, if needed                   |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 8    | Check Backup Available                                            | No Backup  | Please ensure to take backup,                                  |
|      |                                                                   |            | Refer this link:                                               |
|      |                                                                   |            | http://go2.cisco.com/UCSBackup                                 |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 9    | Keyring Cert Check                                                | PASS       |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 10   | Safeshut Workaround Needed or Not                                 | Not Needed |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 11   | Deprecated Hardware in Cisco UCS Manager Release 4.x              | Found      | Review the release notes to verify the hardware compatibility. |
|      |                                                                   |            | Refer this link:                                               |
|      |                                                                   |            | http://go2.cisco.com/RN-4                                      |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 12   | Deprecated HW found for 3.1.x onwards                             | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 13   | Check for B200M4 reboot due to blank MRAID12G fields              | Found      | Contact TAC                                                    |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 14   | UCSM 3.1 Change in max power allocation causes blade discovery    | Not Found  |                                                                |
|      | failure                                                           |            |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 15   | Existence of bootflash corruption fault code F1219                | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 16   | Check for httpd fail to start when default keyring is deleted     | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 17   | 3rd GEN FIs has unclean file system states-"Filesystem state:     | Not Found  |                                                                |
|      | clean with errors"                                                |            |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 18   | Check for Server Auto-Install to 4.0(4b) Fails to Activate SAS    | Not Found  |                                                                |
|      | Controller                                                        |            |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 19   | Check for C-Series firmware upgrade stays long in process         | Not Found  |                                                                |
|      | "perform inventory of server"  PNU OS Inventory                   |            |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 20   | Check UCSM Authentication Domain using a Period or Hyphen         | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 21   | Local or fallback Authentication failure                          | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 22   | Health check between UCSM and UCS central                         | Not Found  | UCS Manager is Not Registered                                  |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 23   | LAN and SAN Pin Groups                                            | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 24   | Checking Pending Activities Present in UCSM                       | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 25   | Health Check for IOM                                              | PASS       |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 26   | Core Files available in UCSM Check                                | Not Found  | No core files were found in last 60 days                       |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 27   | Disjoint L2 potential misconfiguration                            | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 28   | VIC 1400 and 6400 Link Flap Issue                                 | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 29   | Check 2304 IOMs disconnect and re-connect during firmware update  | Not Found  |                                                                |
|      | step                                                              |            |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 30   | Number of Interface up and Flogi Matching on FI                   | ---        | Primary:                                                       |
|      |                                                                   |            |   FC Port Trunking Count: 0,                                   |
|      |                                                                   |            |   Eth up Port: 5,                                              |
|      |                                                                   |            |   Flogi Count: 12                                              |
|      |                                                                   |            | Secondary:                                                     |
|      |                                                                   |            |   FC Port Trunking Count: 0,                                   |
|      |                                                                   |            |   Eth up Port: 5,                                              |
|      |                                                                   |            |   Flogi Count: 12                                              |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 31   | Jumbo or Standard MTU Check                                       | NOT_FOUND  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+

Faults with Severity Major:
F0207: Adapter ether host interface 3/3/1/2 link state: down
F0207: Adapter ether host interface 3/3/1/4 link state: down
F0207: Adapter ether host interface 3/3/1/3 link state: down
F0283: ether VIF 1153 on server 3 / 3 of switch B  down, reason: Admin config change
F0479: Virtual interface 1153 link state is down

We would recommend Customers should complete the below prior to an upgrade:
a. Review firmware release notes
b. Review compatibility
c. Upload required images
d. Generate/Review UCSM show tech
e. Determine vulnerable upgrade bugs and complete pro-active workaround
f. Verify FI HA and UCSM PMON status
g. Generate all configuration and full state backups (right before upgrade)
h. Verify data path is ready (right before upgrade)
i. Disable call home (right before upgrade)

NOTE:
a. All reports and logs will be saved in the same location from where the script was executed.
b. Please visit the Summary Report/ Main Report to view all the Major and Critical Fault alerts.

Analisar a saída da ferramenta - Próximas etapas

• A ferramenta automatiza o processo de execução de comandos manuais em sistemas UCS.
• Se a ferramenta for executada OK e oferece PASSO/NÃO ENCONTRADO em todos os testes. O sistema UCS é bom para todas as verificações realizadas pelo script.
• Em situações em que a ferramenta FALHA/ENCONTRADO em algumas verificações ou não for executado com êxito, você pode usar os comandos CLI (listados aqui) para executar as mesmas verificações na interconexão UCS System/Fabric é feita pelo script Manually.
• A ferramenta NÃO verifique se há alguma advertência antiga/nova/aberta/resolvida e, portanto, é altamente recomendável revisar Notas de versão e guias de atualização do UCS antes de qualquer atividade de atualização ou manutenção.

Tip: Para uma verificação geral da integridade do seu ambiente UCS, o Cisco TAC não fornece este serviço.A equipe de distribuição de clientes CX da Cisco (anteriormente conhecida como Serviços Avançados) tem uma oferta de análise de risco/depuração de erros.Se você precisar desse tipo de serviço, entre em contato com sua equipe de vendas/contas.

Comandos CLI

SSH para ambas as interconexões de estrutura:

 # show cluster extended-state, verify HA status is ready.

 # connect local-mgmt ; # show pmon state, Verify the services are in running status.

 # connect nxos ; # show system internal flash, Verify free size in  /var/sysmgr and /var/tmp

 # connect nxos ; # show module, verify HW revision number for 6296 fabric interconnects.

 # show fault detail | include F1219, verify this fault code for bootflash corruption

 # show iom health status, displays health of IOM

 # show server status, verify the status of server.

 # scope monitoring; # scope sysdebug; # show cores , verify if there are any core files.

 # scope security; # scope keyring default; #show detail, verify details for default keyring, expiry etc.

 # connect nxos; # show int br | grep -v down | wc –l, verify the number of active Ethernet interfaces.

 # scope security; # show authentication, review the authentication type.

 # connect nxos; # show flogi database, review the flogi database.