Ausführen des UCSM Health and Pre-Upgrade Check-Tools

Einleitung

In diesem Dokument wird der Prozess zur Ausführung des Health and Pre-Upgrade-Prüfungstools von Unified Computing System Manager (UCSM) beschrieben. 

Voraussetzungen

Anforderungen

Cisco empfiehlt, Python 3.6 oder höher auf dem System zu installieren. 

Hinweis: Wenn Sie unter Windows OS arbeiten, können Sie Python installieren und den Umgebungspfad konfigurieren lassen.

Hinweis: Öffnen Sie kein TAC-Ticket, wenn Python-Probleme auftreten/Skript nicht ausgeführt werden konnte. Im Abschnitt mit den CLI-Befehlen können Sie das Problem manuell identifizieren und ein TAC-Ticket für jedes erkannte Problem erstellen.

Verwendete Komponenten

Dieses Dokument ist nicht auf bestimmte Software- und Hardware-Versionen beschränkt.

Die Informationen in diesem Dokument beziehen sich auf Geräte in einer speziell eingerichteten Testumgebung. Alle Geräte, die in diesem Dokument benutzt wurden, begannen mit einer gelöschten (Nichterfüllungs) Konfiguration. Wenn Ihr Netzwerk in Betrieb ist, stellen Sie sicher, dass Sie die möglichen Auswirkungen aller Befehle kennen.

Hintergrundinformationen

Das UCSM Check Tool ist ein Tool, mit dem Sie proaktive Selbstprüfungen des UCSM durchführen können, um dessen Stabilität und Ausfallsicherheit zu gewährleisten. Sie ermöglicht die Automatisierung einer Liste von Integritätsprüfungen und Prüfungen vor einem Upgrade für UCS-Systeme und spart so Zeit bei Upgrades und Wartungsarbeiten für die UCS-Infrastruktur.

Hinweis: Laden Sie stets die neueste Version des Tools herunter, und verwenden Sie sie. Da das Tool häufig verbessert wird, kann es bei Verwendung einer älteren Version wichtige Prüfungen verpassen.

Hinweis: Dieses Skript ist sehr bemüht, kostenlos und kann nicht alle möglichen Probleme identifizieren.

Verwendungszweck

• Vor UCS-Infrastruktur-Upgrades

• Statusüberprüfung des UCS vor und nach Wartungsaktivitäten
• Zusammenarbeit mit dem Cisco TAC
• Proaktiver Health Check jederzeit

Nutzung

Windows-Betriebssystem

Schritt 1: Laden Sie die neueste Version von Python von Python herunter Downloads

Schritt 2: Verwenden Sie den normalen Installationsvorgang, und klicken Sie auf Jetzt installieren (die empfohlene Option), um das Setup herunterzuladen. 

Hinweis: Aktivieren Sie Python zu PATH hinzufügen.

Schritt 3: Navigieren Sie zu dem Verzeichnis, in dem Python auf dem System installiert wurde.

Schritt 4: Öffnen Sie die Eingabeaufforderung, und geben Sie den Befehl Python ein, um die Python-Installation zu überprüfen.

Schritt 5: Laden Sie hier die neueste Version des Skripts für die Integritätsprüfung herunter, und speichern Sie sie in einem Ordner. Extrahieren Sie nun die komprimierte Datei, wie im Bild dargestellt.

Schritt 6: Laden Sie die neuesten technischen Support-Protokolle für UCSM herunter und speichern Sie sie in dem erstellten Ordner, wie im Bild gezeigt. Klicken Sie auf diesen Link, um die Schritte zum Herunterladen des UCSM-Protokollpakets "Generating UCSM technical support" (Generieren des technischen Supports für UCSM) anzuzeigen.

Schritt 7. Öffnen Sie CMD und cd in dem Ordner, in dem sich UCSMTool.py befindet, und führen Sie UCSMTool.py wie im Bild dargestellt aus.

Schritt 8: Geben Sie den Dateipfad ein, unter dem sich die Datei für den technischen Support für UCSM befindet, und wählen Sie die gewünschte Option aus.

1. UCSM-Integritätsprüfung

2. Überprüfung vor dem Upgrade

MacOS

Schritt 1: Auf MacOS ist standardmäßig python installiert. Überprüfen Sie die installierte Python-Version wie folgt:

Hinweis: Falls die Python-Version älter als 3.6 ist, aktualisieren Sie auf Version 3.6 und höher.

Hinweis: Wenn die Python-Version 3.6 oder höher ist, springen Sie zu Schritt 5, andernfalls springen Sie zu Schritt 2.

Schritt 2: Laden Sie die neueste Version von Python unter https://www.python.org/downloads/macos/ herunter.

Schritt 3: Verwenden Sie den normalen Installationsvorgang, um die Python-Installation abzuschließen/zu aktualisieren.

Schritt 4: Laden Sie hier die neueste Version des Health Check-Skripts herunter und speichern Sie es in einem Ordner. Extrahieren Sie nun die komprimierte Datei, wie in diesem Bild dargestellt.

Schritt 5: Laden Sie die neuesten technischen Support-Protokolle für UCSM herunter und speichern Sie sie in dem erstellten Ordner, wie in diesem Bild gezeigt. Klicken Sie auf den Link, um die Schritte zum Herunterladen des UCSM-Protokollpakets "Generating UCSM technical support" (Generieren des technischen Supports für UCSM) anzuzeigen.

Schritt 6: Öffnen Sie das Terminal, navigieren Sie zu dem Verzeichnis, in das Sie das Skript für die Integritätsprüfung heruntergeladen haben, und führen Sie python UCSMTool.py oder python3UCSMTool.py aus, wie hier dargestellt.

Schritt 7. Geben Sie den Dateipfad ein, unter dem sich die Datei für den technischen Support für UCSM befindet, und wählen Sie die gewünschte Option zum Ausführen des Skripts aus.

1. UCSM-Integritätsprüfung

2. Prüfung vor dem Upgrade

Ermitteln der Ausgaben/Überprüfungen

Von UCSM HealthCheck durchgeführte Prüfungen

Diese Prüfungen werden mit dem UCSM-Healthcheck-Tool durchgeführt:

UCSM HA-Cluster Status:  Zeigt den Cluster-Status der Fabric Interconnects an.

PMON-Prozess Status: Zeigt den Status aller Prozesse in Cisco UCS Manager an. 

File System Mount (Dateisystembereitstellung): Zeigt die Bereitstellungstabelle an.  

Überprüfen Sie die Größe von /var/sysmgr: Überprüft /var/sysmgr-Verwendungen.

Auf /var/tmp-Größenproblem prüfen: Prüft, ob /var/tmp verwendet wird.

6296 FI reagiert nach Aus- und Wiedereinschalten nicht, HW-Revisionsaktualisierung: Überprüfen Sie das Fabric Interconnect-Modul und seine HW-Revisionsnummer.

Fehler mit ernstem oder kritischem Schweregrad: Meldet schwerwiegende oder kritische Alarme im UCS Manager.

Aktivieren Sie Backup Available (Backup verfügbar): Überprüfen Sie, ob Backup in UCS Manager verfügbar ist.

Schlüsselanhänger-Zertifikat  Überprüfen: Überprüfen Sie, ob der Schlüsselbund abgelaufen oder gültig ist.

Safeshut Workaround Needed or Not: Überprüfen Sie das FI-Modell und seine Version, um zu überprüfen, ob eine Umgehung der Schachthütte erforderlich ist.  

Veraltete Hardware in Cisco UCS Manager Version 4.x: Suchen Sie nach veralteter Hardware in Cisco UCS Manager 4.x.

Veraltete Hardware ab Version 3.1.x: Suchen Sie nach veralteter Hardware in Version 3.x von Cisco UCS Manager.

Überprüfen Sie, ob der B200M4-Neustart aufgrund leerer MRAID12G-Felder durchgeführt wurde: Überprüfen Sie, ob der B200M4-Server über eine leere S/N des MRAID12G RAID-Controllers verfügt.

UCSM 3.1 Die Änderung der maximalen Leistungszuweisung verursacht einen Fehler bei der Blade-Erkennung: Verifiziert die im UCS Manager konfigurierte Leistungsrichtlinie.  

Existenz von bootflash Korruption Fehlercode F1219: Überprüfen Sie das Vorhandensein von bootflash Korruption.

Überprüfen Sie, ob httpd nicht startet, wenn der Standardkeyring gelöscht wurde: Überprüfen Sie, ob der Standardkeyring gelöscht wurde.

3rd GEN FIs hat unsaubere Dateisystemstatus-"Dateisystemstatus: fehlerfrei": Überprüfen Sie, ob Dateisystemfehler vorliegen.

Überprüfen Sie, ob die automatische Server-Installation auf 4.0(4b) den SAS-Controller nicht aktiviert: Überprüfen Sie die Firmware-Version des Hosts und die SAS-Expander-Version.

Prüfen Sie, ob das Firmware-Upgrade der C-Serie lange im Prozess "Durchführen einer Inventarisierung des Servers" PNU-BS-Inventarisierung verbleibt: Es überprüft das Servermodell und seine Version, um zu ermitteln, ob Sie auf dieses Problem stoßen.

UCSM-Authentifizierungsdomäne überprüfen, die einen Punkt oder Bindestrich verwendet: Überprüfen Sie, ob der Authentifizierungsdomänenname mit einem Punkt oder Bindestrich konfiguriert ist.

Lokaler Authentifizierungsfehler oder Fallback-Authentifizierungsfehler: Überprüfen Sie, ob die Authentifizierungsmethode für ein bestimmtes FI-Modell konfiguriert wurde, und überprüfen Sie auch die Version.

Statusprüfung zwischen UCSM und UCS Central: Überprüfen, ob UCSManager bei UCS Central registriert ist

LAN- und SAN-Pin-Gruppen: Überprüfen Sie die LAN-/SAN-Pin-Konfiguration in Ihrem Cluster, und markieren Sie diese Option, um Ihre Konfiguration vor einem Upgrade bzw. vor MW-Aktivitäten zu überprüfen.

Überprüfen ausstehender Aktivitäten in UCSM: Überprüfen Sie, ob in Ihrer UCS Manager-Domäne ausstehende Aktivitäten vorhanden sind.

Statusprüfung für IOM: Überprüfen des Gesamtstatus der E/A-Module  

Verfügbare Kerndateien in UCSM Überprüfen: Überprüfen Sie, ob eine Kerndatei innerhalb von 60 Tagen gefunden wurde.

Potenzielle fehlerhafte L2-Konfiguration: Überprüfen Sie, ob eine fehlerhafte Konfiguration vorliegt, falls die fehlerhafte L2-Konfiguration vorliegt.

VIC 1400 und 6400 Link Flap-Problem: Überprüfen Sie, ob die Bedingungen für diesen Defekt vorliegen.  

Überprüfen Sie, ob 2304 IOMs während des Firmware-Updates getrennt und erneut verbunden werden: Überprüfen Sie das Fabric Interconnect- und E/A-Modulmodell, und stellen Sie fest, ob ein potenzielles Problem vorliegt.

DME Health Check: Überprüfen Sie den Zustand der DME-Datenbank (Data Management Engine).

Number of Interface up and Flogi Matching on FI: Verifizieren der Anzahl der Schnittstellen und der Sitzung des Flogis

Jumbo- oder Standard-MTU-Prüfung: Identifizieren der MTU-Konfiguration

Beispielausgabe des UCSM-Tools

afrahmad@AFRAHMAD-M-C3RS ucsm_health_check-master $ python UCSMTool.py

		 UCS Health Check Tool 1.1

Enter the UCSM file path: /Users/afrahmad/Desktop/20190328180425_fabric-5410-1k08_UCSM.tar

Press 1 for UCSM Health Check
Press 2 for PreUpgrade Check
Enter your choice (1/2): 2

Enter the UCS Target Version [Ex:4.1(1x)]: 4.2(1i)

Log Extraction:  [########################] COMPLETED

UCSM Version: 3.2(3h)A

Target Version: 4.2(1i)

Upgrade Path: 3.2(3) ==> 4.2(1i)

Summary Result:
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| SlNo | Name                                                              | Status     | Comments                                                       |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 1    | UCSM HA Cluster State                                             | PASS       |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 2    | PMON Process State                                                | PASS       |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 3    | File System Mount                                                 | PASS       |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 4    | Check for /var/sysmgr size issue                                  | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 5    | Check for /var/tmp size issue                                     | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 6    | 6296 FI unresponsive after power cycle, HW revision update        | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 7    | Faults with Severity Major or Severity Critical                   | Found      | Review the faults and Contact TAC, if needed                   |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 8    | Check Backup Available                                            | No Backup  | Please ensure to take backup,                                  |
|      |                                                                   |            | Refer this link:                                               |
|      |                                                                   |            | http://go2.cisco.com/UCSBackup                                 |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 9    | Keyring Cert Check                                                | PASS       |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 10   | Safeshut Workaround Needed or Not                                 | Not Needed |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 11   | Deprecated Hardware in Cisco UCS Manager Release 4.x              | Found      | Review the release notes to verify the hardware compatibility. |
|      |                                                                   |            | Refer this link:                                               |
|      |                                                                   |            | http://go2.cisco.com/RN-4                                      |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 12   | Deprecated HW found for 3.1.x onwards                             | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 13   | Check for B200M4 reboot due to blank MRAID12G fields              | Found      | Contact TAC                                                    |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 14   | UCSM 3.1 Change in max power allocation causes blade discovery    | Not Found  |                                                                |
|      | failure                                                           |            |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 15   | Existence of bootflash corruption fault code F1219                | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 16   | Check for httpd fail to start when default keyring is deleted     | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 17   | 3rd GEN FIs has unclean file system states-"Filesystem state:     | Not Found  |                                                                |
|      | clean with errors"                                                |            |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 18   | Check for Server Auto-Install to 4.0(4b) Fails to Activate SAS    | Not Found  |                                                                |
|      | Controller                                                        |            |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 19   | Check for C-Series firmware upgrade stays long in process         | Not Found  |                                                                |
|      | "perform inventory of server"  PNU OS Inventory                   |            |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 20   | Check UCSM Authentication Domain using a Period or Hyphen         | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 21   | Local or fallback Authentication failure                          | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 22   | Health check between UCSM and UCS central                         | Not Found  | UCS Manager is Not Registered                                  |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 23   | LAN and SAN Pin Groups                                            | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 24   | Checking Pending Activities Present in UCSM                       | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 25   | Health Check for IOM                                              | PASS       |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 26   | Core Files available in UCSM Check                                | Not Found  | No core files were found in last 60 days                       |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 27   | Disjoint L2 potential misconfiguration                            | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 28   | VIC 1400 and 6400 Link Flap Issue                                 | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 29   | Check 2304 IOMs disconnect and re-connect during firmware update  | Not Found  |                                                                |
|      | step                                                              |            |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 30   | Number of Interface up and Flogi Matching on FI                   | ---        | Primary:                                                       |
|      |                                                                   |            |   FC Port Trunking Count: 0,                                   |
|      |                                                                   |            |   Eth up Port: 5,                                              |
|      |                                                                   |            |   Flogi Count: 12                                              |
|      |                                                                   |            | Secondary:                                                     |
|      |                                                                   |            |   FC Port Trunking Count: 0,                                   |
|      |                                                                   |            |   Eth up Port: 5,                                              |
|      |                                                                   |            |   Flogi Count: 12                                              |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 31   | Jumbo or Standard MTU Check                                       | NOT_FOUND  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+

Faults with Severity Major:
F0207: Adapter ether host interface 3/3/1/2 link state: down
F0207: Adapter ether host interface 3/3/1/4 link state: down
F0207: Adapter ether host interface 3/3/1/3 link state: down
F0283: ether VIF 1153 on server 3 / 3 of switch B  down, reason: Admin config change
F0479: Virtual interface 1153 link state is down

We would recommend Customers should complete the below prior to an upgrade:
a. Review firmware release notes
b. Review compatibility
c. Upload required images
d. Generate/Review UCSM show tech
e. Determine vulnerable upgrade bugs and complete pro-active workaround
f. Verify FI HA and UCSM PMON status
g. Generate all configuration and full state backups (right before upgrade)
h. Verify data path is ready (right before upgrade)
i. Disable call home (right before upgrade)

NOTE:
a. All reports and logs will be saved in the same location from where the script was executed.
b. Please visit the Summary Report/ Main Report to view all the Major and Critical Fault alerts.

Analyse der Tool-Ausgabe - Weitere Schritte

• Das Tool automatisiert die Ausführung manueller Befehle auf UCS-Systemen.
• Wenn das Tool ausgeführt wird OK und gibt PASS/NICHT GEFUNDEN für alle Tests. Das UCS-System eignet sich für alle Prüfungen, die das Skript durchgeführt hat.
• In Situationen, in denen FEHLER/Gefunden Bei einigen Prüfungen oder wenn die Ausführung nicht erfolgreich ist, können Sie die CLI-Befehle (hier aufgelistet) verwenden, um die gleichen Prüfungen für UCS System/Fabric Interconnect wie im Manually-Skript durchzuführen.
• Das Tool sucht NICHT nach alten/neuen/offenen/behobenen Vorbehalten. Daher wird dringend empfohlen, die UCS-Versionshinweise und die Upgrade-Leitfäden zu lesen, bevor Sie ein Upgrade durchführen oder Wartungsarbeiten durchführen.

Tipp: Im Rahmen einer allgemeinen Integritätsprüfung Ihrer UCS-Umgebung bietet Cisco TAC diesen Service nicht an. Das CX Customer Delivery Team von Cisco (ehemals Advanced Services) bietet eine umfassende Bug Scrub/Risikoanalyse. Wenn Sie diese Art von Service benötigen, wenden Sie sich an Ihr Vertriebs-/Account-Team.

CLI-Befehle

SSH zu beiden Fabric Interconnects:

 # show cluster extended-state, verify HA status is ready.

 # connect local-mgmt ; # show pmon state, Verify the services are in running status.

 # connect nxos ; # show system internal flash, Verify free size in  /var/sysmgr and /var/tmp

 # connect nxos ; # show module, verify HW revision number for 6296 fabric interconnects.

 # show fault detail | include F1219, verify this fault code for bootflash corruption

 # show iom health status, displays health of IOM

 # show server status, verify the status of server.

 # scope monitoring; # scope sysdebug; # show cores , verify if there are any core files.

 # scope security; # scope keyring default; #show detail, verify details for default keyring, expiry etc.

 # connect nxos; # show int br | grep -v down | wc –l, verify the number of active Ethernet interfaces.

 # scope security; # show authentication, review the authentication type.

 # connect nxos; # show flogi database, review the flogi database.