Fehlerbehebung bei einer vollständigen gemeinsamen Partition in CUCM

Einleitung

In diesem Dokument wird die Fehlerbehebung bei einer vollständigen gemeinsamen Partition in einem Unified Communications Manager (CUCM)-Server und die Bereinigung von Speicher beschrieben.

Voraussetzungen

Anforderungen

Cisco empfiehlt, dass Sie über Kenntnisse in folgenden Bereichen verfügen:

• Real-Time Monitoring Tool (RTMT)
• CUCM-GUI-Schnittstelle und CLI-Sitzungen

Verwendete Komponenten

Die Informationen in diesem Dokument basierend auf folgenden Software- und Hardware-Versionen:

• CUCM-Version 12.5.1.16900-48

Die Informationen in diesem Dokument beziehen sich auf Geräte in einer speziell eingerichteten Testumgebung. Alle Geräte, die in diesem Dokument benutzt wurden, begannen mit einer gelöschten (Nichterfüllungs) Konfiguration. Wenn Ihr Netzwerk in Betrieb ist, stellen Sie sicher, dass Sie die möglichen Auswirkungen aller Befehle kennen.

Hintergrundinformationen

CUCM verfügt über drei Hauptfestplattenpartitionen:

• Festplatte/Aktiv: enthält die aktuelle CUCM-Version und ihre Konfiguration.
• Festplatte/Inaktiv: enthält die vorherige Version, falls Sie nach einem Upgrade aus irgendeinem Grund wechseln müssen.
• Festplatte/Protokollierung: Dies wird auch als gemeinsame Partition bezeichnet, die alle aktivierten Log-/Trace-Dateien enthält und auch verwendet wird, um die Upgrade-ISO-Datei während des Upgrades vorübergehend zu speichern.

Eine allgemeine Bereinigung der Partition ist in zwei Szenarien erforderlich:

1. Das Rotieren des Protokolls ist unterbrochen, und die Protokolle werden nicht gelöscht, was dazu führt, dass die Protokollierungspartition (/common) ohne Bindung wächst. Dies kann Leistungsprobleme verursachen, da sich die Unfähigkeit zur Protokollierung auf die Ausführung verschiedener Befehle auswirkt.
2. Das CUCM-Upgrade benötigt mehr Platz unter der gemeinsamen Partition. Pre-Upgrade Readiness COP File validiert verschiedene Aspekte Ihres Clusters, bevor das Upgrade durchgeführt wird. Eines der Module ist die Überprüfung des Festplattenspeichers, da das CUCM-Upgrade mindestens 25 GB freien Speicherplatz in der gemeinsamen Partition benötigt.

Allgemeiner Partitionsbereich überprüfen

Um den Speicherplatz zu überprüfen, verwenden Sie den Befehl show status. Die Datenträgerverwendung wird am Ende des Befehls angezeigt.

admin:show status

Host Name          : xxxxxxxx-cucm1
Date               : Fri Sep 29, 2023 17:20:40
Time Zone          : Central Daylight Time (America/Mexico_City)
Locale             : en_US.UTF-8
Product Ver        : 12.5.1.16900-48
Unified OS Version : 7.0.0.0-4

Uptime:
 17:20:42 up 141 days,  1:12,  1 user,  load average: 2.22, 0.98, 0.82

CPU Idle:   85.86%  System:   07.58%    User:   05.56%
  IOWAIT:   00.51%     IRQ:   00.00%    Soft:   00.51%

Memory Total:        7990056K
        Free:         130848K
        Used:        3963172K
      Cached:        3232656K
      Shared:         484376K
     Buffers:        3896036K

                        Total            Free            Used
Disk/active         19805412K        6240536K       13345948K (69%)    
Disk/inactive       19805412K        6601928K       12984556K (67%)    
Disk/logging        69234984K        5315340K       60379628K (92%)    <--- Used common partition space

Ein weiterer Befehl zur Speichervalidierung ist show tech runtime disk. Mit diesem Befehl können Sie das Dateisystem für jede Partition validieren. Die Partition Disk/active wird auf /, die Partition Disk/inactive auf /partB und die Partition Disk/logging auf /common gemountet.

admin:show tech runtime disk
 -------------------- show platform runtime --------------------

The disk usage:
Filesystem      Size  Used Avail Use% Mounted on
devtmpfs        3.8G     0  3.8G   0% /dev
tmpfs           3.9G   85M  3.8G   3% /dev/shm
tmpfs           3.9G  402M  3.5G  11% /run
tmpfs           3.9G     0  3.9G   0% /sys/fs/cgroup
/dev/sda2        19G   13G  6.0G  69% /                 <--- Active partition
/dev/sda1        19G   13G  6.3G  67% /partB            <--- Inactive partition
/dev/sda3       240M  9.5M  214M   5% /grub
/dev/sda6        67G   58G  5.1G  92% /common           <--- Logging partition
none            128M     0  128M   0% /var/log/ramfs/cm/trace/ccm/sdi
none            128M  1.6M  127M   2% /var/log/ramfs/cm/trace/ccm/sdl
none            128M   32K  128M   1% /var/log/ramfs/cm/trace/ccm/calllogs
none            128M     0  128M   0% /var/log/ramfs/cm/trace/ccm/dntrace
none            128M  1.4M  127M   2% /var/log/ramfs/cm/trace/lbm/sdl
none            128M     0  128M   0% /var/log/ramfs/cm/trace/cti/sdi
none            128M  556K  128M   1% /var/log/ramfs/cm/trace/cti/sdl
tmpfs           781M     0  781M   0% /run/user/504
tmpfs           781M     0  781M   0% /run/user/1000
tmpfs           781M     0  781M   0% /run/user/0

Gängige Methoden zur Bereinigung von Partitionen

Vorsicht: Die gelöschten Dateien können nicht wiederhergestellt werden, ohne eine DRS-Wiederherstellung des gesamten Clusters durchzuführen. Stellen Sie sicher, dass Sie die Auswirkungen jeder gelöschten Datei verstehen. Cisco empfiehlt, vor dem Löschen einer Datei eine Sicherung durchzuführen.

Validierung der Virtualisierungsspeicheranforderungen

Ihre CUCM-Implementierung muss die Anforderungen für die Festplattenvirtualisierung erfüllen. Weitere Informationen hierzu finden Sie im Leitfaden Virtualization for CUCM. Verwenden Sie den Befehl show hardware, um den Speicher auf dem virtuellen System zu überprüfen.

admin:show hardware

HW Platform       : VMware Virtual Machine
Processors        : 2
Type              : Intel(R) Xeon(R) CPU E5-2699A v4 @ 2.40GHz
CPU Speed         : 2400
Memory            : 8192 MBytes
Object ID         : 1.3.6.1.4.1.9.1.1348
OS Version        : UCOS 7.0.0.0-4.i386
Serial Number     : VMware-42 16 9b c5 f6 08 da f9-36 d7 72 7c 01 41 52 62

RAID Version      :
No RAID controller information is available

BIOS Information  :
PhoenixTechnologiesLTD 6.00 11/12/2020

RAID Details      :
No RAID information is available
-----------------------------------------------------------------------
Physical device information
-----------------------------------------------------------------------
Number of Disks   : 1              <--- # of vdisks
Hard Disk #1
Size (in GB)      : 110            <--- disk size

Partition Details :

Disk /dev/sda: 14359 cylinders, 255 heads, 63 sectors/track
Units: sectors of 512 bytes, counting from 0

   Device Boot    Start       End   #sectors  Id  System
/dev/sda1   *      2048  40511487   40509440  83  Linux
/dev/sda2      40511488  81020927   40509440  83  Linux
/dev/sda3      81020928  81545215     524288  83  Linux
/dev/sda4      81545216 230686719  149141504   5  Extended
/dev/sda5      81547264  89739263    8192000  82  Linux swap / Solaris
/dev/sda6      89741312 230686719  140945408  83  Linux

Anmerkung: Das Hinzufügen von vDisk wird nicht unterstützt, da es eine Neupartitionierung durch die Anwendung erfordern würde. Wenn die Speicherkonfiguration nicht mit den Anforderungen übereinstimmt, müssen Sie die VM mit der richtigen OVA-Vorlage neu erstellen.

Überwachungstool für Protokollpartitionen

Das Log Partition Monitoring Tool (LPM) verwendet konfigurierte Grenzwerte, um die Festplattennutzung der Log-Partition auf einem Server alle 5 Minuten zu überwachen. Es gibt zwei Warnungen, die Sie auf RTMT konfigurieren können, um diese Schwellenwerte zu ändern:

1. LogPartitionLowWaterMarkExceeded (% Speicherplatz) (LogpartitionLowWaterMarkExceeded (% Speicherplatz)): Wenn die Festplattennutzung den angegebenen Prozentsatz übersteigt, sendet LPM eine Warnmeldung an syslog und eine Warnmeldung an RTMT Alert Central. Um die Protokolldateien zu speichern und Speicherplatz zurückzugewinnen, können Sie die Option trace and log central in RTMT verwenden.
2. LogPartitionHighWaterMarkExceeded (% Speicherplatz) (LogpartitionHighWaterMarkExceeded (% Speicherplatz)): Wenn die Festplattennutzung den angegebenen Prozentsatz übersteigt, sendet LPM eine Warnmeldung an syslog und eine Warnmeldung an RTMT Alert Central. Wenn dieser Schwellenwert erreicht ist, werden die älteren Protokolldateien gelöscht, und es entsteht zusätzlicher Speicherplatz in der Protokollierungspartition.

Informationen zum Löschen von Dateien finden Sie unter Anpassen des Wasserzeichens in RTMT des Call Manager-Verfahrenshandbuchs.

COP-Datei für freien Speicherplatz ausführen

Wenn nach dem Anpassen der High/Low WaterMark-Werte nicht genügend gemeinsamer Partitionsspeicher zur Verfügung steht, installieren Sie die neueste Cisco Free Common Space COP-Datei.

Warnung: Sie müssen den Patch während eines Wartungsfensters installieren, da sich die Installation während der normalen Geschäftszeiten vorübergehend auf die Systemleistung auswirkt. Stellen Sie sicher, dass Sie den Patch installieren, wenn keine anderen CLI- oder GUI-Aktivitäten auf dem System vorhanden sind, da der Patch alle CLI- und GUI-Sitzungen beendet und den Tomcat-Dienst neu startet.

1. Laden Sie die neueste Cisco Free Common Space COP-Datei unter Software Download herunter. Lesen Sie die ReadMe-Datei, um die Auswirkungen der Ausführung dieser COP-Datei zu verstehen.
2. Um die COP-Datei zu installieren, navigieren Sie zu Cisco Unified OS Administration > Software Upgrades > Install/Upgrade, validieren Sie die Einstellungen für den Softwarestandort, und klicken Sie auf Next (Weiter).

Bildschirm "Installation/Upgrade Software Location"

3. Wählen Sie freien gemeinsamen Raum COP-Datei und klicken Sie auf Weiter.

Bildschirm zur Auswahl von Software-Dateien

4. Die COP-Datei startet die Ausführung und gibt gemeinsamen Partitionsraum frei.

Fenster "Installation der COP-Datei wird durchgeführt"

Protokolle über CLI löschen

Wenn die Protokollierungspartition voll ist (100%), schlägt die COP-Installation fehl. In diesem Szenario ist es möglich, Protokolle manuell aus der CLI zu löschen. Führen Sie den Befehl show diskusage common sort aus, um große Dateien zu identifizieren, die viel Platz benötigen.

admin:show diskusage common sort

This command can take significantly long time,
and can also effect the system wide IOWAIT on your system.
Continue (y/n)?y
Filesystem     1K-blocks     Used Available Use% Mounted on
/dev/sda6       69234984 60388736   5306232  92% /common
60305892        /common/
60239612        /common/log
37020784        /common/log/taos-log-b
23209092        /common/log/taos-log-a
13585228        /common/log/taos-log-b/cm
9506060 /common/log/taos-log-b/car_db
9506016 /common/log/taos-log-a/car_db
9379480 /common/log/taos-log-b/cm/trace
8764376 /common/log/taos-log-a/cm
6222036 /common/log/taos-log-b/car_db/cardbspace
6222004 /common/log/taos-log-a/car_db/cardbspace
5998244 /common/log/taos-log-b/tomcat
5281404 /common/log/taos-log-a/cm/trace
4458320 /common/log/taos-log-b/tomcat/logs
4159960 /common/log/taos-log-b/core
4159952 /common/log/taos-log-b/core/core.jvm.core
2923152 /common/log/taos-log-b/cm/trace/dbl
2921840 /common/log/taos-log-b/cm/trace/dbl/sdi
2002008 /common/log/taos-log-b/car_db/cartempdbs
2002004 /common/log/taos-log-a/car_db/cartempdbs
1935008 /common/log/taos-log-b/cm/bin
1932000 /common/log/taos-log-a/cm/bin
1928508 /common/log/taos-log-a/cm/trace/ccm
1928424 /common/log/taos-log-a/cm/trace/ccm/sdl
1806628 /common/log/taos-log-b/cm/tftpdata

cm/trace-Protokolle löschen

Dies sind Speicherbefehle zum Löschen der Protokolldateien aus dem cm/trace-Pfad, die nacheinander ausgeführt werden:

• file delete activelog cm/trace/ccm/sdl/* noconfirm
• file delete activelog cm/trace/cti/sdl/* noconfirm
• file delete activelog cm/trace/*/*/*/* noconfirm
• file delete activelog cm/trace/*/*/* noconfirm
• file delete activelog cm/trace/*/* noconfirm
• file delete activelog cm/trace/* noconfirm
• file delete inactivelog cm/trace/*/*/*/* noconfirm
• file delete inactivelog cm/trace/*/*/* noconfirm
• file delete inactivelog cm/trace/*/* noconfirm
• file delete inactivelog cm/trace/* noconfirm
• file delete activelog cm/log/ris/csv/*
• file delete activelog tomcat/logs/ccmservice/log4j/*
• file delete activelog /platform/snmp/*/*

Core Dumps löschen

Core Dumps benötigen normalerweise viel Speicherplatz auf der Festplatte. Identifizieren Sie diese mithilfe der Befehle utils core active list und utils core inactive list.

admin:utils core active list
      Size         Date            Core File Name
=================================================================
             2023-03-02 22:03:11   core.jvm.core
admin:
admin:utils core inactive list
      Size         Date            Core File Name
=================================================================
 292616 KB   2022-02-20 00:02:37   core.62556.6.ccm.1645336926

Entsprechend der Partition, löschen Core Dumps mit Datei löschen activelog Kern / Dateiname oder Datei löschen inactivelog Kern / Dateiname und bestätigen, dass keine Cores mehr aufgeführt sind.

admin:file delete activelog core/core.jvm.core
Delete the File core/core.jvm.core?
Enter "y" followed by return to continue: y
files: found = 1, deleted = 1
admin:
admin:file delete inactivelog core/core.62556.6.ccm.1645336926
Delete the File core/core.62556.6.ccm.1645336926?
Enter "y" followed by return to continue: y
files: found = 1, deleted = 1
admin:
admin:utils core active list
No core files found
admin:utils core inactive list
No core files found

Ändern von CDR-Werten (niedrige/hohe Wasserzeichen)

Die File Manager-Komponente des CDR Repository Managers wird stündlich ausgeführt. Wenn der Datei-Manager ausgeführt wird, werden Dateien mit Datumsangaben gelöscht, die außerhalb des konfigurierten Erhaltungszeitraums liegen. Außerdem wird überprüft, ob die Festplattennutzung die Hochwassermarke überschritten hat. In diesem Fall löscht das System die verarbeiteten CDR-Dateien, bis die Niedrigwassermarke erreicht ist, beginnend mit den ältesten Dateien.

1. Navigieren Sie zu Cisco Unified Serviceability > Tools > CDR Management, und klicken Sie auf den ersten Wert unter General Parameters (Allgemeine Parameter).

Bildschirm "CDR Management"

2. Ändern Sie die hohen und niedrigen Wasserzeichen (%).

Fenster "CDR-Verwaltung - Allgemeine Parameter ändern"

CDR-Analyse- und Reporting-Datenbank (CAR) löschen

Wenn die CAR-Datenbank viel Speicherplatz belegt, können Sie die Datenbank löschen und Speicherplatz freigeben. Gehen Sie dazu folgendermaßen vor:

1. Rufen Sie die CAR-Webseite auf, und navigieren Sie zu Cisco Unified Serviceability > Tools > CDR Analysis and Reporting.
2. Deaktivieren Sie Loader, navigieren Sie zu System > Scheduler > CDR Load, aktivieren Sie das Kontrollkästchen Disable Loader (Loader deaktivieren), und klicken Sie auf Aktualisieren.

Bildschirm "Disable Loader"

3. Damit die Änderungen wirksam werden, navigieren Sie zu Cisco Unified Serviceability > Tools > Control Center - Network Services > Cisco CAR Scheduler, und starten Sie den Service neu.
4. Um CAR DB zu löschen, navigieren Sie zu System > Database > Manual Purge, und klicken Sie auf Table Information (Tabelleninformationen), um die ältesten Datensätze für jeden Tabellentyp zu validieren.

Bildschirm "CAR Table Information"

5. Klicken Sie auf Schließen, und wählen Sie den Datumsbereich zum Löschen von Dateien aus der ausgewählten Tabelle aus.

Bildschirm zum manuellen Löschen von Datenbanken

Nicht verwendete Firmware-Dateien für Telefone gelöscht

Wenn in Upgrade-Szenarien nicht genügend Speicherplatz in der gemeinsamen Partition vorhanden ist, löschen Sie die alte/nicht verwendete Firmware vom TFTP. Gehen Sie dazu folgendermaßen vor:

1. Navigieren Sie zu Cisco Unified OS Administration > Software Upgrades > Device Load Management.
2. Wenden Sie einen Filter an "Gerätelasten suchen" an, wobei > Status > genau ist> Nicht verwendet > Suchen.
3. Löschen Sie alle geladenen Geräte mit dem Status "Not In Use".

Bildschirm "Device Load Management"

Fehlerbehebung

Wenn Sie weitere Hilfe benötigen, öffnen Sie ein Ticket beim Cisco TAC, und gehen Sie wie folgt vor:

• show version active
• show network cluster
• show status
• show tech runtime disk
• show hardware
• show diskusage common sort

Zugehörige Informationen

• Prüfung der Upgrade-Bereitschaft: COP-Datei für CUCM und IMPS
• Einstellen des Wasserzeichens in RTMT des Call Manager-Verfahrens
• Administrationsleitfaden für das Cisco Unified Real-Time Monitoring Tool
• Cisco Unified CDR Analysis and Reporting - Administrationshandbuch
• Leitfaden zur Verwaltung von Anrufdatensätzen
• Technischer Support und Downloads von Cisco