Inhoud

Inleiding

Scenario 1: Gebruik van hoge CPU’s door een probleem met een I/O-oplossing

Symptomen

Verifiëren

Uitvoer van monster

Oplossing

Scenario 2: CUCM-herstart periodiek

Symptomen

Verifiëren

Cisco Integrated Management Controller (CIMC) uitvoer

Oplossing

Scenario 3: CUCM-rampen

Symptomen

Verifiëren

Werken

Scenario 4: CUCM Hangs

Symptomen

Verifiëren

Werken

scenario 5: CUCM is in alleen-lezen modus

Symptomen

Verifiëren

Oplossing

Hoe u UCS-logs kunt verzamelen

Hoe worden CIMC-logs verzameld: Technologie weergeven

Hoe ESXI-bestanden te verzamelen: Systeemlogboeken

CIMC CLI-uitgang

CIMC GUI-uitvoer

Inleiding

Dit document beschrijft hoe u vijf gebruikelijke probleemscenario's kunt oplossen die u met Cisco Unified Communications Manager (CUCM) op het Unified Computing System (UCS)-platform hebt ontmoet.

- Scenario 1: Gebruik van hoge CPU’s door een probleem met een I/O-oplossing

- Scenario 2: CUCM-herstart periodiek

- Scenario 3: CUCM-rampen

- Scenario 4: CUCM Hangs

- scenario 5: CUCM is in alleen-lezen modus

Een aantal gemeenschappelijke oorzaken zijn:

- FOUT bij vaste schijf

- Redundant Array of Independent Disks (RAID)-controller

- defect Battery Backup Unit (BBU)

Scenario 1: Gebruik van hoge CPU’s door een probleem met een I/O-oplossing

Symptomen

Cisco Call Manager (CCM) en Computer Telephony Integration (CTI) services start opnieuw vanwege de CCM CTI-kern.

Verifiëren

CUCM-sporen

Gebruik deze CLI-opdrachten om CUCM-sporen te verzamelen:

- proces weergeven met de meeste cpu

- status tonen

- utils core actieve lijst

- Tot kernanalyse van de uitvoer <laatste, laatste twee uitvoer>

Controleer deze RTMT-logbestanden (Real-Time Monitoring Tool):

- Gedetailleerde CCM

- Gedetailleerde CTI

- Real-time Information Server (RIS) Data Collector PerfMonLogs

- Toepassingslogboeken voor gebeurtenissen

- Systeemlogboeken in het venster

Uitvoer van monster

Hier is een voorbeelduitvoer:

admin:utils core active list

Size Date Core File Name

===============================================

355732 KB 2014-X-X 11:27:29 core.XXX.X.ccm.XXXX

110164 KB 2014-X-X 11:27:25 core.XXX.X.CTIManager.XXXX

admin:util core analyze output

====================================

CCM service backtrace

===================================

#0 0x00df6206 in raise () from /lib/libc.so.6

#1 0x00df7bd1 in abort () from /lib/libc.so.6

#2 0x084349cb in IntentionalAbort (reason=0xb0222f8 "CallManager unable to process

signals. This may be due to CPU or blocked function. Attempting to restart

CallManager.") at ProcessCMProcMon.cpp:80

#3 0x08434a8c in CMProcMon::monitorThread () at ProcessCMProcMon.cpp:530

#4 0x00a8fca7 in ACE_OS_Thread_Adapter::invoke (this=0xb2b04270) at OS_Thread_

Adapter.cpp:94

#5 0x00a45541 in ace_thread_adapter (args=0xb2b04270) at Base_Thread_Adapter.cpp:137

#6 0x004aa6e1 in start_thread () from /lib/libpthread.so.0

#7 0x00ea2d3e in clone () from /lib/libc.so.6

====================================

====================================

CTI Manager backtrace

===================================

#0 0x00b3e206 in raise () from /lib/libc.so.6

#1 0x00b3fbd1 in abort () from /lib/libc.so.6

#2 0x08497b11 in IntentionalAbort (reason=0x86fe488 "SDL Router Services declared

dead. This may be due to high CPU usage or blocked function. Attempting to restart

CTIManager.") at ProcessCTIProcMon.cpp:65

#3 0x08497c2c in CMProcMon::verifySdlTimerServices () at ProcessCTIProcMon.cpp:573

#4 0x084988d8 in CMProcMon::callManagerMonitorThread (cmProcMon=0x93c9638) at Process

CTIProcMon.cpp:330

#5 0x007bdca7 in ACE_OS_Thread_Adapter::invoke (this=0x992d710) at OS_Thread_

Adapter.cpp:94

#6 0x00773541 in ace_thread_adapter (args=0x992d710) at Base_Thread_Adapter.cpp:137

#7 0x0025d6e1 in start_thread () from /lib/libpthread.so.0

#8 0x00bead3e in clone () from /lib/li

====================================

Van de RIS Data Collector PerfMonLogs, kunt u hoge disk I/O zien tijdens de kerntijd.

De backtrace komt overeen met Cisco bug-ID CSCua79544: Frequente CCM-procescores dankzij vaste schijf I/O. Dit bug beschrijft een hardwareprobleem en legt uit hoe u het probleem verder kunt isoleren.

Rapportage van bestand I/O inschakelen (FIOR):

Gebruik deze opdrachten om FIOR in te schakelen:

utils fior start

utils fior enable

Wacht vervolgens tot het volgende voorkomt. Hier is de CLI-opdracht om de uitvoer te verzamelen: activelogplatform/io-stats voor bestanden. Typ deze opdrachten om FIOR uit te schakelen:

utils fior stop

utils fior disable

Hier is een voorbeeld van FIOR loguitvoer:

kern 4 kernel: fio_syscall_table address set to c0626500 based on user input

kern 4 kernel: fiostats: address of do_execve set to c048129a

kern 6 kernel: File IO statistics module version 0.99.1 loaded.

kern 6 kernel: file reads > 265000 and writes > 51200 will be logged

kern 4 kernel: fiostats: enabled.

kern 4 kernel: fiostats[25487] started.

Oplossing

I/O WAIT is meestal een probleem met het UCS-platform en de opslag ervan.

Het UCS-logbestand is vereist om de locatie van de oorzaak te isoleren. Raadpleeg het gedeelte How to Collect UCS Logs voor instructies om de sporen te verzamelen.

Scenario 2: CUCM-herstart periodiek

Symptomen

Herstart van CUCM als gevolg van een ESXI-crash, maar het onderliggende probleem is dat de UCS-machine de stroom verliest.

Verifiëren

Controleer deze CUCM-sporen:

- Cisco RIS-gegevensverzamelaar PerfMonLog

- Event viewer - toepassingslogboek

- Event Viewer - systeemlogboek

- Gedetailleerde CCM

Er is niets relevant in de CUCM-sporen. De CUCM stopt voor het incident en na een normale herstart van de service. Dit heft CUCM op en geeft aan dat de oorzaak elders ligt.

Het UCS Platform waar CUCM actief is heeft het probleem. Het UCS Platform heeft veel virtuele machines (VM)-exemplaren die erop draaien. Als een VM een fout tegenkomt, dan wordt deze in de UCS-logbestanden gezien.

Het UCS-logbestand is vereist om de locatie van de oorzaak te isoleren. Raadpleeg het gedeelte How to Collect UCS Logs voor informatie over het verzamelen van de sporen.

Cisco Integrated Management Controller (CIMC) uitvoer

Hier is een voorbeelduitvoer:

5:2014 May 11 13:10:48:BMC:kernel:-:<5>[lpc_reset_isr_handler]:79:LPC Reset ISR ->

ResetState: 1

5:2014 May 11 13:10:48:BMC:kernel:-:<5>drivers/bmc/usb/usb1.1/se_pilot2_udc_usb1_1.c:

2288:USB FS: VDD Power WAKEUP- Power Good = OFF

5:2014 May 11 13:10:48:BMC:kernel:-:<5>[se_pilot2_wakeup_interrupt]:2561:USB HS:

VDD Power = OFF

5:2014 May 11 13:10:48:BMC:BIOSReader:1176: BIOSReader.c:752:File Close :

/var/nuova/BIOS/BiosTech.txt

5:2014 May 11 13:10:48:BMC:kernel:-:<5>[block_transfer_fetch_host_request_for_app]:

1720:block_transfer_fetch_host_request_for_app : BT_FILE_CLOSE : HostBTDescr = 27 :

FName = BiosTech.txt

5:2014 May 11 13:10:48:BMC:IPMI:1357: Pilot2SrvPower.c:466:Blade Power Changed To:

[ OFF ]

5:2014 May 11 13:10:49:BMC:lv_dimm:-: lv_dimm.c:126:[lpc_reset_seen]LPC Reset Count

is Different [0x1:0x2] Asserted LPC Reset Seen

Oplossing

Wanneer u deze fout tegenkomt, is Pilot2srvPower.c:466:Blade-voeding veranderd in: [ OFF ] - Power release, dit betekent dat de UCS machine energie verliest. Daarom dient u ervoor te zorgen dat de UCS-machine voldoende stroom krijgt.

Scenario 3: CUCM-rampen

Symptomen

De CUCM VM crasht maar reageert nog steeds op pings. Op het vSphere-console wordt deze informatie weergegeven:

*ERROR* %No Memory Available

*ERROR* %No Memory Available

Verifiëren

Controleer deze CUCM-sporen:

- Cisco RIS-gegevensverzamelaar PerfMonLog

- Event viewer - toepassingslogboek

- Event Viewer - systeemlogboek

- Gedetailleerde CCM

Er is niets relevant in de CUCM-sporen. De CUCM stop voor het incident en wordt gevolgd door een normale herstart van de service. Dit heft CUCM op en geeft aan dat de oorzaak elders ligt.

Het UCS Platform waar CUCM actief is heeft het probleem. Het UCS Platform heeft veel VM-exemplaren die erop draaien. Als een VM een fout tegenkomt, dan wordt deze in de UCS-logbestanden gezien.

Het UCS-logbestand is vereist om de locatie van de oorzaak te isoleren. Raadpleeg het gedeelte How to Collect UCS Logs voor informatie over het verzamelen van de sporen.

Werken

Schakel de VM uit en herstart het. Na het opnieuw opstarten werkt het systeem goed.

Scenario 4: CUCM Hangs

Symptomen

De CUCM-server gaat naar een status waar deze zich bevindt.

Verifiëren

Controleer deze CUCM-sporen:

- Cisco RIS-gegevensverzamelaar PerfMonLog

- Event viewer - toepassingslogboek

- Event Viewer - systeemlogboek

- Gedetailleerde CCM

Er is niets relevant in de CUCM-sporen. De CUCM stop voor het incident en wordt gevolgd door een normale herstart van de service. Dit heft CUCM op en geeft aan dat de oorzaak elders ligt.

Het UCS Platform waar CUCM actief is heeft het probleem. Het UCS Platform heeft veel VM-exemplaren die erop draaien. Als een VM een fout tegenkomt, dan wordt deze in de UCS-logbestanden gezien.

Het UCS-logbestand is vereist om de locatie van de oorzaak te isoleren. Raadpleeg het gedeelte How to Collect UCS Logs voor informatie over het verzamelen van de sporen.

Werken

Probeer opnieuw een handleiding om te zien of het helpt.

scenario 5: CUCM is in alleen-lezen modus

Symptomen

U ontvangt deze fout:

The /common file system is mounted read only.

Please use Recovery Disk to check the file system using fsck.

Verifiëren

De uitgever (PUB) en één Subscriber (SUB) die op dezelfde UCS-machine zijn geïnstalleerd, tonen de alleen-lezen fout. De herstelschijf lost dit probleem niet op.

Er is niets relevant in de CUCM-sporen. De CUCM stop voor het incident en wordt gevolgd door een normale herstart van de service. Dit heft CUCM op en geeft aan dat de oorzaak elders ligt.

Het UCS Platform waar CUCM actief is heeft het probleem. Het UCS Platform heeft veel VM-exemplaren die erop draaien. Als een VM een fout tegenkomt, dan wordt deze in de UCS-logbestanden gezien.

Het UCS-logbestand is vereist om de locatie van de oorzaak te isoleren. Raadpleeg het gedeelte How to Collect UCS Logs voor informatie over het verzamelen van de sporen.

Oplossing

Nadat de hardware is vervangen, herbouwt u de problematische knooppunten.

Hoe u UCS-logs kunt verzamelen

In dit gedeelte wordt beschreven hoe u de sporen kunt verzamelen die nodig zijn om het probleem te identificeren of hoe u links kunt aanbrengen in de betreffende artikelen.

Hoe worden CIMC-logs verzameld: Technologie weergeven

Raadpleeg deze artikelen voor informatie over het verzamelen van CICM-bestanden:

Cisco CIMC GUI gebruiken om tovertechnische details te verzamelen

Visuele gids voor het verzamelen van technische ondersteuningsbestanden (serie B en C)

Hoe ESXI-bestanden te verzamelen: Systeemlogboeken

Raadpleeg dit artikel voor informatie over het verzamelen van ESXI-bestanden:

Het verkrijgen van diagnostische informatie voor ESXi 5.x-hosts met behulp van de vSphere-client

CIMC CLI-uitgang

Hier volgen een paar voorbeelden van CIMC CLI-uitvoer van een defect vaste schijf:

ucs-c220-m3 /chassis # show hdd

Name Status LocateLEDStatus

-------------------- -------------------- --------------------

HDD1_STATUS present TurnOFF

HDD2_STATUS present TurnOFF

HDD3_STATUS failed TurnOFF

HDD4_STATUS present TurnOFF

HDD5_STATUS absent TurnOFF

HDD6_STATUS absent TurnOFF

HDD7_STATUS absent TurnOFF

HDD8_STATUS absent TurnOFF

ucs-c220-m3 /chassis # show hdd-pid

Disk Controller Product ID Vendor Model

---- ----------- -------------------- ---------- ------------

1 SLOT-2 A03-D500GC3 ATA ST9500620NS

2 SLOT-2 A03-D500GC3 ATA ST9500620NS

3 SLOT-2 A03-D500GC3 ATA ST9500620NS

4 SLOT-2 A03-D500GC3 ATA ST9500620NS

ucs-c220-m3 /chassis/storageadapter # show physical-drive

Physical Drive Number Controller Health Status Manufacturer Model Predictive

Failure Count Drive Firmware Coerced Size Type

--------------------- ---------- -------------- ---------------------- ------

-------- -------------- ------------------------ -------------- -------------- -----

1 SLOT-2 Good Online ATA ST9500620NS 0 CC03 475883 MB HDD

2 SLOT-2 Good Online ATA ST9500620NS 0 CC03 475883 MB HDD

3 SLOT-2 Severe Fault Unconfigured Bad ATA ST9500620NS 0 CC03 0 MB HDD

4 SLOT-2 Good Online ATA ST9500620NS 0 CC03 475883 MB HDD

Hier is een voorbeeld van CICM CLI-uitvoer van een storing van de Griekse controller:

ucs-c220-m3 /chassis/storageadapter # show virtual-drive

Virtual Drive Health Status Name Size RAID Level Boot Drive

------------- -------------- -------------------- ---------------- ----------

---------- ----------

0 Moderate Fault Degraded 951766 MB RAID 10 true

CIMC GUI-uitvoer

Hier volgen een paar voorbeelden van CIMC GUI-uitvoer van een defect vaste schijf:

Hier is een aantal voorbeelden van CIMC GUI uitvoer van een Paars Scherm fout:

( Betaalde fout | Tekort: CSCuh86924 ESXi PSOD PF-uitzondering 14 - LSI RAID-controller 9266-8i )

Hier volgen een paar voorbeelden van CIMC GUI-uitvoer van een BBU-fout: