UCS プラットフォーム上の CUCM の一般的な問題：コア、高い CPU - I/O、ハング状態

概要

このドキュメントでは、ユニファイド コンピューティング システム（UCS）プラットフォームでの Cisco Unified Communications Manager（CUCM）に関連する 5 つの一般的な問題のシナリオをトラブルシューティングする方法について説明します。

• シナリオ 1：I/O待機の問題によるCPU高使用率
• シナリオ2:CUCMが定期的にリブートする
• シナリオ3:CUCMのクラッシュ
• シナリオ4:CUCMがハングする
• シナリオ5:CUCMが読み取り専用モードになっている

一般的な原因には次のものがあります。

• ハードディスク障害
• 冗長ディスクアレイ(RAID)コントローラの障害
• バッテリバックアップユニット(BBU)の障害

シナリオ 1：I/O待機の問題によるCPU高使用率

症状

CCM CTIコアが原因で、Cisco Call Manager(CCM)およびComputer Telephony Integration(CTI)サービスが再起動します。

の検証方法

CUCM トレース

CUCMトレースを収集するには、次のCLIコマンドを使用します。

• show process using-most cpu
• show status
• utils core active list
• util core analyze output <latest , last two output>

次のReal-Time Monitoring Tool(RTMT)ログを確認します。

• 詳細CCM
• 詳細CTI
• Real-time Information Server(RIS)データコレクタPerfMonLogs
• イベントビューアのアプリケーションログ
• イベントビューアのシステムログ

出力例

次に出力例を示します。

admin:utils core active list
Size Date Core File Name
===============================================                           
355732 KB 2014-X-X 11:27:29 core.XXX.X.ccm.XXXX
110164 KB 2014-X-X 11:27:25 core.XXX.X.CTIManager.XXXX

admin:util core analyze output 

====================================
CCM service backtrace
===================================
#0 0x00df6206 in raise () from /lib/libc.so.6
#1 0x00df7bd1 in abort () from /lib/libc.so.6
#2 0x084349cb in IntentionalAbort (reason=0xb0222f8 "CallManager unable to process
signals. This may be due to CPU or blocked function. Attempting to restart 
CallManager.") at ProcessCMProcMon.cpp:80
#3 0x08434a8c in CMProcMon::monitorThread () at ProcessCMProcMon.cpp:530
#4 0x00a8fca7 in ACE_OS_Thread_Adapter::invoke (this=0xb2b04270) at OS_Thread_
Adapter.cpp:94
#5 0x00a45541 in ace_thread_adapter (args=0xb2b04270) at Base_Thread_Adapter.cpp:137
#6 0x004aa6e1 in start_thread () from /lib/libpthread.so.0
#7 0x00ea2d3e in clone () from /lib/libc.so.6
====================================


====================================
CTI Manager backtrace
===================================
#0 0x00b3e206 in raise () from /lib/libc.so.6
#1 0x00b3fbd1 in abort () from /lib/libc.so.6
#2 0x08497b11 in IntentionalAbort (reason=0x86fe488 "SDL Router Services declared
dead. This may be due to high CPU usage or blocked function. Attempting to restart
CTIManager.") at ProcessCTIProcMon.cpp:65
#3 0x08497c2c in CMProcMon::verifySdlTimerServices () at ProcessCTIProcMon.cpp:573
#4 0x084988d8 in CMProcMon::callManagerMonitorThread (cmProcMon=0x93c9638) at Process
CTIProcMon.cpp:330
#5 0x007bdca7 in ACE_OS_Thread_Adapter::invoke (this=0x992d710) at OS_Thread_
Adapter.cpp:94
#6 0x00773541 in ace_thread_adapter (args=0x992d710) at Base_Thread_Adapter.cpp:137
#7 0x0025d6e1 in start_thread () from /lib/libpthread.so.0
#8 0x00bead3e in clone () from /lib/li
====================================

RIS Data collector PerfMonLogsから、コア時間に高いディスクI/Oを確認できます。

バックトレースは、Cisco Bug ID CSCua79544（登録ユーザ専用）と一致します。高ディスクI/OによるCCMプロセス・コアの頻発このバグでは、ハードウェアの問題と、問題をさらに切り分ける方法について説明します。

ファイルI/Oレポート(FIOR)を有効にする：

FIORを有効にするには、次のコマンドを使用します。

utils fior start
utils fior enable

次のイベントが発生するまで待ちます。出力を収集するCLIコマンドを次に示します。file get activelog platform/io-stats」を参照してください。FIORを無効にするには、次のコマンドを入力します。

utils fior stop
utils fior disable

FIORログの出力例を次に示します。

kern 4 kernel: fio_syscall_table address set to c0626500 based on user input
kern 4 kernel: fiostats: address of do_execve set to c048129a
kern 6 kernel: File IO statistics module version 0.99.1 loaded. 
kern 6 kernel: file reads > 265000 and writes > 51200 will be logged
kern 4 kernel: fiostats: enabled.
kern 4 kernel: fiostats[25487] started.

解決方法

I/O WAITは通常、UCSプラットフォームとそのストレージの問題です。

原因の場所を特定するには、UCSログが必要です。トレースを収集する手順については、「UCSログの収集方法」セクションを参照してください。

シナリオ2:CUCMが定期的にリブートする

症状

ESXIのクラッシュによりCUCMがリブートしますが、根本的な問題は、UCSマシンの電源が失われることです。

の検証方法

次のCUCMトレースを確認します。

• Cisco RIS Data Collector PerfMonLog
• イベントビューア – アプリケーションログ
• イベントビューア – システムログ
• 詳細CCM

CUCMトレースに関連するものはありません。CUCMはインシデントの前に停止し、通常のサービス再起動の後に停止します。これにより、CUCMが排除され、原因が別の場所にあることを示します。

CUCMが稼働するUCSプラットフォームに問題があります。UCSプラットフォームには、多数の仮想マシン(VM)インスタンスが稼働しています。いずれかのVMでエラーが発生すると、UCSログに表示されます。

原因の場所を特定するには、UCSログが必要です。トレースの収集方法については、「UCSログの収集方法」セクションを参照してください。

Cisco Integrated Management Controller(CIMC)の出力例

次に出力例を示します。

5:2014 May 11 13:10:48:BMC:kernel:-:<5>[lpc_reset_isr_handler]:79:LPC Reset ISR ->
ResetState: 1
5:2014 May 11 13:10:48:BMC:kernel:-:<5>drivers/bmc/usb/usb1.1/se_pilot2_udc_usb1_1.c:
2288:USB FS: VDD Power WAKEUP- Power Good = OFF
5:2014 May 11 13:10:48:BMC:kernel:-:<5>[se_pilot2_wakeup_interrupt]:2561:USB HS: 
VDD Power = OFF
5:2014 May 11 13:10:48:BMC:BIOSReader:1176: BIOSReader.c:752:File Close : 
/var/nuova/BIOS/BiosTech.txt
5:2014 May 11 13:10:48:BMC:kernel:-:<5>[block_transfer_fetch_host_request_for_app]:
1720:block_transfer_fetch_host_request_for_app : BT_FILE_CLOSE : HostBTDescr = 27 : 
FName = BiosTech.txt
5:2014 May 11 13:10:48:BMC:IPMI:1357: Pilot2SrvPower.c:466:Blade Power Changed To: 
[ OFF ]
5:2014 May 11 13:10:49:BMC:lv_dimm:-: lv_dimm.c:126:[lpc_reset_seen]LPC Reset Count 
is Different [0x1:0x2] Asserted LPC Reset Seen

解決方法

このエラーが発生すると、Pilot2SrvPower.c:466:Blade Power Changed To:[ OFF ] – 電源の問題。これは、UCSマシンの電源が切れたことを意味します。したがって、UCSマシンに十分な電力が供給されていることを確認する必要があります。

シナリオ3:CUCMのクラッシュ

症状

CUCM VMがクラッシュしても、pingに応答します。vSphereコンソール画面に次の情報が表示されます。

*ERROR* %No Memory Available
*ERROR* %No Memory Available

の検証方法

次のCUCMトレースを確認します。

• Cisco RIS Data Collector PerfMonLog
• イベントビューア – アプリケーションログ
• イベントビューア – システムログ
• 詳細CCM

CUCMトレースに関連するものはありません。CUCMはインシデントの前に停止し、その後に通常のサービス再起動が行われます。これにより、CUCMが排除され、原因が別の場所にあることを示します。

CUCMが稼働するUCSプラットフォームに問題があります。UCSプラットフォームには、多数のVMインスタンスが稼働しています。いずれかのVMでエラーが発生すると、UCSログに表示されます。

原因の場所を特定するには、UCSログが必要です。トレースの収集方法については、「UCSログの収集方法」セクションを参照してください。

回避策

VMの電源をオフにしてリブートします。リブート後、システムは正常に動作します。

シナリオ4:CUCMがハングする

症状

CUCMサーバがハング状態になります。

の検証方法

次のCUCMトレースを確認します。

• Cisco RIS Data Collector PerfMonLog
• イベントビューア – アプリケーションログ
• イベントビューア – システムログ
• 詳細CCM

CUCMトレースに関連するものはありません。CUCMはインシデントの前に停止し、その後に通常のサービス再起動が行われます。これにより、CUCMが排除され、原因が別の場所にあることを示します。

CUCMが稼働するUCSプラットフォームに問題があります。UCSプラットフォームには、多数のVMインスタンスが稼働しています。いずれかのVMでエラーが発生すると、UCSログに表示されます。

原因の場所を特定するには、UCSログが必要です。トレースの収集方法については、「UCSログの収集方法」セクションを参照してください。

回避策

手動で再起動して、それが役立つかどうかを確認します。

シナリオ5:CUCMが読み取り専用モードになっている

症状

このエラーが発生します。

The /common file system is mounted read only.
Please use Recovery Disk to check the file system using fsck.

の検証方法 

同じUCSマシンにインストールされているパブリッシャ(PUB)と1つのサブスクライバ(SUB)で、読み取り専用モードエラーが表示されます。リカバリディスクでは、問題は解決されません。

CUCMトレースに関連するものはありません。CUCMはインシデントの前に停止し、その後に通常のサービス再起動が行われます。これにより、CUCMが排除され、原因が別の場所にあることを示します。

CUCMが稼働するUCSプラットフォームに問題があります。UCSプラットフォームには、多数のVMインスタンスが稼働しています。いずれかのVMでエラーが発生すると、UCSログに表示されます。

原因の場所を特定するには、UCSログが必要です。トレースの収集方法については、「UCSログの収集方法」セクションを参照してください。

解決方法

ハードウェアの交換後、問題のあるノードを再構築します。

UCSログの収集方法

このセクションでは、問題を特定するために必要なトレースを収集する方法や、その情報を提供する記事へのリンクを提供する方法について説明します。

CIMCログの収集方法：show tech

CICMログの収集方法については、次の記事を参照してください。

Cisco CIMC GUIを使用したshow-techの詳細の収集

テクニカル サポート ファイルを収集するためのビジュアル ガイド（B および C シリーズ）

ESXIログの収集方法：システムログ

ESXIログの収集方法については、次の記事を参照してください。

vSphereクライアントを使用したESXi 5.xホストの診断情報の取得

CIMC CLIの出力例

ハードディスク障害からのCIMC CLI出力例を次に示します。

ucs-c220-m3 /chassis # show hdd
Name Status LocateLEDStatus 
-------------------- -------------------- -------------------- 
HDD1_STATUS present TurnOFF 
HDD2_STATUS present TurnOFF 
HDD3_STATUS failed TurnOFF 
HDD4_STATUS present TurnOFF 
HDD5_STATUS absent TurnOFF 
HDD6_STATUS absent TurnOFF 
HDD7_STATUS absent TurnOFF 
HDD8_STATUS absent TurnOFF

ucs-c220-m3 /chassis # show hdd-pid
Disk Controller Product ID Vendor Model 
---- ----------- -------------------- ---------- ------------ 
1 SLOT-2 A03-D500GC3 ATA ST9500620NS 
2 SLOT-2 A03-D500GC3 ATA ST9500620NS 
3 SLOT-2 A03-D500GC3 ATA ST9500620NS 
4 SLOT-2 A03-D500GC3 ATA ST9500620NS

ucs-c220-m3 /chassis/storageadapter # show physical-drive
Physical Drive Number Controller Health Status Manufacturer Model Predictive
Failure Count Drive Firmware Coerced Size Type 
--------------------- ---------- -------------- ---------------------- ------
-------- -------------- ------------------------ -------------- -------------- ----- 
1 SLOT-2 Good Online ATA ST9500620NS 0 CC03 475883 MB HDD 
2 SLOT-2 Good Online ATA ST9500620NS 0 CC03 475883 MB HDD 
3 SLOT-2 Severe Fault Unconfigured Bad ATA ST9500620NS 0 CC03 0 MB HDD 
4 SLOT-2 Good Online ATA ST9500620NS 0 CC03 475883 MB HDD

RAIDコントローラ障害からのCICM CLIの出力例を次に示します。

ucs-c220-m3 /chassis/storageadapter # show virtual-drive
Virtual Drive Health Status Name Size RAID Level Boot Drive 
------------- -------------- -------------------- ---------------- ---------- 
---------- ---------- 
0 Moderate Fault Degraded 951766 MB RAID 10 true

CIMC GUIの出力例

ハードディスク障害からのCIMC GUI出力例を次に示します。

パープル画面エラーからのCIMC GUI出力例を次に示します。

（RAIDコントローラの障害） |不具合:CSCuh86924 ESXi PSOD PF例外14 - LSI RAIDコントローラ9266-8i（CSCuh86924 ESXi PSOD PF例外14）

BBU障害からのCIMC GUI出力例を次に示します。