UltraM:StarOS EMCtrlエラー「Failed to find VDU」のトラブルシューティング

概要

このドキュメントでは、Cisco Ultra Services Platform(UltraM)のVirtualized Packet Core(VPC)のカードが「Failed to find VDU」エラーで起動し続けている場合のトラブルシューティング手順について説明します（show logsを参照）。

背景説明

Sample:

2017-Sep-26+08:05:05.839 [emctrl 218804 error] [2/0/16829 <emctrl:0> emctrl_vnf.c:828] [software internal system syslog] Failed to find VDU, of card number <1> 

さらにログを確認すると、カードタイプがエクステンションモビリティ(EM)情報と一致しないことを示す具体的なエラーが表示されます。

2017-Sep-26+08:03:32.126 [emctrl 218802 info] [2/0/16829 <emctrl:0> emctrl_util.c:381] [software internal system critical-info syslog] siti msg for standby CF, card type doesn't match EM, reboot it
2017-Sep-26+08:03:32.126 [emctrl 218802 info] [2/0/16829 <emctrl:0> emctrl_util.c:376] [software internal system critical-info syslog] siti card 1 card type drvctrl 40010100, siti 0
2017-Sep-26+08:03:32.126 [emctrl 218802 info] [2/0/16829 <emctrl:0> emctrl_util.c:329] [software internal system critical-info syslog] siti sync msg received for card 1 with cardtype 40010100, uuid 9F1F2B1E-35FC-4AF9-807A-E856336702D6
2017-Sep-26+08:03:32.105 [system 1004 info] [2/0/9741 <evlogd:0> evlgd_syslogd.c:279] [software internal system syslog] CPU[2/0]:  sitiserv[9533]: SITI_PRESENT: invoking notify card present cmd notify_card_present 1 0 0x40010100 9F1F2B1E-35FC-4AF9-807A-E856336702D6

確認するコマンド

このエラーからわかるように、該当カードのUniversal Unique Identifier(UUID)が存在します。このサンプルのUUIDは9F1F2B1E-35FC-4AF9-807A-E856336702D6です。

理想的には、このUUIDはshow emctrl vdu detail outputコマンドの出力と一致する必要があります。

show emctrl vdu detailは隠しコマンドです。

[local]UltraM-QVPC-DI# show emctrl vdu detail 
Showing emctrl vdu
card[01]: name[CFC_01 ] uuid[1FE70E43-0F33-4E17-8BFA-439169CD52BA]
card[02]: name[CFC_02 ] uuid[3AFC540B-546E-4F35-A645-A23E62C32C59]
card[03]: name[SFC_03 ] uuid[93359FA0-09C2-4F7C-93F6-17BE0A2AF49F]
card[04]: name[SFC_04 ] uuid[E02C8AAA-7E8A-4881-8018-6EC59963C8F6]
card[05]: name[SFC_05 ] uuid[6F297BF6-4AFC-43AB-A36D-FCD0FAE39DA3]

この出力が空の場合、EMCtrlプロセスが破損している可能性があります。 

このIDは、強調表示されているEMと同じである必要があります。

admin@scm# show vdus vdu card-type session-function 
vdus vdu session-function
 card-type session-function
 vnfci BOOT_generic_di-chassis_SF1_1
 constituent-element-group di-chassis
 is-infra true
 initialized false
 vim-id 93359fa0-09c2-4f7c-93f6-17be0a2af49f
 vnfci BOOT_generic_di-chassis_SF2_1
 constituent-element-group di-chassis
 is-infra true
 initialized false
 vim-id e02c8aaa-7e8a-4881-8018-6ec59963c8f6
 vnfci BOOT_generic_di-chassis_SF3_1
 constituent-element-group di-chassis
 is-infra true
 initialized false
 vim-id 54e9a5d6-f4dd-4636-95d3-b29443ebfa14

 StarOS側のこのインスタンスの詳細は、次のコマンドで確認できます。

[local]UltraM-QVPC-DI# show vdu detail type session-function instance BOOT_generic_di-chassis_SF1_1
vdu-id: session-function, vdu-instance: BOOT_generic_di-chassis_SF1_1, state: from:Invalid to:Alive
card_number: 3, card_type: 0x42030100, uuid:93359fa0-09c2-4f7c-93f6-17be0a2af49f
 networks:
 cp-id: di_intf1, state: Alive, type: unknown
 vl: vl-di-internal1 vnfc: sf-vnfc-di-chassis
 mac: fa:16:3e:87:ac:e4, ip: 192.168.1.12
 cp-id: di_intf2, state: Alive, type: unknown
 vl: vl-di-internal2 vnfc: sf-vnfc-di-chassis
 mac: fa:16:3e:92:ea:26, ip: 192.168.2.11
 cp-id: orch, state: Alive, type: unknown
 vl: vl-orchestration vnfc: sf-vnfc-di-chassis
 mac: fa:16:3e:1e:f5:b5, ip: 172.16.180.21
 cp-id: svc_intf1, state: Alive, type: unknown
 vl: vl-service-network1 vnfc: sf-vnfc-di-chassis
 mac: fa:16:3e:bf:c8:6f, ip: 10.10.10.2
 cp-id: svc_intf2, state: Alive, type: unknown
 vl: vl-service-network2 vnfc: sf-vnfc-di-chassis
 mac: fa:16:3e:15:a9:22, ip: 20.20.20.7
 cp-id: svc_intf3, state: Alive, type: unknown
 vl: vl-service-network1 vnfc: sf-vnfc-di-chassis
 mac: fa:16:3e:1f:fa:0c, ip: 10.10.10.6
 cp-id: svc_intf4, state: Alive, type: unknown
 vl: vl-service-network2 vnfc: sf-vnfc-di-chassis
 mac: fa:16:3e:2f:6b:00, ip: 20.20.20.10 

不一致シナリオ1:EMCtrlとEM VDUインスタンスで表示される異なるID

カード5のIDに注意すると、6F297BF6-4AFC-43AB-A36D-FCD0FAE39DA3であることがわかります。

[local]UltraM-QVPC-DI# show emctrl vdu detail 
Showing emctrl vdu
card[01]: name[CFC_01 ] uuid[1FE70E43-0F33-4E17-8BFA-439169CD52BA]
card[02]: name[CFC_02 ] uuid[3AFC540B-546E-4F35-A645-A23E62C32C59]
card[03]: name[SFC_03 ] uuid[93359FA0-09C2-4F7C-93F6-17BE0A2AF49F]
card[04]: name[SFC_04 ] uuid[E02C8AAA-7E8A-4881-8018-6EC59963C8F6]
card[05]: name[SFC_05 ] uuid[6F297BF6-4AFC-43AB-A36D-FCD0FAE39DA3]

ただし、EMで同じIDを確認しても、見つかりません。

admin@scm# show vdus | include vim
 vim-id 1fe70e43-0f33-4e17-8bfa-439169cd52ba  ---> CF 1
 vim-id 3afc540b-546e-4f35-a645-a23e62c32c59  ---> CF 2
 vim-id 93359fa0-09c2-4f7c-93f6-17be0a2af49f  ---> SF 3
 vim-id e02c8aaa-7e8a-4881-8018-6ec59963c8f6  ---> SF 4
 vim-id 54e9a5d6-f4dd-4636-95d3-b29443ebfa14  ---> ?

スロット5のカードには不一致が見られます。

StarOSの特定のIDの詳細を確認すると、show vdu detailコマンドでIDが実際にはEM側と同じであることがわかります。

[local]UltraM-QVPC-DI# show vdu detail type session-function instance BOOT_generic_di-chassis_SF3_1
vdu-id: session-function, vdu-instance: BOOT_generic_di-chassis_SF3_1, state: from:Invalid to:Alive
card_number: 5, card_type: 0x42030100, uuid:54e9a5d6-f4dd-4636-95d3-b29443ebfa14

これにより、EMCtrlプロセスに正しい情報が含まれていないことを確認できます。 

ログを確認すると、次の警告が表示されます。

2017-Sep-26+08:36:31.317 UltraM-QVPC-DI [emctrl 218802 info] [2/0/20871 <emctrl:0> emctrl_util.c:579] [software internal system critical-info syslog] drvctrl uuid mismatch /6F297BF6-4AFC-43AB-A36D-FCD0FAE39DA3 with em uuid 54e9a5d6-f4dd-4636-95d3-b29443ebfa14, use drvctrl uuid

1. EMCtrlタスクを終了しても役に立ちません。

2.また、カードを再起動しても役に立ちません。

不一致シナリオ2:Show EMCtrl VDU Detail Empty

これは、EMCtrlテーブルの破損が原因である可能性が高く、これまでの知識に基づいてバグが発生した結果です。

show emctrl vdu listの出力は完全に空になります。

Showing emctrl vdu
card[01]: name[                                                  ] uuid[          ]
card[02]: name[                                                  ] uuid[          ]

VNFM Proxy側からカードの実際の状態を確認するには、次のコマンドを実行します。

#show vdu detail type control-function instance  BOOT_generic_di-chasis_CF1_1

vdu-id: control-function, vdu-instance: BOOT_generic_di-chasis_CF1_1, state: from:Invalid to:Alive

既知のバグ：CSCvf32599

回避策：EMCtrlタスクを再起動します。

task kill facility emctrl all

不一致シナリオ3:カードテーブルに存在しないCF、EMに存在しない

場合によっては、SFまたはCFがカードテーブルから欠落しています。

出力からわかるように、StarOSは1つのCFカードだけを認識します。

[local]AUPGW101# show card tabl
Wednesday September 27 09:26:46 UTC 2017
Slot Card Type Oper State SPOF Attach
----------- -------------------------------------- ------------- ---- ------
1: CFC Control Function Virtual Card Active Yes 
3: FC 4-Port Service Function Virtual Card Active No 
4: FC 4-Port Service Function Virtual Card Active No 
5: FC 4-Port Service Function Virtual Card Active No 
6: FC 4-Port Service Function Virtual Card Active No 
7: FC 4-Port Service Function Virtual Card Active No 
8: FC 4-Port Service Function Virtual Card Active No 
9: FC 4-Port Service Function Virtual Card Active No 
10: FC 4-Port Service Function Virtual Card Standby -

ただし、カード2のデバッグコンソールを確認すると、オンラインになろうとしています。

[local]AUPGW101# debug consol card 1 cpu 0
Wednesday September 27 09:26:58 UTC 2017
[local]AUPGW101# 2017-Sep-27+09:23:18.370 card 1-cpu0: collect persistdump for card <2> success
2017-Sep-27+09:24:22.112 card 1-cpu0: Hatsystem rcvd card 2/0 fail req from card (1) emctrl/0 - 32:150:3
2017-Sep-27+09:24:22.115 card 1-cpu0: The Control Function Virtual Card with serial number in slot 2 has failed and will be brought down and brought back online. (Device=CARD, Reason=EMCTRL_CARDTYPE_MISMATCH, Status=0)

これは、CFがEMに存在しないとEMCtrlが考えているとshow logで確認できます。

2017-Sep-27+09:27:13.964 [emctrl 218802 info] [1/0/7805 <emctrl:0> emctrl_util.c:357] [software internal system critical-info syslog] siti msg for standby CF, but doesn't exist in EM, reboot it
2017-Sep-27+09:27:13.964 [emctrl 218802 info] [1/0/7805 <emctrl:0> emctrl_util.c:329] [software internal system critical-info syslog] siti sync msg received for card 2 with cardtype 40010100, uuid C6217904-8F65-4C48-B607-4F13EAE6745D
2017-Sep-27+09:27:13.939 [system 1004 info] [1/0/7684 <evlogd:0> evlgd_syslogd.c:279] [software internal system syslog] CPU[1/0]: sitiserv[3063]: SITI_PRESENT: invoking notify card present cmd notify_card_present 2 0 0x40010100 C6217904-8F65-4C48-B607-4F13EAE6745D

次の点を確認できます。

[local]AUPGW101# show emctrl vdu list
Wednesday September 27 09:30:21 UTC 2017
Showing emctrl vdu
card[01]: name[CFC_01 ] uuid[42913D9A-91A9-4E5E-8473-AEADD73BEC08]
card[03]: name[SFC_03 ] uuid[CB2C4429-0965-4394-8200-ABB4071BB067]
card[04]: name[SFC_04 ] uuid[17997C02-DF9F-40BC-8A41-D2B9D448D47C]
card[05]: name[SFC_05 ] uuid[159F91EE-B6A4-4DE6-A8C9-F900CD087093]
card[06]: name[SFC_06 ] uuid[7EE371A9-4E64-477F-AA09-42B6ED70B92B]
card[07]: name[SFC_07 ] uuid[DF2D38F2-01FD-4E95-97EC-4B1EB75683FD]
card[08]: name[SFC_08 ] uuid[E7D7F817-09C6-4EBA-9537-A66A686713A1]
card[09]: name[SFC_09 ] uuid[B24BE6CC-EB7B-483D-A859-284EF638647C]
card[10]: name[SFC_10 ] uuid[2AAD074F-C65C-4708-AAA9-A76588BD434D]

回避策：EMCtrlタスクを再起動します。