Sommario

Introduzione

Premesse

Comandi da controllare

Scenario di incoerenza 1: ID diverso visualizzato su EMCtrl rispetto all'istanza di VDU EM

Scenario di incoerenza 2: visualizzazione dettagli VDU di EMCtrl vuoti

Scenario di incoerenza 3: CF mancante nella tabella delle schede, non esistente in EM

Introduzione

In questo documento viene descritto come risolvere i problemi relativi a una scheda di Virtualized Packet Core (VPC) in Cisco Ultra Services Platform (UltraM) bloccata all'avvio con l'errore "Unable to find VDU" (Impossibile trovare VDU), come mostrato nei log di visualizzazione.

Premesse

Sample:

2017-Sep-26+08:05:05.839 [emctrl 218804 error] [2/0/16829 <emctrl:0> emctrl_vnf.c:828] [software internal system syslog] Failed to find VDU, of card number <1>

Se si controllano ulteriormente i registri, viene visualizzato l'errore specifico che indica che il tipo di scheda non corrisponde alle informazioni di Extension Mobility (EM):

2017-Sep-26+08:03:32.126 [emctrl 218802 info] [2/0/16829 <emctrl:0> emctrl_util.c:381] [software internal system critical-info syslog] siti msg for standby CF, card type doesn't match EM, reboot it

2017-Sep-26+08:03:32.126 [emctrl 218802 info] [2/0/16829 <emctrl:0> emctrl_util.c:376] [software internal system critical-info syslog] siti card 1 card type drvctrl 40010100, siti 0

2017-Sep-26+08:03:32.126 [emctrl 218802 info] [2/0/16829 <emctrl:0> emctrl_util.c:329] [software internal system critical-info syslog] siti sync msg received for card 1 with cardtype 40010100, uuid 9F1F2B1E-35FC-4AF9-807A-E856336702D6

2017-Sep-26+08:03:32.105 [system 1004 info] [2/0/9741 <evlogd:0> evlgd_syslogd.c:279] [software internal system syslog] CPU[2/0]:  sitiserv[9533]: SITI_PRESENT: invoking notify card present cmd notify_card_present 1 0 0x40010100 9F1F2B1E-35FC-4AF9-807A-E856336702D6

Comandi da controllare

Come si evince dall'errore, esiste un UUID (Universally Unique Identifier) della scheda interessata. In questo esempio, l'UUID è 9F1F2B1E-35FC-4AF9-807A-E856336702D6.

In teoria, questo UUID dovrebbe corrispondere all'output del comando show emctrl vdu detail output.

show emctrl vdu detail è il comando nascosto.

[local]UltraM-QVPC-DI# show emctrl vdu detail

Showing emctrl vdu

card[01]: name[CFC_01 ] uuid[1FE70E43-0F33-4E17-8BFA-439169CD52BA]

card[02]: name[CFC_02 ] uuid[3AFC540B-546E-4F35-A645-A23E62C32C59]

card[03]: name[SFC_03 ] uuid[93359FA0-09C2-4F7C-93F6-17BE0A2AF49F]

card[04]: name[SFC_04 ] uuid[E02C8AAA-7E8A-4881-8018-6EC59963C8F6]

card[05]: name[SFC_05 ] uuid[6F297BF6-4AFC-43AB-A36D-FCD0FAE39DA3]

Se questo output è vuoto, è possibile che il processo EMCtrl sia danneggiato.

Questo ID dovrebbe essere lo stesso che si vede nell'IME come evidenziato:

admin@scm# show vdus vdu card-type session-function

vdus vdu session-function

card-type session-function

vnfci BOOT_generic_di-chassis_SF1_1

constituent-element-group di-chassis

is-infra true

initialized false

vim-id 93359fa0-09c2-4f7c-93f6-17be0a2af49f

vnfci BOOT_generic_di-chassis_SF2_1

constituent-element-group di-chassis

is-infra true

initialized false

vim-id e02c8aaa-7e8a-4881-8018-6ec59963c8f6

vnfci BOOT_generic_di-chassis_SF3_1

constituent-element-group di-chassis

is-infra true

initialized false

vim-id 54e9a5d6-f4dd-4636-95d3-b29443ebfa14

Per ulteriori informazioni su questa istanza sul lato StarOS, usare questo comando:

[local]UltraM-QVPC-DI# show vdu detail type session-function instance BOOT_generic_di-chassis_SF1_1

vdu-id: session-function, vdu-instance: BOOT_generic_di-chassis_SF1_1, state: from:Invalid to:Alive

card_number: 3, card_type: 0x42030100, uuid:93359fa0-09c2-4f7c-93f6-17be0a2af49f

networks:

cp-id: di_intf1, state: Alive, type: unknown

vl: vl-di-internal1 vnfc: sf-vnfc-di-chassis

mac: fa:16:3e:87:ac:e4, ip: 192.168.1.12

cp-id: di_intf2, state: Alive, type: unknown

vl: vl-di-internal2 vnfc: sf-vnfc-di-chassis

mac: fa:16:3e:92:ea:26, ip: 192.168.2.11

cp-id: orch, state: Alive, type: unknown

vl: vl-orchestration vnfc: sf-vnfc-di-chassis

mac: fa:16:3e:1e:f5:b5, ip: 172.16.180.21

cp-id: svc_intf1, state: Alive, type: unknown

vl: vl-service-network1 vnfc: sf-vnfc-di-chassis

mac: fa:16:3e:bf:c8:6f, ip: 10.10.10.2

cp-id: svc_intf2, state: Alive, type: unknown

vl: vl-service-network2 vnfc: sf-vnfc-di-chassis

mac: fa:16:3e:15:a9:22, ip: 20.20.20.7

cp-id: svc_intf3, state: Alive, type: unknown

vl: vl-service-network1 vnfc: sf-vnfc-di-chassis

mac: fa:16:3e:1f:fa:0c, ip: 10.10.10.6

cp-id: svc_intf4, state: Alive, type: unknown

vl: vl-service-network2 vnfc: sf-vnfc-di-chassis

mac: fa:16:3e:2f:6b:00, ip: 20.20.20.10

Scenario di incoerenza 1: ID diverso visualizzato su EMCtrl rispetto all'istanza di VDU EM

Se si presta attenzione all'ID della scheda 5, si osserverà che è 6F297BF6-4AFC-43AB-A36D-FCD0FAE39DA3.

[local]UltraM-QVPC-DI# show emctrl vdu detail

Showing emctrl vdu

card[01]: name[CFC_01 ] uuid[1FE70E43-0F33-4E17-8BFA-439169CD52BA]

card[02]: name[CFC_02 ] uuid[3AFC540B-546E-4F35-A645-A23E62C32C59]

card[03]: name[SFC_03 ] uuid[93359FA0-09C2-4F7C-93F6-17BE0A2AF49F]

card[04]: name[SFC_04 ] uuid[E02C8AAA-7E8A-4881-8018-6EC59963C8F6]

card[05]: name[SFC_05 ] uuid[6F297BF6-4AFC-43AB-A36D-FCD0FAE39DA3]

Tuttavia, se si controlla lo stesso ID sulla EM, non si trova:

admin@scm# show vdus | include vim

vim-id 1fe70e43-0f33-4e17-8bfa-439169cd52ba  ---> CF 1

vim-id 3afc540b-546e-4f35-a645-a23e62c32c59  ---> CF 2

vim-id 93359fa0-09c2-4f7c-93f6-17be0a2af49f  ---> SF 3

vim-id e02c8aaa-7e8a-4881-8018-6ec59963c8f6  ---> SF 4

vim-id 54e9a5d6-f4dd-4636-95d3-b29443ebfa14  ---> ?

Come potete vedere, per la scheda nello slot 5 sembra esserci un'incoerenza.

Quando si archiviano ulteriori dettagli relativi all'ID specifico sul sistema operativo StarOS, si osserverà che con il comando show vdu detail l'ID è effettivamente lo stesso visualizzato sul lato EM:

[local]UltraM-QVPC-DI# show vdu detail type session-function instance BOOT_generic_di-chassis_SF3_1

vdu-id: session-function, vdu-instance: BOOT_generic_di-chassis_SF3_1, state: from:Invalid to:Alive

card_number: 5, card_type: 0x42030100, uuid:54e9a5d6-f4dd-4636-95d3-b29443ebfa14

In questo modo è possibile verificare che il processo EMCtrl non disponga delle informazioni corrette.

Se si controlla il registro, verrà visualizzato questo avviso:

2017-Sep-26+08:36:31.317 UltraM-QVPC-DI [emctrl 218802 info] [2/0/20871 <emctrl:0> emctrl_util.c:579] [software internal system critical-info syslog] drvctrl uuid mismatch /6F297BF6-4AFC-43AB-A36D-FCD0FAE39DA3 with em uuid 54e9a5d6-f4dd-4636-95d3-b29443ebfa14, use drvctrl uuid

1. Se si interrompe l'attività EMCtrl, ciò non è di aiuto.

2. Inoltre, se si riavvia la scheda, non è di aiuto.

Scenario di incoerenza 2: visualizzazione dettagli VDU di EMCtrl vuoti

È probabile che ciò sia dovuto al danneggiamento della tabella EMCtrl ed è la conseguenza del bug di cui si è a conoscenza fino ad ora.

L'output dell'elenco show emctrl vdu risulterebbe completamente vuoto:

Showing emctrl vdu

card[01]: name[                                                  ] uuid[          ]

card[02]: name[                                                  ] uuid[          ]

Per verificare lo stato effettivo della scheda dal lato proxy VNFM:

#show vdu detail type control-function instance  BOOT_generic_di-chasis_CF1_1

vdu-id: control-function, vdu-instance: BOOT_generic_di-chasis_CF1_1, state: from:Invalid to:Alive

Bug noto: CSCvf32599

Soluzione. Riavviare l'attività EMCtrl:

task kill facility emctrl all

Scenario di incoerenza 3: CF mancante nella tabella delle schede, non esistente in EM

A volte, si vede che SF o CF manca dal tavolo delle carte.

Come si vede dall'output, StarOS vede solo una scheda CF:

[local]AUPGW101# show card tabl

Wednesday September 27 09:26:46 UTC 2017

Slot Card Type Oper State SPOF Attach

----------- -------------------------------------- ------------- ---- ------

1: CFC Control Function Virtual Card Active Yes

3: FC 4-Port Service Function Virtual Card Active No

4: FC 4-Port Service Function Virtual Card Active No

5: FC 4-Port Service Function Virtual Card Active No

6: FC 4-Port Service Function Virtual Card Active No

7: FC 4-Port Service Function Virtual Card Active No

8: FC 4-Port Service Function Virtual Card Active No

9: FC 4-Port Service Function Virtual Card Active No

10: FC 4-Port Service Function Virtual Card Standby -

Tuttavia, se si controlla la console di debug per la scheda 2, si osserverà che tenta di connettersi:

[local]AUPGW101# debug consol card 1 cpu 0

Wednesday September 27 09:26:58 UTC 2017

[local]AUPGW101# 2017-Sep-27+09:23:18.370 card 1-cpu0: collect persistdump for card <2> success

2017-Sep-27+09:24:22.112 card 1-cpu0: Hatsystem rcvd card 2/0 fail req from card (1) emctrl/0 - 32:150:3

2017-Sep-27+09:24:22.115 card 1-cpu0: The Control Function Virtual Card with serial number in slot 2 has failed and will be brought down and brought back online. (Device=CARD, Reason=EMCTRL_CARDTYPE_MISMATCH, Status=0)

In questo modo, come è possibile vedere da show log poiché EMCtrl ritiene che il CF non esista in EM:

2017-Sep-27+09:27:13.964 [emctrl 218802 info] [1/0/7805 <emctrl:0> emctrl_util.c:357] [software internal system critical-info syslog] siti msg for standby CF, but doesn't exist in EM, reboot it

2017-Sep-27+09:27:13.964 [emctrl 218802 info] [1/0/7805 <emctrl:0> emctrl_util.c:329] [software internal system critical-info syslog] siti sync msg received for card 2 with cardtype 40010100, uuid C6217904-8F65-4C48-B607-4F13EAE6745D

2017-Sep-27+09:27:13.939 [system 1004 info] [1/0/7684 <evlogd:0> evlgd_syslogd.c:279] [software internal system syslog] CPU[1/0]: sitiserv[3063]: SITI_PRESENT: invoking notify card present cmd notify_card_present 2 0 0x40010100 C6217904-8F65-4C48-B607-4F13EAE6745D

È possibile confermare che:

[local]AUPGW101# show emctrl vdu list

Wednesday September 27 09:30:21 UTC 2017

Showing emctrl vdu

card[01]: name[CFC_01 ] uuid[42913D9A-91A9-4E5E-8473-AEADD73BEC08]

card[03]: name[SFC_03 ] uuid[CB2C4429-0965-4394-8200-ABB4071BB067]

card[04]: name[SFC_04 ] uuid[17997C02-DF9F-40BC-8A41-D2B9D448D47C]

card[05]: name[SFC_05 ] uuid[159F91EE-B6A4-4DE6-A8C9-F900CD087093]

card[06]: name[SFC_06 ] uuid[7EE371A9-4E64-477F-AA09-42B6ED70B92B]

card[07]: name[SFC_07 ] uuid[DF2D38F2-01FD-4E95-97EC-4B1EB75683FD]

card[08]: name[SFC_08 ] uuid[E7D7F817-09C6-4EBA-9537-A66A686713A1]

card[09]: name[SFC_09 ] uuid[B24BE6CC-EB7B-483D-A859-284EF638647C]

card[10]: name[SFC_10 ] uuid[2AAD074F-C65C-4708-AAA9-A76588BD434D]

Soluzione. Riavviare l'attività EMCtrl.