Inhoud

Inleiding

Voorwaarden

Vereisten

Gebruikte componenten

Probleem

Uitgebreide probleemoplossing

Oplossing

Verificatie

Inleiding

Dit document beschrijft een probleem dat na het verbeteren van Hosted Collaboration Media Fulfillment (HCM-F) samen met het proces voor het opsporen en verhelpen van problemen is ontstaan.

De oorzaak van de kwestie is afhankelijk van een verlopen Tomcat-certificaat. Veel klanten die van plan zijn hun HCM-F-apparaat te verbeteren (om te profiteren van de pas geïntroduceerde functies) zullen dit probleem oplossen als hun bestaande HCM-F Tomcat-certificaat is verlopen en niet opnieuw gegenereerd is.

Voorwaarden

Vereisten

Cisco raadt kennis van de volgende onderwerpen aan:

- Cisco Hosted Collaboration Solutions (HCS)

- Cisco Hosted Collaboration Solution voor contactcenters (HCM-F)

Gebruikte componenten

De informatie in dit document is gebaseerd op de volgende software- en hardware-versies:

- HCM-F 11.5.4

De informatie in dit document is gebaseerd op de apparaten in een specifieke laboratoriumomgeving. Alle apparaten die in dit document worden beschreven, hadden een opgeschoonde (standaard)configuratie. Als uw netwerk live is, moet u de potentiële impact van elke opdracht begrijpen.

Probleem

Na het uploaden van HCM-F (11.5.1 tot 11.5.4) en het converteren van de schakelaar, is de pagina Graphical User Interface (GUI) niet langer bereikbaar en zijn de services gestopt.

Uitgebreide probleemoplossing

- Tijdens het controleren van de servicestatus wordt opgemerkt dat Web User Interface (UI) en Tomcat-gerelateerde diensten in STOPPED-staat zijn:

admin:utils service list

Requesting service status, please wait...

System SSH [STARTED]

Name Service Cache [STOPPED] Service Not Activated

Entropy Monitoring Daemon [STARTED]

Cisco SCSI Watchdog [STARTED]Service Manager [STARTED]

Service Manager is running

Getting list of all services

>> Return code = 0

Cisco AMC Service[STARTED]

Cisco Audit Event Service[STARTED]

Cisco CDM Database[STARTED]

Cisco CDP[STARTED]

Cisco CDP Agent[STARTED]

Cisco Certificate Expiry Monitor[STARTED]

Cisco Configuration Manager[STARTED]

Cisco DRF Local[STARTED]

Cisco DRF Master[STARTED]

Cisco HCS Admin UI[STOPPED] Component is not running

Cisco HCS CSF UI Service[STOPPED]  Component is not running

Cisco HCS CUCDMSync Service[STARTED]

Cisco HCS ConfigMgr[STARTED]

Cisco HCS DMA-SA Service[STARTED]

Cisco HCS Data Access Manager Service[STARTED]

Cisco HCS Fulfillment Service[STARTED]

Cisco HCS IPA Service[STARTED]

Cisco HCS Intelligent Loader Service[STOPPED]  Component is not running

Cisco HCS License Manager Service[STARTED]

Cisco HCS NBI REST FF Web Service[STOPPED] Component is not running

Cisco HCS NBI REST SDR Web Service[STOPPED]  Component is not running

Cisco HCS NBI REST UCMon Web Service[STOPPED]  Component is not running

Cisco HCS North Bound Interface Web Service[STOPPED]  Component is not running

Cisco HCS Provisioning Adapter Service[STARTED]

Cisco HCS SDR Change Notification Service[STARTED]

Cisco HCS SDR UI[STOPPED]  Component is not running

Cisco HCS SI UI[STOPPED]  Component is not running

Cisco HCS SSO SP Service[STOPPED]  Component is not running

Cisco HCS Service Inventory[STOPPED]  Component is not running

Cisco HCS UCPA Service[STARTED]

Cisco HCS UCSMSync Service[STARTED]

Cisco HCS VCenterSync Service[STARTED]

Cisco JMS Broker[STARTED]

Cisco Log Partition Monitoring Tool[STARTED]

Cisco Platform Manager Service[STOPPED]  Component is not running

Cisco RIS Data Collector[STARTED]

Cisco RTMT Web Service[STOPPED]  Component is not running

Cisco Syslog Agent[STARTED]

Cisco Tomcat[STARTED]

Cisco Tomcat Stats Servlet[STOPPED]  Component is not running

Cisco Trace Collection Service[STARTED]

Cisco Trace Collection Servlet[STOPPED]  Component is not running

Host Resources Agent[STARTED]

MIB2 Agent[STARTED]

Platform Administrative Web Service[STOPPED]  Component is not running

SNMP Master Agent[STARTED]System Application Agent[STARTED]

Cisco HCS UC Monitor Service[STOPPED]  Service Not ActivatedPrimary Node =true

- In Cisco Sourcegids zien we Hypertext Transfer Protocol (HTTP) 404-fout voor verschillende Web-gerelateerde services:

admin:file view activelog /syslog/CiscoSyslog

Jun 17 16:14:19 hcs862-hcm-f local7 2 : 6: hcs862-hcm-f.XXXXXXXX.net:

Jun 17 2019 14:14:19.781 UTC :  %UC_SERVICEMANAGER-2-ServiceStartFailed: %[ServiceName=Cisco RTMT Web Service][Reason=HTTP 404 Error][AppID=Cisco Service Manager][ClusterID=][NodeID=hcs862-hcm-f]: Failed to start service.

Jun 17 16:14:19 hcs862-hcm-f local7 2 : 7: hcs862-hcm-f.XXXXXXXXtest.net:

Jun 17 2019 14:14:19.781 UTC :  %UC_SERVICEMANAGER-2-ServiceFailed: %[ServiceName=Cisco RTMT Web Service][Reason=Service stopped abruptly][AppID=Cisco Service Manager][ClusterID=][NodeID=hcs862-hcm-f]: Service terminated.

Jun 17 16:14:20 hcs862-hcm-f local7 2 : 8: hcs862-hcm-f.XXXXXXXXtest.net:

Jun 17 2019 14:14:20.791 UTC :  %UC_SERVICEMANAGER-2-ServiceStartFailed: %[ServiceName=Cisco Trace Collection Servlet][Reason=HTTP 404 Error][AppID=Cisco Service Manager][ClusterID=][NodeID=hcs862-hcm-f]: Failed to start service.

Jun 17 16:14:20 hcs862-hcm-f local7 2 : 9: hcs862-hcm-f.XXXXXXXXtest.net: Jun 17 2019 14:14:20.791 UTC :  %UC_SERVICEMANAGER-2-ServiceFailed: %[ServiceName=Cisco Trace Collection Servlet][Reason=Service stopped abruptly][AppID=Cisco Service Manager][ClusterID=][NodeID=hcs862-hcm-f]: Service terminated.

Jun 17 16:14:21 hcs862-hcm-f local7 2 : 10: hcs862-hcm-f.XXXXXXXXtest.net: Jun 17 2019 14:14:21.796 UTC :  %UC_SERVICEMANAGER-2-ServiceStartFailed: %[ServiceName=Cisco Tomcat Stats Servlet][Reason=HTTP 404 Error][AppID=Cisco Service Manager][ClusterID=][NodeID=hcs862-hcm-f]: Failed to start service.

Jun 17 16:14:21 hcs862-hcm-f local7 2 : 11: hcs862-hcm-f.XXXXXXXXtest.net: Jun 17 2019 14:14:21.796 UTC :  %UC_SERVICEMANAGER-2-ServiceFailed: %[ServiceName=Cisco Tomcat Stats Servlet][Reason=Service stopped abruptly][AppID=Cisco Service Manager][ClusterID=][NodeID=hcs862-hcm-f]: Service terminated.

Jun 17 16:14:22 hcs862-hcm-f local7 6 : 12: hcs862-hcm-f.XXXXXXXXtest.net: Jun 17 2019 14:14:22.800 UTC :  %UC_GENERIC-6-ServiceStarted: %[ServiceName=Cisco CDP][ProcessID=8426][AppID=Cisco Service Manager][ClusterID=][NodeID=hcs862-hcm-f]: Service started.

Jun 17 16:14:23 hcs862-hcm-f local7 2 : 13: hcs862-hcm-f.XXXXXXXXtest.net:

Jun 17 2019 14:14:23.804 UTC :  %UC_SERVICEMANAGER-2-ServiceStartFailed: %[ServiceName=Cisco HCS Admin UI][Reason=HTTP 404 Error][AppID=Cisco Service Manager][ClusterID=][NodeID=hcs862-hcm-f]: Failed to start service.

Jun 17 16:14:23 hcs862-hcm-f local7 2 : 14: hcs862-hcm-f.XXXXXXXXtest.net:

Jun 17 2019 14:14:23.804 UTC :  %UC_SERVICEMANAGER-2-ServiceFailed: %[ServiceName=Cisco HCS Admin UI][Reason=Service stopped abruptly][AppID=Cisco Service Manager][ClusterID=][NodeID=hcs862-hcm-f]: Service terminated.

Jun 17 16:14:24 hcs862-hcm-f local7 2 : 15: hcs862-hcm-f.XXXXXXXXtest.net:

Jun 17 2019 14:14:24.808 UTC :  %UC_SERVICEMANAGER-2-ServiceStartFailed: %[ServiceName=Cisco HCS SDR UI][Reason=HTTP 404 Error][AppID=Cisco Service Manager][ClusterID=][NodeID=hcs862-hcm-f]: Failed to start service.

Jun 17 16:14:24 hcs862-hcm-f local7 2 : 16: hcs862-hcm-f.XXXXXXXXtest.net: Jun 17 2019 14:14:24.808 UTC :  %UC_SERVICEMANAGER-2-ServiceFailed: %[ServiceName=Cisco HCS SDR UI][Reason=Service stopped abruptly][AppID=Cisco Service Manager][ClusterID=][NodeID=hcs862-hcm-f]: Service terminated.

Jun 17 16:14:25 hcs862-hcm-f local7 6 : 17: hcs862-hcm-f.XXXXXXXXtest.net: Jun 17 2019 14:14:25.812 UTC :  %UC_GENERIC-6-ServiceStarted: %[ServiceName=Cisco Certificate Expiry Monitor][ProcessID=8774][AppID=Cisco Service Manager][ClusterID=][NodeID=hcs862-hcm-f]: Service started.

Jun 17 16:14:25 hcs862-hcm-f local7 2 : 18: hcs862-hcm-f.XXXXXXXXtest.net:

Jun 17 2019 14:14:25.813 UTC :  %UC_SERVICEMANAGER-2-ServiceStartFailed: %[ServiceName=Cisco HCS NBI REST SDR Web Service][Reason=HTTP 404 Error][AppID=Cisco Service Manager][ClusterID=][NodeID=hcs862-hcm-f]: Failed to start service.

Jun 17 16:14:25 hcs862-hcm-f local7 2 : 19: hcs862-hcm-f.XXXXXXXXtest.net:

Jun 17 2019 14:14:25.813 UTC :  %UC_SERVICEMANAGER-2-ServiceFailed: %[ServiceName=Cisco HCS NBI REST SDR Web Service][Reason=Service stopped abruptly][AppID=Cisco Service Manager][ClusterID=][NodeID=hcs862-hcm-f]: Service terminated.

- Tomcat in Catalina.out meldt CCMTroestCerts context-kwestie:

SEVERE: Context [/CCMTrustCerts] startup failed due to previous errors

Jun 18, 2019 2:59:49 PM org.apache.catalina.startup.HostConfig deployDirectoryINFO: Deployment of web application directory /common/log/taos-log-a/tomcat/webapps/CCMTrustCerts has finished in 8,042 ms end of the file reachedoptions: q=quit, n=next, p=prev, b=begin, e=end (lines 1221 - 1223 of 1223) :INFO: Deploying web application directory /common/log/taos-log-a/tomcat/webapps/manager

Jun 18, 2019 2:59:33 PM org.apache.catalina.startup.SetContextPropertiesRule beginWARNING: [SetContextPropertiesRule]{Context} Setting property 'debug' to '0' did not find a matching property.

Jun 18, 2019 2:59:33 PM org.apache.tomcat.util.digester.SetPropertiesRule beginWARNING: [SetPropertiesRule]{Context/Realm} Setting property 'resourceName' to 'TomcatUsersDatabase' did not find a matching property.

Jun 18, 2019 2:59:41 PM org.apache.catalina.startup.TldConfig executeINFO: At least one JAR was scanned for TLDs yet contained no TLDs. Enable debug logging for this logger for a complete list of JARs that were scanned but no TLDs were found in them. Skipping unneeded JARs during scanning can improve startup time and JSP compilation time.

Jun 18, 2019 2:59:41 PM org.apache.catalina.core.StandardContext startInternalSEVERE: One or more Filters failed to start. Full details will be found in the appropriate container log file

Jun 18, 2019 2:59:41 PM org.apache.catalina.core.StandardContext startInternalSEVERE: Context [/manager] startup failed due to previous errors

Jun 18, 2019 2:59:41 PM org.apache.catalina.startup.HostConfig deployDirectoryINFO: Deployment of web application directory /common/log/taos-log-a/tomcat/webapps/manager has finished in 7,483 ms

Jun 18, 2019 2:59:41 PM org.apache.catalina.startup.HostConfig deployDirectoryINFO: Deploying web application directory /common/log/taos-log-a/tomcat/webapps/CCMTrustCerts

Jun 18, 2019 2:59:49 PM org.apache.catalina.startup.TldConfig executeINFO: At least one JAR was scanned for TLDs yet contained no TLDs. Enable debug logging for this logger for a complete list of JARs that were scanned but no TLDs were found in them. Skipping unneeded JARs during scanning can improve startup time and JSP compilation time.

Jun 18, 2019 2:59:49 PM org.apache.catalina.core.StandardContext startInternalSEVERE: One or more Filters failed to start. Full details will be found in the appropriate container log file

Jun 18, 2019 2:59:49 PM org.apache.catalina.core.StandardContext startInternal options: SEVERE: Context [/CCMTrustCerts] startup failed due to previous errors

Jun 18, 2019 2:59:49 PM org.apache.catalina.startup.HostConfig deployDirectoryINFO: Deployment of web application directory /common/log/taos-log-a/tomcat/webapps/CCMTrustCerts has finished in 8,042 ms

- Het uitvoeren van "utils diagnostiek test" van Commo-Line Interface (CLI) toont een fout in de tomcat_connectors module, die erop wijst dat de interne verbindingen met Tomcat niet werken:

test - tomcat_connectors   : Failed - The HTTP and HTTPS ports are not responding to local requests.

Please collect all of the Tomcat logs for root cause analysis: file get activelog tomcat/logs/*

- Tomcat-certificaat is op 26 maart verstreken. Desondanks werden er geen problemen waargenomen tijdens (of voorafgaand aan) de upgrade van HCM-F:

Jun 19 12:00:00 hcs862-hcm-f local99 0 : 42: hcs862-hcm-f.XXXXXXXXtest.net:

Jun 19 2019 10:00:00.19 UTC :  %UC_CERT-0-CertExpired: %[Message=Certificate expiration Notification. Certificate name:tomcat.der Unit:tomcat Type:own-cert Expiration:Sun Mar 26 12:30:59:000 CES][AppID=Cisco Certificate Monitor][ClusterID=][NodeID=hcs862-hcm-f]: Certificate has Expired and needs to be changed at the earliest

Jun 19 12:00:00 hcs862-hcm-f local99 0 : 43: hcs862-hcm-f.XXXXXXXXtest.net:

Jun 19 2019 10:00:00.21 UTC :  %UC_CERT-0-CertExpired: %[Message=Certificate expiration Notification. Certificate name:ipsec.der Unit:ipsec Type:own-cert Expiration:Sun Mar 26 12:30:57:000 CEST ][AppID=Cisco Certificate Monitor][ClusterID=][NodeID=hcs862-hcm-f]: Certificate has Expired and needs to be changed at the earliest

Oplossing

1. Regeneratie van het certificaat van Tomcat :

admin:set cert regen tomcat

WARNING: This operation will overwrite any CA signed certificate previously imported for  tomcat

Proceed with regeneration (yes|no)? yes

Successfully Regenerated Certificate for tomcat.

You must restart services related to tomcat for the regenerated certificates to become active.

2.  HCM-F-server opnieuw starten:

admin:utils system restart

Do you really want to restart ?Enter (yes/no)? yes

Verificatie

- Controleer de servicestatus:

admin:utils service list

Requesting service status, please wait...

System SSH [STARTED]

Name Service Cache [STOPPED] Service Not Activated

Entropy Monitoring Daemon [STARTED]

Cisco SCSI Watchdog [STARTED]

Service Manager [STARTED]Service Manager is running

Getting list of all services

>> Return code = 0

Cisco AMC Service[STARTED]

Cisco Audit Event Service[STARTED]

Cisco CDM Database[STARTED]

Cisco CDP[STARTED]

Cisco CDP Agent[STARTED]

Cisco Certificate Expiry Monitor[STARTED]

Cisco Configuration Manager[STARTED]

Cisco DRF Local[STARTED]

Cisco DRF Master[STARTED]

Cisco HCS Admin UI[STARTED]

Cisco HCS CSF UI Service[STARTED]

Cisco HCS CUCDMSync Service[STARTED]

Cisco HCS ConfigMgr[STARTED]

Cisco HCS DMA-SA Service[STARTED]

Cisco HCS Data Access Manager Service[STARTED]

Cisco HCS Fulfillment Service[STARTED]

Cisco HCS IPA Service[STARTED]

Cisco HCS Intelligent Loader Service[STARTED]

Cisco HCS License Manager Service[STARTED]

Cisco HCS NBI REST FF Web Service[STARTED]

Cisco HCS NBI REST SDR Web Service[STARTED]

Cisco HCS NBI REST UCMon Web Service[STARTED]

Cisco HCS North Bound Interface Web Service[STARTED]

Cisco HCS Provisioning Adapter Service[STARTED]

Cisco HCS SDR Change Notification Service[STARTED]

Cisco HCS SDR UI[STARTED]

Cisco HCS SI UI[STARTED]

Cisco HCS SSO SP Service[STARTED]

Cisco HCS Service Inventory[STARTED]

Cisco HCS UCPA Service[STARTED]

Cisco HCS UCSMSync Service[STARTED]

Cisco HCS VCenterSync Service[STARTED]

Cisco JMS Broker[STARTED]

Cisco Log Partition Monitoring Tool[STARTED]

Cisco Platform Manager Service[STARTED]

Cisco RIS Data Collector[STARTED]

Cisco RTMT Web Service[STARTED]

Cisco Syslog Agent[STARTED]

Cisco Tomcat[STARTED]

Cisco Tomcat Stats Servlet[STARTED]

Cisco Trace Collection Service[STARTED]

Cisco Trace Collection Servlet[STARTED]

Host Resources Agent[STARTED]MIB2 Agent[STARTED]

Platform Administrative Web Service[STARTED]

SNMP Master Agent[STARTED]

System Application Agent[STARTED]

Cisco HCS UC Monitor Service[STOPPED]

Service Not ActivatedPrimary Node =true