Raccolta dei log per i problemi di prestazioni CUIC

Introduzione

Questo documento descrive un processo di configurazione e raccolta dei log di Cisco Unified Intelligence Center (CUIC) durante la risoluzione dei problemi relativi alle prestazioni dei report. La risoluzione dei problemi relativi alle prestazioni dei CUIC potrebbe essere problematica a causa di molte tecnologie, prodotti e componenti coinvolti. Anche i problemi di prestazioni si manifestano in modi diversi, quindi è importante avere un quadro chiaro durante la risoluzione dei problemi.

Lo scopo di questo documento non è descrivere in dettaglio il processo di risoluzione dei problemi, ma evidenziare i punti principali durante la raccolta dei log richiesti da Cisco TAC o Cisco Engineering.

Raccolta dei log per i problemi di prestazioni CUIC

Indicazioni generali

La raccolta di tutti i log in un'unica ripresa è un'operazione lunga e complessa. L'intera procedura dovrebbe richiedere da 1 a 4 ore. Dipende dalla capacità di un cliente o di un partner di preparare l'ambiente. 

Nota: Non è necessario alcun tempo di inattività per questa attività, anche se un cliente potrebbe dover inviare alcune richieste di modifica.

Si consiglia vivamente di eseguire i test utilizzando il browser Firefox, in particolare grazie a strumenti di sviluppo più completi (F12).

È necessario conoscere gli indirizzi IP utilizzati dal client e dal server CUIC per la comunicazione. 

Questi indirizzi IP vengono utilizzati per il client CUIC e il server in questo articolo.

Indirizzo IP client: 10.111.16.157

Indirizzo IP server: 10.222.6.29 

Suggerimento: Per la risoluzione dei problemi relativi alle prestazioni CUIC, si consiglia di riprodurre il problema utilizzando un client situato in un ambiente LAN UCCE. In questo modo si eliminerà l'impatto della connessione di rete tra il client CUIC e il server.

  

Potrebbero esserci più tentativi di raccolta dei log, pertanto è importante mantenere una denominazione chiara dei file raccolti. Creare una cartella sul desktop del client con un nome come tac<data>_<ora> (ad esempio tac27feb17_1334) o tac_<data>_<tentativo> (es. tac27feb17_take3). Dopo aver raccolto i log, inserirli tutti in questa cartella, archiviarli e allegarli alla richiesta.

Cercare nel cluster un nodo che offra le migliori prestazioni dal punto di vista della CPU, della memoria, dello stato di ioWait e che presenti ancora problemi di prestazioni. Eseguire test con questo nodo evitando il bilanciamento del carico (se presente).

Set tipico di registri

1. Registri F12 di Client Browser
2. Acquisizione pacchetti HTTP client
3. Acquisizione pacchetti HTTP server
4. Server CUIC
   • Servizio di reporting di Intelligence Center
   • Servizio database Cisco Informix
   • PerfMonLog agente di raccolta dati RIS Cisco
   • Cisco Tomcat
   • Event Viewer-Log delle applicazioni
   • Event Viewer-Log di sistema
   • Registri acquisizione pacchetti

Definisci un problema

Esempio 1. Errore o timeout

Durante le ore di punta CUIC Reporting utenti su tutti i nodi del cluster rilevano diversi errori per i report in tempo reale.

E1: "Recupero delle informazioni sul set di dati java.lang.IllegalStateException"

E2: "Timeout dell'ultimo aggiornamento (getDataSetMaxReached), fare clic su Aggiorna per ricaricare."

E3: "Timeout ultimo aggiornamento (reportRefreshRetry). Attendere il prossimo aggiornamento automatico o fare clic su 'Aggiorna'."

Il problema è iniziato il 27 febbraio di mattina dopo che questi cambiamenti specifici di rete, sicurezza e centro dati sono stati implementati nel fine settimana. Abbiamo verificato queste linee guida di dimensionamento per il nostro cluster CUIC.

Progettazione della rete di riferimento per le soluzioni Cisco Unified Intelligence Center (SRND), versione 11.0(1)

Esempio 2. Ritardo elevato

Gli utenti CUIC che eseguono il reporting solo sul primo nodo del sottoscrittore riscontrano ritardi di 30-40 secondi nella visualizzazione dei report in tempo reale.

Il problema è iniziato il 26 febbraio dopo l'aggiornamento del firmware dei dispositivi di rete SAN. Abbiamo verificato queste linee guida di dimensionamento per il nostro cluster CUIC. 

Progettazione della rete di riferimento per le soluzioni Cisco Unified Intelligence Center (SRND), versione 11.0(1)

Risorse fornite dal cliente

Di seguito è riportato il riepilogo degli strumenti/applicazioni che i clienti o i partner devono utilizzare quando raccolgono i log per i problemi di prestazioni CUIC.

• Cliente: Prompt dei comandi di Windows
• Cliente: Wireshark
• Cliente: browser Firefox
• Cliente: Real-Time Monitoring Tool (RTMT) o un server SFTP (Secure File Transfer Protocol)
• CLI (Command Line Line) del server CUIC

Nota: In alcuni casi può essere complicato raccogliere i log CUIC utilizzando RTMT. Quindi è necessario scaricare i log da CUIC CLI a un server SFTP.

Preparazione della riproduzione

1. Nome e indirizzo dell'interfaccia client

Utilizzare CMD per raccogliere tutti gli indirizzi IP dei client CUIC.

Informazioni sull'interfaccia di rete e sull'indirizzo IP utilizzati per comunicare con il server CUIC. Deve essere utilizzata quando si raccoglie un pacchetto da un server.

C:\Users\Administrator>route print -4 | findstr 222
       10.222.6.0    255.255.254.0         On-link      10.111.16.157      1

Con questo comando è possibile determinare il nome di interfaccia corretto che sarà necessario selezionare in seguito in Wireshark. Il nome dell'interfaccia e il relativo indirizzo IP sono in corsivo.

c:\tmp>ipconfig
Windows IP Configuration

Wireless LAN adapter wifi0:
   IPv4 Address. . . . . . . . . . . : 10.111.16.157

Ethernet adapter Local Area Connection 2:
   IPv4 Address. . . . . . . . . . . : 192.168.123.1

<output omited for brevity>

2. Acquisizione pacchetti HTTP client

Assicurarsi che l'applicazione Wireshark sia installata e funzioni correttamente. Selezionare l'interfaccia corretta determinata nel passaggio precedente, ma per il momento interrompere l'acquisizione del pacchetto. 

Suggerimento: Se non vengono rilevate interfacce in Wireshark, una soluzione comune consiste nel reinstallare il software Pcap fornito con Wireshark.

3. Registri F12 di Client Browser

3.1 Aprire il browser Firefox e verificarne la versione. Deve essere supportato.

Premere F12 e passare alla scheda Rete (Network Monitor, CTRL+MAIUSC+Q). Selezionare Tutto (o HTML, JS, XHR, Media, Flash, WS, Altro). 

4. Registri RTMT del server

Accedere a CUIC con RTMT e selezionare questi servizi su tutti i nodi

• Servizio di reporting di Intelligence Center
• Servizio database Cisco Informix
• PerfMonLog agente di raccolta dati RIS Cisco
• Cisco Tomcat
• Event Viewer-Log delle applicazioni
• Event Viewer-Log di sistema
• Registri acquisizione pacchetti

Selezionare Intervallo assoluto o Intervallo relativo e fornire un nome significativo per la cartella con questi registri.

5. Acquisizione pacchetti HTTP server

Per semplificare il processo di risoluzione dei problemi, è necessario disporre di un modo semplice per tenere traccia di una singola query dal client al server. Per impostazione predefinita viene utilizzato il trasporto crittografato HTTPS che non rivela tali dettagli. Per questo motivo, il protocollo HTTP deve essere abilitato temporaneamente per la riproduzione al momento del rilascio.

Per abilitare la comunicazione HTTP, digitare questo comando in CLI CUIC. Deve essere abilitato sul nodo utilizzato per il test.

admin:set cuic properties http-enabled on
Value has been successfully set

admin:show cuic properties http-enabled
http_enabled 
============ 
on 

Nota: Non è necessario riavviare il servizio Cisco Tomcat. L'unico impatto è una comunicazione non crittografata tra client e server CUIC.

  

Avvia un'acquisizione pacchetto con Wireshark sul client CUIC.

Avvia acquisizione pacchetti con questo comando sul nodo server CUIC. Verificare che sia specificato l'indirizzo IP corretto del client.

admin:utils network capture file packetcapture count 100000 size all host ip 10.111.16.157
Executing command with options:
 size=ALL count=100000 interface=eth0
 src=dest= port= 
 ip=10.111.16.157  

6. Registrazione delle sessioni

Si consiglia vivamente di includere insieme ai log una registrazione video su schermo della riproduzione per mostrare l'esperienza utente CUIC, soprattutto quando si tratta di report di timeout e ritardi.

È possibile utilizzare qualsiasi software di registrazione dello schermo. Anche la funzione di registrazione Cisco Webex offre tale funzionalità.

Riproduzione del problema

Provare a riprodurre il problema con il minor numero di passaggi eseguiti. Cercare di evitare di eseguire operazioni non necessarie durante la riproduzione. In questo modo l'analisi del log eseguita da Cisco TAC risulterà notevolmente più rapida.

Un esempio di test molto semplice potrebbe essere l'accesso alla pagina Amministrazione principale CUIC -> Protezione -> Elenco utenti (o Gruppi utenti, o Autorizzazioni utente).

Se il test precedente non mostra il ritardo dopo diversi tentativi, il cliente può tentare di riprodurre il problema eseguendo un report o un dashboard. In tal caso è molto importante annotare il nome del report o del dashboard.

Durante il test di riproduzione, fare clic su Orologio Windows e aprire Modifica impostazioni data e ora ... in basso a destra. È necessario monitorare il tempo in modo preciso ai secondi.

Registra tutte le azioni eseguite. È utile che ci siano delle differenze temporali tra le varie azioni. È possibile utilizzare questo esempio.

14:16:30 - digitato indirizzo CUIC nel browser Firefox

14:17:42 - premere Invio dopo aver digitato le credenziali

14:20:20 - il sistema ha caricato la pagina Web Main.htmx

14:21:02 - ha fatto clic su Elenco utenti e CUIC ha iniziato a caricarlo

14:28:15 - Elenco utenti caricato correttamente (con ritardo di 7 m 10)

Aprire un blocco note e copiare il modello precedente. Quindi, idealmente, basta sostituire la descrizione del tempo o del passo se necessario.

Raccolta dei log dopo la riproduzione

1. Collect Client HTTP Packet Capture

Arrestare l'acquisizione dei pacchetti sul client (Wireshark).

Arrestare l'acquisizione dei pacchetti sul nodo CUIC premendo CTRL+C.

In Wireshark salvare i pacchetti dei client e spostarli nella cartella TAC.

2. Raccogli registri F12 di Client Browser

Fare clic con il pulsante destro del mouse su qualsiasi richiesta e premere Salva tutto come HAR. Selezionare quindi il percorso della cartella TAC e fare clic su Salva.

Questo tipo di file può essere analizzato con lo strumento G Suite HAR Analyzer.

Nell'esempio viene mostrato che la causa dei ritardi nei report è una larghezza di banda di rete ridotta tra il client CUIC e il server.

3. Raccogli registri RTMT del server

Verificare che l'acquisizione dei pacchetti del server CUIC sia già stata arrestata. In caso contrario, premere CTRL+C nella sessione CLI.

Passare a CUIC RTMT (RTMT CUIC) precedentemente configurato e premere Fine. 

Nota: Se si utilizza RTMT, verificare che tutte le richieste di certificati non attendibili siano accettate.

Se il processo di raccolta dei log RTMT è lento, è possibile scaricare i file di log su un server SFTP.

Utilizzate questi comandi per raccogliere i log necessari su un server SFTP.

file get activelog /cuic/logs/cuic/* reltime hours 1

file get activelog /cuic/logs/cuicsrvr/* reltime hours 1

file get activelog /cm/log/informix/* reltime hours 1

file get activelog /cm/log/ris/csv/PerfMon* reltime hours 1

file get activelog /syslog/CiscoSyslog* reltime days 1

file get activelog /syslog/AlternateSyslog* reltime days 1

file get activelog /syslog/messages* reltime days 1

file get activelog /cuic/logs/cuic/* reltime hours 1

file get activelog /cuic/logs/cuic/* reltime hours 1

file get activelog /tomcat/logs/localhost_access*.txt reltime hours 1

file get activelog /platform/cli/*.cap reltime hours 1

  

Insieme ai log, forniscono questi output CLI CUIC ottenuti dal nodo di test.

show status
show tech network hosts
utils ntp status
utils service list
utils dbreplication runtimestate
file list activelog /core/
file dump install system-history.log
show process using-most cpu
show process using-most memory
run sql SELECT COUNT(*) FROM cuic_data:cuicuser
show perf query counter ReportingEngineInfo ReportsUsersLoggedin

4. Registrazione della sessione di acquisizione

Arrestare e aggiungere la registrazione dello schermo alla cartella TAC.

Annulla le modifiche

Disabilita la comunicazione HTTP nel nodo CUIC.

admin:set cuic properties http-enabled off
Value has been successfully set

admin:show cuic properties http-enabled
http_enabled 
============ 
off