Guida alla raccolta dei supporti tecnici ACI e degli output richiesti da TAC

Introduzione

Questo documento descrive i vari log e output necessari per la risoluzione dei problemi quando si lavora con TAC per ACI.

Premesse

Per un rapido riferimento ai dati da raccogliere prima di aprire una richiesta TAC, fare riferimento alla tabella 1.

Tabella 1: mostra/registra matrice di raccolta dei dati tecnici

Problemi	Dati da raccogliere	Note
Problemi di aggiornamento	Informazioni per il supporto tecnico su richiesta sui nodi con problemi di aggiornamento Informazioni per il supporto tecnico su richiesta su tutti gli APIC Ulteriori errori, eventi, verifiche tramite TacOutput	Se gli APIC sono divergenti e la raccolta delle informazioni per il supporto tecnico su richiesta ha esito negativo, raccogliere le informazioni per il supporto tecnico locale (techsupport local).
Problema di connettività casuale	Informazioni per il supporto tecnico su richiesta sul nodo di origine (a cui è connesso l'endpoint di origine) Informazioni per il supporto tecnico su richiesta sul nodo di destinazione (a cui è connesso l'endpoint di destinazione) Ulteriori errori, eventi, verifiche tramite TacOutput
Perdita completa di connettività	Informazioni per il supporto tecnico su richiesta sui nodi leaf (origine e destinazione) Informazioni per il supporto tecnico su richiesta sui nodi spine Informazioni per il supporto tecnico su richiesta sugli APIC Ulteriori errori, eventi, verifiche tramite TacOutput	In caso di interruzioni operative, chiedere al team TAC di eseguire un debug in tempo reale. Se i nodi devono essere riavviati per analizzare le cause profonde di un problema (RCA, Root Cause Analysis), raccogliere i log prima di ricaricare i nodi.
Problemi di clustering	Informazioni per il supporto tecnico su richiesta su tutti gli APIC Ulteriori errori, eventi, verifiche tramite TacOutput	Se gli APIC sono divergenti e la raccolta delle informazioni per il supporto tecnico su richiesta ha esito negativo, raccogliere le informazioni per il supporto tecnico locale (techsupport local).
Problemi di routing	Informazioni per il supporto tecnico su richiesta sui nodi con problemi di routing Ulteriori errori, eventi, verifiche tramite TacOutput
Arresto anomalo / ricaricamento imprevisto del nodo	Informazioni per il supporto tecnico su richiesta sui nodi bloccati File degli arresti anomali/core sui nodi bloccati Ulteriori errori, eventi, verifiche tramite TacOutput
Problema sull'appliance APIC	Informazioni per il supporto tecnico su richiesta su tutti gli APIC Informazioni per il supporto tecnico per l'appliance APIC interessata

ACI APIC e switch

Informazioni per il supporto tecnico su richiesta

Nota: se il fabric ACI è connesso e richiesto tramite Intersight, la generazione del supporto tecnico e il caricamento nella SR TAC per il numero di serie fornito durante l'apertura della richiesta sono automatizzati. Il tecnico TAC su tale SR può quindi attivare la generazione e il caricamento o ulteriori supporti TechSupport per qualsiasi altro dispositivo connesso tramite Intersight.

Trigger e caricamento su Intersight tramite APIC - App Nexus Insights Cloud Connector

Per utilizzare questo metodo, il fabric ACI deve essere connesso e richiesto su Intersight tramite l'app APIC: Nexus Insights Cloud Connector.

1. Selezionare: APIC > Apps > Installed Apps > open NICC app > TAC Assist > fare clic su "Begin"
2. Selezionare i nodi, quindi fare clic su "Raccogli log"
3. Quando lo stato del job è "COMPLETE", fare clic su "View Details" (Visualizza dettagli).
4. Nella pagina "Dettagli job", sotto la tabella Log, è possibile trovare la colonna "Cloud". 
5. Fare clic su "Upload" (Carica) - per ciascun pacchetto di supporto tecnico del dispositivo

Trigger e caricamento su Intersight tramite ND - Nexus Dashboard Insights

Per utilizzare questo metodo, il fabric ACI deve essere connesso e richiesto su Intersight tramite Nexus Dashboard: Nexus Dashboard Insights.

1. Selezionare: Nexus Dashboard > Admin Console > Servizi > Apri "Nexus Dashboard Insights" > Risoluzione dei problemi > Log Collector
2. Fare clic su "New Log Collection" (Nuova raccolta log).
   1. Assegnare un nome alla raccolta di log.
   2. Selezionare un sito. 
   3. Selezionare la casella di controllo "Caricamento automatico file di registro"
   4. Fare clic su "Select Nodes" (Seleziona nodi) e selezionare i nodi
   5. Fare clic su "Avvia raccolta"
   6. I file di TechSupport vengono caricati su intersight.com  
3. Una volta completato il caricamento, notificare a TAC che i file vengono caricati su intersight. 
4. Il tecnico TAC sarebbe in grado di spostare i file dall'intervista al caso TAC per analizzarli. 

Attivazione dall'interfaccia utente dell'APIC

Creazione di una policy di supporto tecnico su richiesta

Nota: non specificare un intervallo di tempo di TechSupport a meno che non sia esplicitamente richiesto da TAC. Se si verifica una variazione eccessiva del log, è possibile che si verifichi una perdita di log. Ciò incide gravemente sulla capacità di TAC di fornire un RCA tempestivo. Se viene fornito un Intervallo di tempo di Techsupport, i registri vengono tagliati in base all'indicatore orario dell'"ultima modifica del file" e NON in base all'indicatore orario all'interno del file di registro stesso.

1. Nella barra dei menu, fare clic su Admin > Import/Export > Export Policies > Right-click On-demand TechSupport > Create On-demand TechSupport
2. Compilare i campi della finestra di dialogo Create On-demand TechSupport (Crea file di supporto tecnico su richiesta) con le informazioni necessarie.
   • Se un percorso remoto non è disponibile, fare clic su Export to Controller (Esporta nel controller). Una volta generati, i supporti tecnologici generati possono essere scaricati dalla scheda Operational della GUI.
   • Selezionare Include All Controllers in TechSupport (Includi tutti i controller nei file di supporto tecnico) per generare i file di supporto tecnico degli APIC.
   • Il campo Nodi origine consente di specificare i nodi di switch che generano un supporto tecnico.
3. Fare clic su Submit (Invia) per creare la policy di supporto tecnico su richiesta.

Creazione di un file di supporto tecnico su richiesta

1. Selezionare una policy di supporto tecnico su richiesta esistente. I criteri creati sono disponibili all'indirizzo: Admin > Import/Export > Export Policies > On-demand TechSupport > Expand On-demand TechSupport folder > fare clic con il pulsante destro del mouse sul criterio da utilizzare > Collect Tech Support.
   
   • In alternativa, fare clic su On-Demand Techsupport Policy (Policy di supporto tecnico su richiesta) per visualizzarlo nel riquadro principale; quindi fare clic sull'icona Wrench/Hammer (Chiave/Martello) e scegliere Collect Tech Supports (Raccogli supporto tecnico).
2. Scegliere "Sì" per iniziare a raccogliere informazioni sul supporto tecnico.

Raccolta del file di supporto tecnico generato

1. Se l'opzione "Esporta nel controller" non è stata abilitata durante la generazione del supporto tecnico, la destinazione di esportazione (posizione remota) deve essere controllata per tutti i file del supporto tecnico.
2. Se è stata abilitata l'opzione "Esporta in controller", passare ai criteri di supporto tecnico su richiesta in base ai quali sono stati generati i supporti tecnici. Le policy create si trovano in Admin > Import/Export > Export Policies > On-demand TechSupport (Amministrazione > Importa/Esporta > Policy di esportazione > Supporto tecnico su richiesta).
   • I file di supporto tecnico su richiesta vengono inseriti nella scheda Operational (File raccolti) della policy di supporto tecnico su richiesta. Ogni file ha un collegamento per scaricarlo tramite http/https. Ogni nodo dispone di tre collegamenti, uno collegato a ciascun file.

Nota: se la versione è precedente alla 2.2, è necessario utilizzare l'account utente "admin" locale per scaricare Techsupported tramite l'interfaccia utente. In alternativa, usare un altro account locale con privilegi di amministratore. Gli utenti remoti non sono in grado di scaricare il supporto tecnico tramite l'interfaccia utente. Al contrario, devono utilizzare sftp o un altro metodo per estrarre i file di supporto tecnico dalla directory "/data/techsupport/" degli APIC corrispondenti.

Nota: il numero nell'URL del bundle di supporto tecnico indica l'APIC su cui si trova il file. Ad esempio, "files/2/techsupport.tgz" indica che questo bundle specifico si trova nella directory "/data/techsupport/" di APIC 2.

Informazioni sui file di supporto tecnico su richiesta

Se i file di supporto tecnico sono generati con l'opzione Export to Controller (Esporta nel controller), sull'interfaccia grafica vengono visualizzati tre URL per nodo ACI (nodo APIC o nodo switch). Ogni URL rappresenta un file di log di tipo diverso e contiene informazioni univoche. Il team TAC in genere chiede che vengano caricati tutti e tre i file per singolo nodo per avere dettagli esaustivi ed effettuare un'analisi approfondita.

Ogni URL è associato a uno dei tre tipi di file:

Categoria	Suffisso tipico	Utile per:	Dimensioni file
Esporta	_1of3.tgz	Log di audit/errori	Medio-piccole
Log	_logs_3of3.tgz	Log di processo	Molto elevate
DB	_db_2of3.tgz	Dump MO	Piccole

Nota: se è stata selezionata una destinazione di esportazione anziché Esporta in controller, la posizione remota definita crea una cartella contenente i tre file per nodo.

Se si verifica un problema durante il download del file di supporto tecnico dal link del browser, scaricare i file direttamente dall'archivio APIC usando un client scp o sftp come WinSCP o FileZilla.

1. Connettersi (sftp) a ciascun APIC. I file del supporto tecnico raccolti vengono memorizzati su tutti gli APIC disponibili, quindi è importante controllare ogni APIC per individuare i file del supporto tecnico raccolti.

2. Passare alla cartella /data/techsupport dell'APIC connesso (ripetere questo passaggio per tutti i controller APIC).

Cercare i file il cui nome corrisponde al nome della policy di supporto tecnico su richiesta, nell'esempio "ABCTECH", e scaricare i file sul computer.

Supporto tecnico locale

I file di supporto tecnico su richiesta sono sempre preferibili ai file di supporto tecnico locale, in quanto restituiscono un quadro più dettagliato del problema. Tuttavia, il cluster APIC deve essere completamente integrato in quanto la raccolta è attivata dalla policy.

Tenere presente che la raccolta di informazioni locale deve essere attivata su ciascun singolo nodo, quindi se la raccolta riguarda tutti gli APIC, il comando cmd deve essere eseguito su ciascun singolo APIC del cluster.

Scenari per la raccolta di informazioni per il supporto tecnico locale

• APIC non è completamente integrato
• Lo switch ACI non è stato ancora rilevato dall'APIC
• Lo switch ACI ha perso la comunicazione con l'APIC
• Errore del processo interno che impedisce la raccolta di informazioni per il supporto tecnico su richiesta (raro)

Attivazione dalla CLI dall'APIC

1. Aprire una sessione SSH sull'APIC usando le credenziali admin.
   • Se non è possibile utilizzare le credenziali admin per accedere, usare il nome utente "rescue-user". Usare la password dell'utente locale "admin".
2. Eseguire il comando bash -c "techsupport local"

   Using username "admin".
   Application Policy Infrastructure Controller
   
   apic1# bash -c "techsupport local"
   This command is being deprecated on APIC controller, please use NXOS-style equivalent command
   Running bash commands
   Completed 1 of 10 commands
   ...
   Completed 10 of 10 commands
   Starting data compression
   Techsupport collected at /data/techsupport/local_apic1_2018-05-29T08-17.tgz . Please remove the file once done.
   

3. Scaricare il file di supporto tecnico locale.
   
   • Opzione A: Scaricare il file di supporto tecnico utilizzando SCP:
     • WinSCP o pscp.exe (utenti Windows)
     • client SCP nativo (utenti MAC)
   • Opzione B: Scaricare il file del supporto tecnico utilizzando HTTPS:
     1. Aprire un browser, Chrome o Firefox.
     2. Passare a: https://<aci.apic.ip.addr>/files/<apic#>/techsupport/<ts_filename>
        • Esempio: https://a.p.i.c/files/1/techsupport/local_apic1_2018-05-29T08-17.tgz
     3. usando le credenziali admin.
     4. Se richiesto, selezionare Save File (Salva file) sul prompt di download del browser.

Attivazione dalla CLI dello switch

1. Aprire una sessione SSH sullo switch ACI con le credenziali admin.
   • Se lo switch non è ancora stato rilevato dall'APIC, usare il nome utente "admin".
2. Eseguire il comando "techsupport local".

fab5-leaf1# techsupport local
Running bash commands
Completed 1 of 9 commands
...
Completed 9 of 9 commands
Starting data compression
Techsupport collected at /data/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz . Please remove the file once done

3. Scaricare il file di supporto tecnico locale.

• Opzione A: Scaricare il file del supporto tecnico dallo switch ACI utilizzando SCP:
  • WinSCP o pscp.exe (utenti Windows)
  • client SCP nativo (utenti MAC)
• Opzione B: Scaricare il file del supporto tecnico utilizzando HTTPS tramite APIC:
  
  1. Accedere alla CLI di un APIC (l'APIC del passaggio 4).
  2. Trasferire il file di supporto tecnico dallo switch ACI all'APIC con il seguente comando:
     • scp <nome-nodo>:/data/techsupport/<nome_file_ts> /data/techsupport
     • Esempio: apic1# scp fab5-leaf1:/data/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz /data/techsupport
  3. Aprire un browser, Chrome o Firefox.
  4. Passare a: https://<aci.apic.ip.addr>/files/<apic#>/techsupport/<ts_filename>
     • Esempio: https://a.p.i.c/files/1/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz
  5. usando le credenziali admin.
  6. Se richiesto, selezionare Save File (Salva file) sul prompt di download del browser.

File di supporto tecnico in CIMC

Attivazione dall'interfaccia utente di CIMC

È possibile raccogliere un supporto tecnico da CIMC APIC per esaminare i registri relativi allo chassis APIC. Un programma CIMC può essere acquisito localmente o inviato a una postazione remota dalla sezione Utilità della scheda Amministrazione CIMC. 

Attivazione tramite CLI CIMC

Nella CLI dell'APIC CIMC, immettere:

~ # scope cimc
~ /cimc # scope tech-support
~ /cimc/tech-support # set tftp-ip 192.168.1.1
~ /cimc/tech-support *# set path \techsupport\showtech
~ /cimc/tech-support *# commit
~ /cimc/tech-support *# start 

Analisi del supporto tecnico CIMC

Ecco una descrizione di alcuni dei principali campi del comando show tech.

File Techsup/Percorso	Descrizione
var/	Contiene registri dettagliati e lo stato di tutti i servizi monitorati. Contiene inoltre i file di informazioni sui servizi, come la configurazione degli allarmi dei sensori SOL e IPMI.
var/log	Contiene i messaggi di registro volatili in sequenza
obfl/	Contiene i messaggi di registro non volatile in sequenza
soddisfatto/	Configurazione non volatile e SEL
mp/	I file di testo show tech-support, insieme ai file di testo del BIOS tech-support. I file di testo contengono tutte le informazioni sullo stato di processo, rete, sistema, scheda mezzanino e BIOS.
mctool	Ottiene informazioni di base sullo stato del CIMC
rete	Ottiene informazioni sulla configurazione di rete e sul socket correnti
obfl	Ottiene un obfl in tempo reale (log degli errori onboarding)
messaggi	Ottiene il file live /var/log/messages
allarmi	Elenca i sensori negli stati di allarme
sensori	Letture del sensore di corrente da IPMI
potenza	Stato di alimentazione corrente di x86

Verifiche estese, eventi, errori (TacOutput)

Il team TAC può chiedere ulteriori output base come errori, eventi e verifiche in genere necessari per eseguire l'analisi delle cause profonde, o RCA (Root Cause Analysis).

Al momento, il comando show techs include già alcuni di questi dati, ma solo per gli ultimi 10.000 record. In alcuni casi, la funzione TAC richiede la serie completa di record, ovvero oltre 10.000 record.

Nota: a partire dalla versione 5.2(1g), è possibile usare il comando CLI 'trigger taoutput' dell'APIC per raccogliere questi oggetti aggiuntivi. Nelle versioni precedenti alla 5.3(x) e alla 6.0(3d), tuttavia, lo script incorporato potrebbe non riuscire a raccogliere tutte le pagine di record.  In questo caso si consiglia di utilizzare la versione più aggiornata dello script all'interno del repository aci-tac-scripts descritto nella sezione successiva.

Trigger tramite "trigger output" - 5.3/6.0(3d) e versioni successive

Per ACI Fabric con versione 5.3/6.0(3d) e successive, l'output del trigger fornisce un'interfaccia di raccolta semplificata per eventi, errori, audit e altri output per la risoluzione dei problemi):

apic1# trigger tacoutput
Select corresponding numbers of objects to collect. Separate numbers with commas. *Note, topSystem, fabricNode, and firmwareARunning are automatically included.
Ex: 1,2,3,4,5
1. faultInfo *collected unfiltered
2. faultRecord
3. eventRecord
4. aaaModLR *collected unfiltered
5. polDeploymentRecord
6. epRecord
7. healthRecord
8. healthInst *collected unfiltered
Enter selections: 1,2,3,4,5,6,7,8
Enter record start date (format: 2019-12-15T00:00:00) *default is one month prior to current date: 
Enter record end date (format: 2019-12-15T00:00:00) *default is current date: 

... collection runs...

2021-12-17T08:19:59 TacOutput collection completed.
2021-12-17T08:19:59 Verify files and file sizes at /tmp/TacOutput2021-12-17T08-16-19
2021-12-17T08:19:59 Compressing files...
2021-12-17T08:20:01 Compression completed
Logs available for SCP or SFTP download from /data/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz
To download through your web browser go to https://<apic address>/files/1/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz
Note: in the URL above 1 denotes the APIC ID 1, if script was run on APIC-n, then n must be specified in the URL (n = APIC-ID).

To remove files when done run
rm -rf /tmp/TacOutput2021-12-17T08-16-19
rm -f /data/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz

Attiva tramite script Collect TacOutputs

Per i fabric ACI con versione precedente alla 5.3/6.0(3d), è disponibile uno script Collect TacOutput nel repository aci-tac-scripts che serve un'interfaccia simile al comando trigger tacoutput:

apic# /tmp/collectTacOutputs.sh
Select corresponding numbers of objects to collect. Separate numbers with commas. *Note, topSystem, fabricNode, and firmwareARunning are automatically included.
Ex: 1,2,3,4,5
1. faultInfo *collected unfiltered
2. faultRecord
3. eventRecord
4. aaaModLR
5. polDeploymentRecord
6. epRecord
7. healthRecord
8. healthInst *collected unfiltered
Enter selections: 1,2,3,4,5,6,7,8
Enter record start date (format: 2019-12-15T00:00:00) *default is one month prior to current date: 2019-12-25T00:00:00
Enter record end date (format: 2019-12-15T00:00:00) *default is current date: 2020-01-05T00:00:00

...script collection runs...

Compression completed
Logs available for SCP or SFTP download from /data/techsupport/TacOutput-2019-12-25T00:00:00-to-2020-01-05T00:00:00.tgz
To download through your web browser go to https:///files/1/techsupport/TacOutput-2019-12-25T00:00:00-to-2020-01-05T00:00:00.tgz

File degli arresti anomali/core

Raccolta dall'interfaccia utente dell'APIC

Sullo switch ACI e sull'APIC sono disponibili numerosi processi che permettono di controllare i vari aspetti funzionali del sistema. Se il sistema presenta un errore software in un determinato processo, viene generato un file core e il processo viene ricaricato. Quando un processo si arresta in modo anomalo e viene generato un file core, viene generato anche un errore e un evento. In caso di arresto anomalo del processo sullo switch/APIC, il file core viene compresso e copiato nell'APIC.

L'interfaccia utente grafica APIC offre una posizione centrale per la raccolta dei file di base per i nodi della struttura.

È possibile creare un nuovo criterio di esportazione da Admin > IMPORT/EXPORT in Criteri di esportazione > Core.

Esiste una regola di base predefinita in base alla quale i file possono essere scaricati direttamente. Tutti i file di base generati tentano il trasferimento al controller APIC quando vengono generati. Se l'operazione ha esito positivo, è possibile trovarle nei criteri di base predefiniti.

Log di audit autonomo

Raccolta dall'interfaccia utente di NDO/MSO

I registri di controllo MSC possono essere scaricati in formato JSON su CSV