Leitfaden zur Erfassung des technischen Supports der ACI und der vom TAC angeforderten Ausgaben

Einleitung

In diesem Dokument werden die verschiedenen Protokolle und Ausgaben beschrieben, die zur Fehlerbehebung beim Arbeiten mit dem TAC für die ACI erforderlich sind.

Hintergrundinformationen

Tabelle 1 enthält eine Kurzreferenz zu den Daten, die vor dem Öffnen eines TAC-Tickets erfasst werden müssen.

Tabelle 1: Technologie-Sammelmatrix für Protokolle/Anzeigen

Probleme	Was gesammelt werden muss	Hinweise
Upgrade-Probleme	On-Demand-Techsupport von Knoten mit Upgrade-Problem On-Demand-Techsupport von allen APICs Zusätzliche Fehler, Ereignisse, Audits über TacOutput	Wenn APICs abweichen und die On-Demand-Erfassung von Techsupport fehlschlägt, erfassen Sie „Techsupport Local“.
Beliebiges Verbindungsproblem	On-Demand-Techsupport vom Quellknoten (mit dem der Quell-Endpunkt verbunden ist) On-Demand-Techsupport vom Zielknoten (mit dem der Ziel-Endpunkt verbunden ist) Zusätzliche Fehler, Ereignisse, Audits über TacOutput
Vollständiger Konnektivitätsverlust	On-Demand-Techsupport von Leafs (Quelle und Ziel) On-Demand-Techsupport von Spines On-Demand-Techsupport von APICs Zusätzliche Fehler, Ereignisse, Audits über TacOutput	Bei anhaltenden Ausfällen sollten Sie das TAC für Live-Debugging kontaktieren. Wenn Knoten aus irgendeinem Grund neu gestartet werden sollen, sammeln Sie Protokolle vor dem Neustart, wenn eine RCA angefordert werden soll.
Clustering-Probleme	On-Demand-Techsupport von allen APICs Zusätzliche Fehler, Ereignisse, Audits über TacOutput	Wenn APICs abweichen und die On-Demand-Erfassung von Techsupport fehlschlägt, erfassen Sie „Techsupport Local“.
Routing-Probleme	On-Demand-Techsupport von Knoten mit Routing-Problem Zusätzliche Fehler, Ereignisse, Audits über TacOutput
Knotenabsturz/unerwarteter Neustart	On-Demand-Techsupport von abgestürzten Knoten Absturz-/Core-Dateien von abgestürzten Knoten Zusätzliche Fehler, Ereignisse, Audits über TacOutput
APIC-APP-Problem	On-Demand-Techsupport von allen APICs APIC-APP-Techsupport für betroffene App

ACI-APIC und Switch

On-Demand-Techsupport

Hinweis: Wenn Ihre ACI-Fabric über Intersight verbunden ist und angefordert wird, erfolgt die Generierung des technischen Supports und der Upload der Seriennummer, die während des offenen Tickets angegeben wurde, an den TAC-Serviceticket. Der TAC-Techniker in diesem Serviceticket kann dann die Generierung und den Upload von zusätzlichen TechSupport-Services für alle anderen verbundenen Geräte über Intersight auslösen.

Trigger und Upload zu Intersight über APIC - Nexus Insights Cloud Connector-Anwendung

Um diese Methode verwenden zu können, muss Ihre ACI-Fabric verbunden und bei Intersight über die APIC: Nexus Insights Cloud Connector-App angefordert werden.

1. Navigieren Sie zu: APIC > Apps > Installed Apps > öffnen Sie die NICC-App > TAC Assist > klicken Sie auf "Begin" (Starten).
2. Wählen Sie die Knoten aus, und klicken Sie dann auf "Collect Logs" (Protokolle sammeln).
3. Wenn der Auftragsstatus "COMPLETE" lautet, klicken Sie auf "Details anzeigen".
4. Auf der Seite "Job-Details" unter der Tabelle "Protokolle" finden Sie die Spalte "Cloud". 
5. Klicken Sie auf "Hochladen", um die TechSupport-Pakete der einzelnen Geräte anzuzeigen.

Trigger und Upload zu Intersight über ND - Nexus Dashboard-Informationen

Um diese Methode verwenden zu können, muss Ihre ACI-Fabric über das Nexus Dashboard: Nexus Dashboard Insights (Einblicke in das Nexus Dashboard) mit Intersight verbunden und in Anspruch genommen werden.

1. Navigieren Sie zu: Nexus Dashboard > Admin Console > Services > "Nexus Dashboard Insights" > Troubleshoot > Log Collector öffnen
2. Klicken Sie auf "Neue Protokollsammlung".
   1. Geben Sie einen Namen für die Protokollsammlung ein.
   2. Wählen Sie einen Standort aus. 
   3. Aktivieren Sie das Kontrollkästchen für "Protokolldateien automatisch hochladen".
   4. Klicken Sie auf "Knoten auswählen" und wählen Sie den/die Knoten aus.
   5. Klicken Sie auf "Sammlung starten"
   6. TechSupport-Dateien werden hochgeladen unter intersight.com  
3. Sobald der Upload abgeschlossen ist, benachrichtigen Sie das TAC, dass die Dateien in Intersight hochgeladen wurden. 
4. Der TAC-Techniker kann die Dateien zur Analyse von der Abfrage auf den TAC-Fall übertragen. 

Auslöser über APIC-UI

Erstellen einer On-Demand-Techsupport-Richtlinie

Hinweis: Geben Sie nur dann einen TechSupport-Zeitraum an, wenn Sie vom TAC ausdrücklich dazu aufgefordert werden. Wenn es zu einer übermäßigen Protokollabwanderung kommt, kann dies zu einem Protokollverlust führen. Dies hat gravierende Auswirkungen auf die Fähigkeit des TAC, eine rechtzeitige RCA bereitzustellen. Wenn ein TechSupport-Zeitbereich bereitgestellt wird, werden Protokolle basierend auf dem Zeitstempel der letzten Dateiänderung und NICHT basierend auf den Zeitstempeln in der Protokolldatei selbst getrimmt.

1. Klicken Sie in der Menüleiste auf Admin > Import/Export > Export Policies > Right-click On-Demand TechSupport > Create On-Demand TechSupport
2. Geben Sie die entsprechenden Werte in die Felder des Dialogfelds Create On-demand TechSupport ein.
   • Wenn kein Remote-Standort verfügbar ist, aktivieren Sie die Option Export to Controller (Auf Controller exportieren). Generierte TechSupports können nach der Generierung über die Registerkarte Operational (Betrieb) der GUI heruntergeladen werden.
   • Aktivieren Sie das Kontrollkästchen Include All Controllers in TechSupport (Alle Controller in TechSupport einschließen), um APIC-Techsupports zu generieren.
   • Im Feld "Source Nodes" (Quellknoten) können Sie Switch-Knoten angeben, die einen TechSupport generieren.
3. Klicken Sie auf Submit (Senden), um die On-Demand-Techsupport-Richtlinie zu erstellen.

Generieren eines On-Demand-Techsupports

1. Navigieren Sie zu einer vorhandenen On-Demand-Techsupport-Richtlinie. Erstellte Richtlinien finden Sie unter: Admin > Import/Export > Export Policies > On-Demand TechSupport > Expand On-Demand TechSupport folder > Klick mit der rechten Maustaste auf die zu verwendende Richtlinie > Collect Tech Support.
   
   • Oder klicken Sie mit der linken Maustaste auf die On-Demand TechSupport Policy, um sie im Hauptfenster aufzurufen. Klicken Sie dann auf das Schraubenschlüssel-/Hammersymbol, und wählen Sie Collect Tech Supports (Technische Unterstützung sammeln).
2. Wählen Sie "Yes" (Ja) aus, um Informationen zum technischen Support zu sammeln.

Generierten Techsupport erfassen

1. Wenn "Export to Controller" während der Techsupport-Generierung nicht aktiviert war, sollte das Exportziel (Remote-Speicherort) auf alle Techsupport-Dateien überprüft werden.
2. Wenn "Export to Controller" (In Controller exportieren) aktiviert war, navigieren Sie zu der On-Demand TechSupport Policy, für die die Support-Services generiert wurden. Erstellte Richtlinien finden Sie unter Admin > Import/Export > Export Policies > On-demand TechSupport.
   • Die generierten Techsupports finden Sie auf der Registerkarte Operational (Betrieb) dieser On-Demand-Techsupport-Richtlinie. Jede Datei hat einen Link, um sie über http/https herunterzuladen. Jeder Knoten verfügt über drei Links, von denen eine mit jeder Datei verknüpft ist.

Hinweis: Wenn die Version älter als 2.2 ist, müssen Sie das lokale Benutzerkonto "admin" verwenden, um TechSupports über die Benutzeroberfläche herunterzuladen. Andernfalls können Sie jedes beliebige lokale Konto mit Administratorrechten verwenden. Remote-Benutzer können keine technischenSupport-Dokumente über die Benutzeroberfläche herunterladen. Stattdessen sollten sie sftp oder eine andere Methode verwenden, um die Dateien für den technischen Support aus dem Verzeichnis "/data/techsupport/" der entsprechenden APICs abzurufen.

Hinweis: Die Zahl in der URL des Techsupport-Bundle zeigt an, auf welchem APIC sich die Datei befindet. Beispiel: "files/2/techsupport.tgz" gibt an, dass dieses spezielle Paket im Verzeichnis "/data/techSupport/" von APIC 2 zu finden ist.

Erläuterung zu On-Demand-Techsupport-Dateien

Wenn die Techsupports mit der Option Export to Controller generiert wurden, zeigt die GUI drei URLs pro ACI-Knoten (APIC-Knoten oder Switch-Knoten) an. Jede URL ist ein anderer Protokolldateityp und enthält eindeutige Informationen. TAC erfordert in der Regel, dass alle drei Dateien pro Knoten hochgeladen werden, um die gesamte Protokollierung für eine vollständige Analyse zu erhalten.

Jede URL ist einem der folgenden drei Dateitypen zugeordnet:

Kategorie	Typisches Suffix	Nützlich für:	Dateigröße
Export	_1of3.tgz	Audit-/Fehlerprotokolle	Klein – mittelgroß
Protokolle	_logs_3of3.tgz	Prozessprotokolle	Größtes
DB	_db_2of3.tgz	MO-Dump	Klein

Hinweis: Wenn anstelle von Export to Controller (Nach Controller exportieren) ein Exportziel ausgewählt wurde, erstellt der definierte Remotestandort einen Ordner, der die drei Dateien pro Knoten enthält.

Wenn beim Herunterladen des Techsupports über den Browser-Link ein Problem auftritt, laden Sie die Dateien direkt mit einem SCP- oder SFTP-Client wie WinSCP oder FileZilla aus dem APIC-Speicher herunter.

1. Verbinden Sie (SFTP) mit jedem APIC. Die erfassten Dateien für den technischen Support werden in allen verfügbaren APICs gespeichert. Daher ist es wichtig, jeden APIC auf die erfassten Dateien für den technischen Support zu überprüfen.

2. Navigieren Sie zum Ordner /data/techSupport im angeschlossenen APIC (wiederholen Sie diesen Schritt in allen APIC-Controllern).

Suchen Sie nach Dateien, deren Name den On-Demand-TechSupport-Richtliniennamen enthält (in diesem Beispiel „ABCTECH“), und laden Sie diese Dateien auf Ihren Computer herunter.

Lokaler Techsupport

Ein On-Demand-Techsupport wird immer einem „Techsupport Local“ vorgezogen, da ein On-Demand-Techsupport ein vollständigeres Bild liefert. Er ist jedoch auf ein vollständig angepasstes APIC-Cluster angewiesen, da die Erfassung über eine Richtlinie ausgelöst wird.

Beachten Sie, dass ein „Techsupport Local“ auf jedem einzelnen Knoten ausgelöst werden muss. Wenn Sie also „Techsupport Local“ für alle APICs erfassen möchten, muss der Befehl auf jedem APIC im Cluster separat ausgeführt werden.

Techsupport Local-Szenarien

• APIC ist nicht vollständig angepasst
• Der ACI-Switch wird vom APIC noch nicht erkannt
• Der ACI-Switch hat die Kommunikation mit dem APIC verloren
• Interne Prozessfehlfunktion verhindert On-Demand-Techsupport-Betrieb (selten)

Auslöser über APIC-CLI

1. Öffnen Sie eine SSH-Sitzung mit dem APIC mit Administratoranmeldeinformationen.
   • Wenn Sie sich nicht mit Administratorinformationen anmelden können, verwenden Sie den Benutzernamen „rescue-user“. Das Kennwort sollte mit dem des lokalen „admin“-Benutzers identisch sein.
2. Führen Sie den Befehl bash -c "techsupport local" aus.

   Using username "admin".
   Application Policy Infrastructure Controller
   
   apic1# bash -c "techsupport local"
   This command is being deprecated on APIC controller, please use NXOS-style equivalent command
   Running bash commands
   Completed 1 of 10 commands
   ...
   Completed 10 of 10 commands
   Starting data compression
   Techsupport collected at /data/techsupport/local_apic1_2018-05-29T08-17.tgz . Please remove the file once done.
   

3. Laden Sie den lokalen TechSupport herunter.
   
   • Option A: Laden Sie die Datei für den technischen Support über SCP herunter:
     • WinSCP oder pscp.exe (Windows-Benutzer)
     • Nativer SCP-Client (MAC-Benutzer)
   • Option B: Laden Sie die Datei für den technischen Support über HTTPS herunter:
     1. Öffnen Sie einen Browser wie Chrome oder Firefox.
     2. Navigieren Sie zu: https://<aci.apic.ip.addr>/files/<apic#>/techsupport/<ts_filename>
        • Beispiel: https://a.p.i.c/files/1/techsupport/local_apic1_2018-05-29T08-17.tgz
     3. Melden Sie sich mit Administratorinformationen an.
     4. Wenn Sie dazu aufgefordert werden, wählen Sie in der Browser-Download-Aufforderung Save File (Datei speichern) aus.

Auslöser über Switch-CLI

1. Öffnen Sie eine SSH-Sitzung mit dem ACI-Switch mit Administratoranmeldeinformationen.
   • Wenn der Switch vom APIC noch nicht erkannt wird, verwenden Sie den Benutzernamen „admin“.
2. Führen Sie den Befehl "techsupport local" aus.

fab5-leaf1# techsupport local
Running bash commands
Completed 1 of 9 commands
...
Completed 9 of 9 commands
Starting data compression
Techsupport collected at /data/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz . Please remove the file once done

3. Laden Sie den lokalen technischen Support herunter.

• Option A: Laden Sie die Datei für den technischen Support über SCP vom ACI-Switch herunter:
  • WinSCP oder pscp.exe (Windows-Benutzer)
  • Nativer SCP-Client (MAC-Benutzer)
• Option B: Laden Sie die Datei für den technischen Support über HTTPS und den APIC herunter:
  
  1. Melden Sie sich bei einer APIC-CLI an (beachten Sie, welcher APIC für Schritt 4 verwendet wird).
  2. Übertragen Sie die Techsupport-Datei mit dem folgenden Befehl vom ACI-Switch zum APIC:
     • scp <Knotenname>:/data/techsupport/<ts_Dateiname> /data/techsupport
     • Beispiel: apic1# scp fab5-leaf1:/data/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz /data/techSupport
  3. Öffnen Sie einen Browser wie Chrome oder Firefox.
  4. Navigieren Sie zu: https://<aci.apic.ip.addr>/files/<apic#>/techsupport/<ts_filename>
     • Beispiel: https://a.p.i.c/files/1/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz
  5. Melden Sie sich mit Administratorinformationen an.
  6. Wenn Sie dazu aufgefordert werden, wählen Sie in der Browser-Download-Aufforderung Save File (Datei speichern) aus.

CIMC-Techsupport

Auslöser über CIMC-UI

Der technische Support des APIC CIMC kann genutzt werden, um Protokolle des APIC-Chassis zu überprüfen. Ein CIMC-Show-Tech kann lokal erfasst oder über den Abschnitt "Dienstprogramme" der Registerkarte "CIMC-Verwaltung" an einen Remote-Standort gesendet werden. 

Trigger über CIMC CLI

Geben Sie in der APIC CIMC-CLI Folgendes ein:

~ # scope cimc
~ /cimc # scope tech-support
~ /cimc/tech-support # set tftp-ip 192.168.1.1
~ /cimc/tech-support *# set path \techsupport\showtech
~ /cimc/tech-support *# commit
~ /cimc/tech-support *# start 

Analysieren von CIMC-TechSupports

Einige der Schlüsselfelder im Befehl „show tech“ sind unten aufgeführt.

TechSup-Datei/Speicherort	Beschreibung
var/	Enthält detaillierte Protokolle und den Status aller überwachten Dienste. sowie Serviceinformationsdateien wie die Konfiguration von SOL- und IPMI-Sensoralarmen.
var/log	Enthält die fortlaufenden flüchtigen Protokollmeldungen.
obfl/	Enthält die fortlaufenden, nicht flüchtigen Protokollmeldungen
erfüllt/	Nichtflüchtige Konfiguration und SEL
MP/	Die Textdateien für den technischen Support werden zusammen mit den Textdateien für den technischen BIOS-Support angezeigt. Die Textdateien enthalten alle Prozess-, Netzwerk-, System-, Mezzanine- und BIOS-Statusinformationen.
Mikrowerkzeug	Ruft grundlegende Informationen zum Status des CIMC ab.
Netzwerk	Ruft aktuelle Netzwerkkonfiguration und Socket-Informationen ab
obfl	Ruft Live-OBFL ab (On-Board Failure Logs)
Nachrichten	Ruft die Datei "live /var/log/messages" ab
Alarme	Sensoren in Alarmzuständen anzeigen
Sensoren	Aktuelle Sensormessungen von IPMI
leistung	Aktueller Leistungsstatus des x86

Erweiterte Audits, Ereignisse, Fehler und mehr (TacOutput)

TAC kann zusätzliche grundlegende Ausgaben wie Fehler, Ereignisse und Audits anfordern, die im Allgemeinen für RCA erforderlich sind.

Derzeit enthalten die Show Techs eine Teilmenge dieser Objekte, jedoch nur die letzten 10.000 Datensätze. In einigen Fällen benötigt das TAC den vollständigen Datensatz, der weit über 10.000 Datensätze hinausgeht.

Hinweis: Ab Version 5.2(1g) können Sie diese zusätzlichen Objekte mit dem CLI-Befehl "trigger tacoutput" des APIC erfassen. In Versionen vor 5.3(x) und 6.0(3d) kann es jedoch vorkommen, dass das integrierte Skript nicht alle Seiten von Datensätzen erfasst.  In diesem Fall wird empfohlen, die aktuellste Version des Skripts innerhalb des aci-tac-scripts-Repositorys zu verwenden, das im nächsten Abschnitt beschrieben wird.

Trigger über "Trigger tacoutput" - Version 5.3/6.0(3d) und höher

Bei ACI-Fabrics mit Version 5.3/6.0(3d) und höheren Versionen bietet die Trigger-Tacoutput eine vereinfachte Erfassungsschnittstelle für Ereignisse, Fehler, Audits und andere Fehlerbehebungsausgaben.)

apic1# trigger tacoutput
Select corresponding numbers of objects to collect. Separate numbers with commas. *Note, topSystem, fabricNode, and firmwareARunning are automatically included.
Ex: 1,2,3,4,5
1. faultInfo *collected unfiltered
2. faultRecord
3. eventRecord
4. aaaModLR *collected unfiltered
5. polDeploymentRecord
6. epRecord
7. healthRecord
8. healthInst *collected unfiltered
Enter selections: 1,2,3,4,5,6,7,8
Enter record start date (format: 2019-12-15T00:00:00) *default is one month prior to current date: 
Enter record end date (format: 2019-12-15T00:00:00) *default is current date: 

... collection runs...

2021-12-17T08:19:59 TacOutput collection completed.
2021-12-17T08:19:59 Verify files and file sizes at /tmp/TacOutput2021-12-17T08-16-19
2021-12-17T08:19:59 Compressing files...
2021-12-17T08:20:01 Compression completed
Logs available for SCP or SFTP download from /data/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz
To download through your web browser go to https://<apic address>/files/1/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz
Note: in the URL above 1 denotes the APIC ID 1, if script was run on APIC-n, then n must be specified in the URL (n = APIC-ID).

To remove files when done run
rm -rf /tmp/TacOutput2021-12-17T08-16-19
rm -f /data/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz

Trigger über Collect TacOutputs-Skript

Für ACI-Fabrics mit älteren Versionen als 5.3/6.0(3d) ist ein Collect TacOutput-Skript im aci-tac-scripts-Repository verfügbar, das eine ähnliche Schnittstelle wie der trigger tacoutput-Befehl verwendet:

apic# /tmp/collectTacOutputs.sh
Select corresponding numbers of objects to collect. Separate numbers with commas. *Note, topSystem, fabricNode, and firmwareARunning are automatically included.
Ex: 1,2,3,4,5
1. faultInfo *collected unfiltered
2. faultRecord
3. eventRecord
4. aaaModLR
5. polDeploymentRecord
6. epRecord
7. healthRecord
8. healthInst *collected unfiltered
Enter selections: 1,2,3,4,5,6,7,8
Enter record start date (format: 2019-12-15T00:00:00) *default is one month prior to current date: 2019-12-25T00:00:00
Enter record end date (format: 2019-12-15T00:00:00) *default is current date: 2020-01-05T00:00:00

...script collection runs...

Compression completed
Logs available for SCP or SFTP download from /data/techsupport/TacOutput-2019-12-25T00:00:00-to-2020-01-05T00:00:00.tgz
To download through your web browser go to https:///files/1/techsupport/TacOutput-2019-12-25T00:00:00-to-2020-01-05T00:00:00.tgz

Absturz-/Core-Dateien

Erfassung über APIC-UI

Der ACI-Switch-Knoten und der APIC verfügen über zahlreiche Prozesse, die verschiedene funktionale Aspekte des Systems steuern. Wenn im System ein Softwarefehler in einem bestimmten Prozess auftritt, wird eine Core-Datei generiert und der Prozess neu geladen. Wenn ein Prozess abstürzt und eine Core-Datei generiert wird, werden sowohl ein Fehler als auch ein Ereignis generiert. Wenn der Prozess auf dem Switch/APIC abstürzt, wird die Core-Datei komprimiert und auf den APIC kopiert.

Die APIC-GUI stellt einen zentralen Speicherort zum Erfassen der Core-Dateien für die Fabric-Knoten bereit.

Eine neue Exportrichtlinie kann erstellt werden unter Admin > IMPORT/EXPORT in Export Policies > Core.

Es gibt eine standardmäßige Kernrichtlinie, nach der Dateien direkt heruntergeladen werden können. Alle generierten Core-Dateien versuchen nach der Generierung eine Übertragung an den APIC-Controller. Wenn sie erfolgreich sind, finden Sie sie unter der Standard-Core-Richtlinie.

Eigenständige Audit-Protokolle

Erfassung über NDO/MSO-UI

MSC Audit Logs können in JSON auf CSV Format heruntergeladen werden