Einleitung
In diesem Dokument werden verschiedene Möglichkeiten zur Erkennung eines allgemeinen Problems in der Fabric beschrieben.
Voraussetzungen
Anforderungen
- Cisco empfiehlt Kenntnis der ACI
- Grundkenntnisse von bash
Verwendete Komponenten
Dieses Dokument ist nicht auf bestimmte Software- und Hardware-Versionen beschränkt.
Verwendete Geräte:
- Cisco ACI mit Version 4.2(3)
Die Informationen in diesem Dokument beziehen sich auf Geräte in einer speziell eingerichteten Testumgebung. Alle Geräte, die in diesem Dokument benutzt wurden, begannen mit einer gelöschten (Nichterfüllungs) Konfiguration. Wenn Ihr Netzwerk in Betrieb ist, stellen Sie sicher, dass Sie die möglichen Auswirkungen aller Befehle kennen.
Hintergrundinformationen
Tools zum Erfassen der Informationen
- Als Ersatz verwenden: Mit "s/<oldword >/<new wordk>/g"g wird definiert, dass dies mehr als einmal geschieht.
- So greifen Sie von Anfang bis Ende nach Posten: "/<Anfang/,/Ende/p>" verwendet. Kombinieren Sie die Option -n (noprint) mit dem Flag /p print für Duplikate der Funktionalität von grep.
- Sed kann mehr als einmal verwendet werden, indem zum Beispiel ";" verwendet wird: würde : sed"s/<altes Wort >/<neues Wort>/g; s/<altes Wort2 >/<neues Wort2>/g"
- awk -F '<field_separator>' '{print $2}' In diesem speziellen Beispiel teilen Sie die Zeile durch den definierten FIELD_SEPARATOR auf und drucken den zweiten durch Trennzeichen getrennten Block. Beide Syntaxen machen genau das Gleiche.
- awk '{ print $1, $2 }' druckt die ersten beiden Felder jedes Eingabedatensatzes mit einem Leerzeichen dazwischen.
- sort | uniq Meldet die wiederholten Zeilen. Verwenden von -c-Präfixzeilen nach der Anzahl von Vorkommen.
- sort -nrk <Spalte> sortiert die Zeilen am höchsten. -n für eine numerische Sortierung, -k für einen Schlüssel, damit wir die Spalte ändern können, und wenn Sie den niedrigsten Wert definieren möchten, können Sie -r entfernen.
- python -m json.tool Zeigt JSON in einem hübschen Format an.
Liste aller Einzelzeilenbefehle
Rufen Sie nur die Knoten-IDs der LEAFs in der Fabric ab:
- Liste:
APIC#acidiag fnvread | grep leaf | awk '{print $1}'
- In einer Zeile mit Kommas als Trennzeichen:
APIC#acidiag fnvread | grep leaf | awk '{print $1}' | sed -z 's/\n/,/g;s/,$/\n/'
Überprüfen Sie, ob die Schnittstelle zurückgesetzt wurde:
Die Informationen werden an den Schnittstellen mit der höchsten Anzahl an Resets sortiert.
APIC#moquery -c ethpm.PhysIf | egrep "dn|lastLinkStChg|resetCtr" | tr -d "\n" | sed "s/dn/\ndn/g;s/lastLinkStChg/\tlastLinkStChg/g;s/resetCtr/\tresetCtr/g" | sort -nrk 9 | more
langsamere Option
APIC#for leaf in `acidiag fnvread | grep leaf | awk '{print $1}'`; do echo; echo " -> leaf ID: $leaf "; fabric $leaf show interface | sed -n '/net[0-9]\/[0-9]\+ is up/,/Tx pause/p' | egrep "is up|Last link flapped|interface resets" | grep -v Dedicated | tr -d "\n" | sed "s/resets/rests\n/g" | sort -nrk 9 ; done;
Überprüfen Sie die Schnittstelle mit der höchsten Nennleistung:
So finden Sie heraus, wo der meiste Datenverkehr empfangen wird:
Fragen Sie die Fabric nach allen Schnittstellen mit dem Ausgabedurchsatz über einen bestimmten Wert ab (b). Der Wert von m definiert, ob b gb, mb oder kb ist.
Um nach gb zu filtern, setzen Sie m auf 125000000. Um nach mb zu filtern, setzen Sie m auf 125000. Um nach kb zu filtern, setzen Sie m auf 125.
APIC#bash
APIC#b=1; m=125000;b=$((b*m)); printf "%-65s %25s\n", "Node/Interface" "Bits/Second"; icurl 'http://localhost:7777/api/class/eqptEgrTotal5min.json?query-target-filter=gt(eqptEgrTotal5min.bytesRateLast,"'$b'")&order-by=eqptEgrTotal5min.bytesRateLast|desc' 2>/dev/null | python -m json.tool | egrep "dn|bytesRateLast" | sed -e 's/\s\+//g' | tr -d '\n' | sed -e 's/\"bytesRateLast\"/\n\"bytesRateLast\"/g' | sed -r '/^\s*$/d' | awk -F "\"" '{ printf "%-65s %25.2f\n", $8,$4*8}'
APIC#for leaf in `acidiag fnvread | grep leaf | awk '{print $1}'`; do echo; echo " -> leaf ID: $leaf "; fabric $leaf show int | sed -n '/net[0-9]\/[0-9]\+ is up/,/Tx pause/p' | egrep -i '[0-9]+ is up|30 seconds input' | tr -d '\n' | sed 's/packets\/sec/\n/g' | sort -n -r -k 10 ; done;
Alle STP-Topologieänderungen suchen:
- Der Befehl geht in jedes Leaf über und verifiziert, ob kürzlich Topologieänderungen vorgenommen wurden und an welchen Schnittstellen:
APIC#for node in `acidiag fnvread | grep leaf | awk '{print $1}'`; do echo; echo "node ID: $node "; fabric $node show mcp internal info vlan all | grep -A 2 -B 4 "Last TC flush at" | sed -z 's/\n/ /g' | sed 's/--/\n/g;s/ $/\n/' | sort -n -r -k 22 ; done;
- Der Befehl geht in jedes Leaf über und verifiziert die höchste Anzahl von PVRSTP-Änderungen sowie die erkannten Schnittstellen:
APIC#for node in `acidiag fnvread | grep leaf | awk '{print $1}'`; do echo; echo "node ID: $node "; fabric $node show mcp internal info vlan all | grep -A 2 -B 4 "Last TC flush at" | sed -z 's/\n/ /g' | sed 's/--/\n/g;s/ $/\n/' | sort -n -r -k 11 ; done;
Stellen Sie sicher, dass Multicast-RPF-Drops vorhanden sind:
Dies muss für den jeweiligen Leaf gelten, und es wird überprüft, ob alle aktivierten PIM-VRFs RPF-Drops aufweisen:
APIC#for vrf in `show ip mroute summary vrf all | grep 'IP Multicast Routing Table for VR' | awk '{print $7}' | sed 's/"//g' ` ; do echo; echo -e "VRF id: $vrf: \n" ; show ip mroute summary rpf-failed vrf $vrf | egrep "Source count: [1-9][0-9]*|[1-9]\.[0-9]{3}|LEAF|leaf" | sed -n '/Group.*count: [1-9][0-9]*/,/bps [0-9]*/p' | awk '{print $1, $2}' | sed 's/,/ - SRC \/ pckt:\n/g' ; done;
Überprüfen Sie, ob zu viele Pakete "Glean" erhalten:
- Fabric-ARP-Gleans:
APIC#for leaf in `acidiag fnvread | grep leaf | awk '{print $1}'`; do echo; echo " -> leaf ID: $leaf "; fabric $leaf show ip arp internal event-history event | grep glean | grep "Received pkt Fabric-Glean" | awk -F 'log_collect_arp_glean;' '{print $2}' | awk -F 'info =' '{print $1}' | sort | uniq -c ; done;
2. ARP erkennt empfangene Pakete:
APIC#for leaf in `acidiag fnvread | grep leaf | awk '{print $1}'`; do echo; echo " -> leaf ID: $leaf "; fabric $leaf show ip arp internal event-history event | grep "Received glean packet" | awk -F 'log_collect_arp_glean;' '{print $2}' | awk -F 'info =' '{print $1}' | sort | uniq -c ; done;
QoS-Verwerfungsstatistiken:
Überprüfen der empfangenen QoS-Drops für die gesamte Fabric:
APIC#moquery -c qosmIfClass -f 'qosm.IfClass.RxDropPacketsCount!="0"' | egrep "RxDropPacketsCount|dn" | awk '{print $3}' | tr -d "\n" | sed 's/level[0-9]/level\t\n/g'| sed 's/plane/plane\n/g' | awk -F 'topology/' '{print $2}'
Überprüfen Sie, ob die QoS-Übertragung für die gesamte Fabric unterbrochen wurde:
APIC#moquery -c qosmIfClass -f 'qosm.IfClass.TxDropPacketsCount!="0"' | egrep "TxDropPacketsCount|dn" | awk '{print $3}' | tr -d "\n" | sed 's/level[0-9]/level\t\n/g'| sed 's/plane/plane\n/g' | awk -F 'topology/' '{print $2}'
Schnittstellen-Drops:
FCS-Fehler (Non-Stomped CRC-Fehler)
APIC#moquery -c rmonDot3Stats -f 'rmon.Dot3Stats.fCSErrors>="1"' | egrep "dn|fCSErrors"
FCS + Stomped CRC-Fehler
APIC#moquery -c rmonEtherStats -f 'rmon.EtherStats.cRCAlignErrors>="1"' | egrep "dn|cRCAlignErrors"
Ausgangspuffer fällt
APIC#moquery -c rmonEgrCounters -f 'rmon.EgrCounters.bufferdroppkts>="1"' | egrep "dn|bufferdroppkts"
output errors
APIC#moquery -c rmonIfOut -f 'rmon.IfOut.errors>="1"' | egrep "dn|errors"
Alle Schnittstellenzähler löschen
Befehl zum Abrufen einer Liste der Fabric-Knoten
APIC# acidiag fnvread | egrep " active" | egrep "leaf|spine" | awk '{print $1}' | sed -e 'H;${x;s/\n/,/g;s/^,//;p;};d'
101,102,103,204,205,206,301,1001,1002,2001,2002
Befehl zum Löschen der Zähler für die vorherige Liste
APIC# fabric 101,102,103,204,205,206,301,1001,1002,2001,2002 clear counters interface all
BGP-Sitzungsprobleme:
Überprüfung, ob BGP-Sitzungen Probleme mit der Fabric-Basis haben
APIC#moquery -c bgpPeerEntry -f 'bgp.PeerEntry.operSt!="established" and bgp.PeerEntry.dn*"overlay-1"' | egrep "dn|operSt" | tr -d "\n" | sed "s/dn/\ndn/g;s/operSt/\t-\toperSt/g"
Überprüfung aller BGP-Sitzungen
APIC#moquery -c bgpPeerEntry -f 'bgp.PeerEntry.operSt!="established" | egrep "dn|operSt" | tr -d "\n" | sed "s/dn/\ndn/g;s/operSt/\t-\toperSt/g"
OSPF-Sitzungsprobleme:
Ermitteln Sie Sitzungen, die nicht den vollständigen Status aufweisen.
APIC#moquery -c ospfAdjEp -f 'ospf.AdjEp.operSt!="full"' | egrep "dn|peerIp" | tr -d '\n' | sed "s/dn : topology\//\nNode : /g;s/peerIp/\tpeerIp/g;s/ //g" | sed "s/\/sys.*dom-/ VRF: /g;s/\/if-\[/ Interface : /g;s/\]\/adj-/ Adj: /g"
Identifizieren Sie Sitzungen, bei denen ständig Flapping auftritt, und sortieren Sie die Informationen nach der höchsten Zählung:
APIC#moquery -c ospfAdjStats -f 'ospf.AdjStats.stChgCnt!="0"' | egrep "dn|stChgCnt" | tr -d "\n" | tr -d " " | sed "s/dn:topology\//\nNode: /g;s/\/adjstatsstChgCnt:/\tADJ changes: /g;s/\/if-\[/ Interface: /g;s/\]\/adj-/ Adj /g" | sed "s/\/sys.*dom-/ VRF: /g" | sort -nrk 11
Primäre Pakete, die an die CPU gesendet werden
Berücksichtigen Sie: Dieser Befehl debuggt 500 Pakete. Ändern Sie für einen niedrigeren Betrag die Zahl nach -c.
lEAF#tcpdump -i kpm_inb -c 500 > /tmp/cpu-dp.txt
LEAF#cat /tmp/cpu-dp.txt | grep IP | awk '{print $3 , $4 , $5}' | grep -v $HOSTNAME | awk -F ':' '{print $1}' | sort | uniq -c | sort -nrk 1
Direkt, ohne eine brandneue Datei zu erstellen:
LEAF#tcpdump -i kpm_inb -c 500 | grep IP | awk '{print $3 , $4 , $5}' | grep -v $HOSTNAME | awk -F ':' '{print $1}' | sort | uniq -c | sort -nrk 1
Überprüfen Sie die Fabric-weiten Daten von APIC, bei denen eine bestimmte Vertragsbeziehung bereitgestellt wurde.
APIC#moquery -c actrlRule -f 'actrl.Rule.sPcTag=="32783" and actrl.Rule.dPcTag=="46" and actrl.Rule.scopeId=="2818048"'
Überprüfen Sie, wo ein Encap bereits bereitgestellt ist, und rufen Sie die entsprechende Seite ab.
APIC#moquery -c l2CktEp -f 'l2.CktEp.encap=="vlan-3018"'
Speichernutzung aller Knoten in Fabric:
APIC#bash
APIC# clear ; echo -e "Node ID\t\tFree Memory\tUsed Memory" ; moquery -c procSysMemHist15min -f 'proc.SysMemHist15min.index=="1"' | grep dn | awk -F " " '{print $3}' | xargs -n 1 -I {} sh -c 'freeAvg=`moquery -d {} | grep freeAvg | sed -E -e "s/[[:blank:]]+/ /g" | cut -d " " -f3` ; usedAvg=`moquery -d {} | grep usedAvg | sed -E -e "s/[[:blank:]]+/ /g" | cut -d " " -f3` ; totalAvg=`moquery -d {} | grep totalAvg | sed -E -e "s/[[:blank:]]+/ /g" | cut -d " " -f3` ; node=`echo {} | cut -d "/" -f3` ; freeAdj=$(( freeAvg * 100 )) ; usedAdj=$(( usedAvg * 100 )) ; percFree=$(( freeAdj / totalAvg )) ; percUtil=$(( usedAdj / totalAvg )) ; echo -e "$node\tFree% : $percFree\tUsed% : $percUtil"'
Überprüfung der Verwerfungen auf dem Stack (Ausnahmepakete werden analysiert)
Überprüfen von TX-Auslassungen Verwenden Sie den Befehl sort -nk 6 -r :
APIC# cat istack_debug | egrep "Protocol:|x_pkts_dropped" | tr -d "\n" | sed "s/Protocol/\nProtocol/g" | sort -nk 6 -r | more
Vertragsvalidierung
Überprüfen Sie alle Beziehungen für einen bestimmten Vertrag. Verwenden Sie das Skript, das den Namen des Vertrags und des Tenants ersetzt:
APIC# CONTRACT='brc-<contract-name>'
APIC# TN='<tenant>'
#CHECK CONSUMERS
#To get the count of epgs consuming a contract (excluding vzany consumer):
APIC#icurl -g 'http://localhost:7777/api/node/mo/uni/tn-'$TN'/'$CONTRACT'.json?query-target=subtree&target-subtree-class=vzRtCons,vzConsDef&rsp-subtree-include=count&query-target-filter=or(eq(vzRtCons.tCl,"fvAEPg"),eq(vzRtCons.tCl,"l2extInstP"),eq(vzRtCons.tCl,"l3extInstP"),wcard(vzConsDef.dn,"uni/tn-'.*'/inherited-\[uni/tn-"))'
#To list all epg objects consuming a contract (excluding vzany consumers):
APIC#icurl -g 'http://localhost:7777/api/node/mo/uni/tn-'$TN'/'$CONTRACT'.json?query-target=subtree&target-subtree-class=vzRtCons,vzConsDef&query-target-filter=or(eq(vzRtCons.tCl,"fvAEPg"),eq(vzRtCons.tCl,"l2extInstP"),eq(vzRtCons.tCl,"l3extInstP"),wcard(vzConsDef.dn,"uni/tn-'.*'/inherited-\[uni/tn-"))' | python -m json.tool
#To get the count of vzanys consuming a contract:
APIC#icurl 'http://localhost:7777/api/node/mo/uni/tn-'$TN'/'$CONTRACT'.json?query-target=children&target-subtree-class=vzRtAnyToCons&rsp-subtree-include=count'
#To list all vzany objects consuming a contract:
APIC#icurl 'http://localhost:7777/api/node/mo/uni/tn-'$TN'/'$CONTRACT'.json?query-target=children&target-subtree-class=vzRtAnyToCons' | python -m json.tool
#CHECK PROVIDERS
#To get the count of epgs providing a contract (excluding vzany consumer):
APIC#icurl -g 'http://localhost:7777/api/node/mo/uni/tn-'$TN'/'$CONTRACT'.json?query-target=subtree&target-subtree-class=vzRtProv,vzProvDef&rsp-subtree-include=count&query-target-filter=or(eq(vzRtProv.tCl,"fvAEPg"),eq(vzRtProv.tCl,"l2extInstP"),eq(vzRtProv.tCl,"l3extInstP"),wcard(vzProvDef.dn,"uni/tn-'.*'/inherited-\[uni/tn-"))'
#To list all epg objects providing a contract (excluding vzany consumers):
APIC#icurl -g 'http://localhost:7777/api/node/mo/uni/tn-'$TN'/'$CONTRACT'.json?query-target=subtree&target-subtree-class=vzRtProv,vzProvDef&query-target-filter=or(eq(vzRtProv.tCl,"fvAEPg"),eq(vzRtProv.tCl,"l2extInstP"),eq(vzRtProv.tCl,"l3extInstP"),wcard(vzProvDef.dn,"uni/tn-'.*'/inherited-\[uni/tn-"))' | python -m json.tool
#To get the count of vzanys providing a contract:
APIC#icurl 'http://localhost:7777/api/node/mo/uni/tn-'$TN'/'$CONTRACT'.json?query-target=children&target-subtree-class=vzRtAnyToProv&rsp-subtree-include=count'
#To list all vzany objects providing a contract:
APIC#icurl 'http://localhost:7777/api/node/mo/uni/tn-'$TN'/'$CONTRACT'.json?query-target=children&target-subtree-class=vzRtAnyToProv' | python -m json.tool