Sommario

Introduzione

Prerequisiti

Requisiti

Componenti usati

Panoramica

Configurazioni di base

Configurazioni del sistema

Configurazioni interfaccia

Certificato

Stato delle connessioni di controllo

Risoluzione dei problemi relativi alle connessioni di controllo

Errori comuni nei codici di errore

Problemi di underlay

Dump TCP

Embedded Packet Capture

Traccia FIA

Generazione di Admin-Tech

Informazioni correlate

Introduzione

Questo documento descrive come avviare la risoluzione dei problemi comuni relativi al controllo SD-WAN (Software Defined Wide Area Network) e al piano dati.

Prerequisiti

Requisiti

Cisco raccomanda la conoscenza della soluzione Cisco Catalyst.

Componenti usati

Il documento può essere consultato per tutte le versioni software o hardware.

Le informazioni discusse in questo documento fanno riferimento a dispositivi usati in uno specifico ambiente di emulazione. Su tutti i dispositivi menzionati nel documento la configurazione è stata ripristinata ai valori predefiniti. Se la rete è operativa, valutare attentamente eventuali conseguenze derivanti dall'uso dei comandi.

Panoramica

Questo articolo è stato concepito come un runbook per fornire un punto di partenza per le sfide di debug rilevate in tutti gli ambienti di produzione.  Ogni sezione fornisce casi di utilizzo comuni e punti dati probabili da raccogliere o cercare quando si esegue il debug di questi problemi comuni.

Configurazioni di base

Verificare che le configurazioni di base siano presenti sul router e che i valori specifici del dispositivo siano univoci per ogni dispositivo sovrapposto:

Configurazioni del sistema

system

system-ip <system –ip>

site-id <site-id>

admin-tech-on-failure

organization-name <organization name>

vbond <vbond–ip>

!

Example:

system

system-ip 10.2.2.1

site-id 2

admin-tech-on-failure

organization-name "TAC - 22201"

vbond 10.106.50.235

!

Configurazioni interfaccia

interface Tunnel0

no shutdown

ip unnumbered GigabitEthernet0/0/0

tunnel source GigabitEthernet0/0/0

tunnel mode sdwan

exit

sdwan

interface GigabitEthernet0/0/0

tunnel-interface

encapsulation ipsec

color blue restrict

no allow-service all

no allow-service bgp

no allow-service dhcp

no allow-service dns

no allow-service icmp

allow-service sshd

allow-service netconf

no allow-service ntp

no allow-service ospf

no allow-service stun

allow-service https

no allow-service snmp

no allow-service bfd

exit

exit

Accertarsi che il router disponga di routing disponibile nella tabella di routing per stabilire una connessione di controllo con i controller (vBond, vManage e vSmart). È possibile utilizzare questo comando per visualizzare tutte le route installate nella tabella di routing:

show ip route

Se si utilizza l'FQDN vBond, verificare che il server DNS o il server dei nomi configurato disponga di una voce per risolvere il nome host vBond. È possibile verificare quale server DNS o server dei nomi è configurato con questo comando:

show run | in ip name-server

Certificato

Verificare che il certificato sia installato sul router utilizzando questo comando:

show sdwan certificate installed

Nota: se non si utilizzano certificati Enterprise, il certificato è già disponibile sui router.  Per le piattaforme hardware, i certificati dei dispositivi sono incorporati nell'hardware del router. Per i router virtuali, vManage funge da autorità di certificazione e genera i certificati per i router cloud.

Se si utilizzano certificati Enterprise nei controller, verificare che il certificato radice della CA Enterprise sia installato nel router.

Verificare che i certificati radice siano installati sul router utilizzando questi comandi:

show sdwan certificate root-ca-cert

show sdwan certificate root-ca-cert | inc Issuer

Controllare l'output di show sdwan control local-properties per assicurarsi che le configurazioni e i certificati richiesti siano presenti.

SD-WAN-Router#show sdwan control local-properties

personality                       vedge

sp-organization-name              TAC - 22201

organization-name                 TAC - 22201

root-ca-chain-status              Installed

certificate-status                Installed

certificate-validity              Valid

certificate-not-valid-before      Nov 23 07:21:37 2015 GMT

certificate-not-valid-after       Nov 23 07:21:37 2025 GMT

enterprise-cert-status            Not-Applicable

enterprise-cert-validity          Not Applicable

enterprise-cert-not-valid-before  Not Applicable

enterprise-cert-not-valid-after   Not Applicable

dns-name                          10.106.50.235

site-id                           2

domain-id                         1

protocol                          dtls

tls-port                          0

system-ip                         10.2.2.1

chassis-num/unique-id             ASR1001-X-JAE194707HJ

serial-num                        983558

subject-serial-num                JAE194707HJ

enterprise-serial-num             No certificate installed

token                             -NA-

keygen-interval                   1:00:00:00

retry-interval                    0:00:00:18

no-activity-exp-interval          0:00:00:20

dns-cache-ttl                     0:00:02:00

port-hopped                       TRUE

time-since-last-port-hop          0:00:01:26

embargo-check                     success

number-vbond-peers                1

INDEX   IP                                      PORT

-----------------------------------------------------

0       10.106.50.235                           12346

number-active-wan-interfaces      2

NAT TYPE: E -- indicates End-point independent mapping

A -- indicates Address-port dependent mapping

N -- indicates Not learned

Note: Requires minimum two vbonds to learn the NAT type

PUBLIC          PUBLIC PRIVATE         PRIVATE                                 PRIVATE                              MAX   RESTRICT/           LAST         SPI TIME    NAT  VM

INTERFACE                IPv4            PORT   IPv4            IPv6                                    PORT    VS/VM COLOR            STATE CNTRL CONTROL/     LR/LB  CONNECTION   REMAINING   TYPE CON

STUN                                              PRF

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

GigabitEthernet0/0/0          10.197.240.4    12426  10.197.240.4    ::                                      12426    0/0  blue             up     2     yes/yes/no   No/No  0:00:00:14   0:00:00:00  N    5

GigabitEthernet0/0/1          10.197.242.10   12406  10.197.242.10   ::                                      12406    0/0  red              up     2     yes/yes/no   No/No  0:00:00:03   0:00:00:00  N    5

Quando si controlla l'output di show sdwan control local-properties, verificare che siano soddisfatti tutti i seguenti criteri:

- Il nome dell'organizzazione viene riflesso correttamente.

- La validità del certificato è valida al momento del controllo dell'output.

- L'indirizzo IP/FQDN vBond è corretto.

- System-ip/Site-id è corretto.

- L'indirizzo IP vBond è indicato nella voce "number-vbond-peers". Se l'indirizzo IP vBond non viene visualizzato, verificare che DNS stia eseguendo la risoluzione dell'URL vBond utilizzando il comando ping <FQDN vBond>.

- Le interfacce sono mappate con il colore corretto, l'indirizzo IP e lo stato dell'interfaccia è ATTIVO.

- Il valore di MAX CNTRL per l'interfaccia necessaria a formare la connessione di controllo non è 0.

Stato delle connessioni di controllo

Verificare lo stato della connessione di controllo utilizzando questo comando:

show sdwan control connection

Se tutte le connessioni di controllo sono attive, il dispositivo dispone di una connessione di controllo formata da vBond, vManage e vSmart. Una volta stabilite le connessioni vSmart e vManage necessarie, la connessione di controllo vBond viene disattivata.

Nota: se nella sovrapposizione è presente un solo vSmart e max-control connections è impostato sul valore predefinito di 2, oltre alla connessione prevista a vManage e vSmart viene mantenuta una connessione di controllo persistente a vBond.

Questa configurazione è disponibile nella configurazione dell'interfaccia tunnel della sezione dell'interfaccia sdwan. Per verificarlo, usare il comando show sdwan run sdwan. Se max-control-connection è configurato su 0 sull'interfaccia, il router non crea una connessione di controllo su quell'interfaccia.

Se nella sovrapposizione sono presenti 2 vSmarts, il router forma una connessione di controllo a ciascun vSmart su ogni colore Transport Locator (TLOC) configurato per le connessioni di controllo.

Nota: la connessione di controllo a vManage è formata solo su un colore di interfaccia del router in uno scenario in cui il router dispone di più interfacce configurate per formare connessioni di controllo.

SD-WAN-Router#show sdwan control connections

PEER                                          PEER                                          CONTROLLER

PEER    PEER PEER            SITE       DOMAIN PEER                                    PRIV  PEER                                    PUB                                           GROUP

TYPE    PROT SYSTEM IP       ID         ID     PRIVATE IP                              PORT  PUBLIC IP                               PORT  ORGANIZATION            LOCAL COLOR     PROXY STATE UPTIME      ID

----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

vsmart  dtls 10.1.1.3        1          1      10.106.50.254                           12346 10.106.50.254                           12346 vTAC-India - 22201      blue            No    up     0:00:00:23  0

vbond   dtls  0.0.0.0        0          0      10.106.50.235                           12346 10.106.50.235                           12346 vTAC-India - 22201      blue            -     up     0:00:00:31  0

vmanage dtls 10.1.1.2        1          0      10.106.65.182                           12346 10.106.65.182                           12346 vTAC-India - 22201      blue            No    up     0:00:00:27  0

Risoluzione dei problemi relativi alle connessioni di controllo

Nell'output di showsdwan control connections, se tutte le connessioni di controllo necessarie non sono attive, verificare l'output di showsdwan control connection-history.

SD-WAN-Router#show sdwan control connection-history

Legend for Errors

ACSRREJ    - Challenge rejected by peer.               NOVMCFG   - No cfg in vmanage for device.

BDSGVERFL  - Board ID Signature Verify Failure.        NOZTPEN   - No/Bad chassis-number entry in ZTP.

BIDNTPR    - Board ID not Initialized.                 OPERDOWN  - Interface went oper down.

BIDNTVRFD  - Peer Board ID Cert not verified.          ORPTMO    - Server's peer timed out.

BIDSIG    - Board ID signing failure.                  RMGSPR    - Remove Global saved peer.

CERTEXPRD  - Certificate Expired                       RXTRDWN   - Received Teardown.

CRTREJSER  - Challenge response rejected by peer.      RDSIGFBD  - Read Signature from Board ID failed.

CRTVERFL   - Fail to verify Peer Certificate.          SERNTPRES - Serial Number not present.

CTORGNMMIS - Certificate Org name mismatch.            SSLNFAIL  - Failure to create new SSL context.

DCONFAIL   - DTLS connection failure.                  STNMODETD - Teardown extra vBond in STUN server mode.

DEVALC     - Device memory Alloc failures.             SYSIPCHNG - System-IP changed.

DHSTMO     - DTLS HandShake Timeout.                   SYSPRCH   - System property changed

DISCVBD    - Disconnect vBond after register reply.    TMRALC    - Timer Object Memory Failure.

DISTLOC    - TLOC Disabled.                            TUNALC    - Tunnel Object Memory Failure.

DUPCLHELO  - Recd a Dup Client Hello, Reset Gl Peer.   TXCHTOBD  - Failed to send challenge to BoardID.

DUPSER     - Duplicate Serial Number.                  UNMSGBDRG - Unknown Message type or Bad Register msg.

DUPSYSIPDEL- Duplicate System IP.                      UNAUTHEL  - Recd Hello from Unauthenticated peer.

HAFAIL     - SSL Handshake failure.                    VBDEST    - vDaemon process terminated.

IP_TOS     - Socket Options failure.                   VECRTREV  - vEdge Certification revoked.

LISFD      - Listener Socket FD Error.                 VSCRTREV  - vSmart Certificate revoked.

MGRTBLCKD  - Migration blocked. Wait for local TMO.    VB_TMO    - Peer vBond Timed out.

MEMALCFL   - Memory Allocation Failure.                VM_TMO    - Peer vManage Timed out.

NOACTVB    - No Active vBond found to connect.         VP_TMO    - Peer vEdge Timed out.

NOERR      - No Error.                                 VS_TMO    - Peer vSmart Timed out.

NOSLPRCRT  - Unable to get peer's certificate.         XTVMTRDN  - Teardown extra vManage.

NEWVBNOVMNG- New vBond with no vMng connections.       XTVSTRDN  - Teardown extra vSmart.

NTPRVMINT  - Not preferred interface to vManage.       STENTRY    - Delete same tloc stale entry.

HWCERTREN  - Hardware vEdge Enterprise Cert Renewed    HWCERTREV - Hardware vEdge Enterprise Cert Revoked.

EMBARGOFAIL - Embargo check failed

PEER                      PEER

PEER     PEER     PEER             SITE        DOMAIN PEER             PRIVATE  PEER             PUBLIC                                   LOCAL      REMOTE     REPEAT

TYPE     PROTOCOL SYSTEM IP        ID          ID     PRIVATE IP       PORT     PUBLIC IP        PORT    LOCAL COLOR      STATE           ERROR      ERROR      COUNT ORGANIZATION            DOWNTIME

------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

vbond    dtls     0.0.0.0          0           0      10.106.50.235    12346    10.106.50.235    12346   red              challenge       LISFD      NOERR      2      TAC - 22201 2024-03-25T01:08:13-0700

vbond    dtls     0.0.0.0          0           0      10.106.50.235    12346    10.106.50.235    12346   blue             up              LISFD      NOERR      0      TAC - 22201 2024-03-25T01:08:13-0700

vbond    dtls     0.0.0.0          0           0      10.106.50.235    12346    10.106.50.235    12346   red              connect         DCONFAIL   NOERR      16727  TAC - 22201 2024-03-25T01:08:02-0700

vbond    dtls     0.0.0.0          0           0      10.106.50.235    12346    10.106.50.235    12346   blue             connect         DCONFAIL   NOERR      2008   TAC - 22201 2024-03-25T01:06:36-0700

vmanage  dtls    10.1.1.2          1           0      10.106.65.182    12346    10.106.65.182    12346   blue             tear_down       DISTLOC    NOERR      4      TAC - 22201 2024-03-25T01:06:18-0700

vsmart   dtls    10.1.1.3          1           1      10.106.50.254    12346    10.106.50.254    12346   blue             tear_down       DISTLOC    NOERR      1      TAC - 22201 2024-03-25T01:06:18-0700

vbond    dtls     0.0.0.0          0           0      10.106.50.235    12346    10.106.50.235    12346   blue             up              LISFD      NOERR      15     TAC - 22201  2024-03-25T01:06:13-0700

vbond    dtls     0.0.0.0          0           0      10.106.50.235    12346    10.106.50.235    12346   red              connect         DCONFAIL   NOERR      12912  TAC - 22201  2024-03-25T01:05:20-0700

vbond    dtls     0.0.0.0          0           0      10.106.50.235    12346    10.106.50.235    12346   blue             connect         DCONFAIL   NOERR      11468  TAC - 22201  2024-03-25T01:04:36-0700

vbond    dtls     0.0.0.0          0           0      10.106.50.235    12346    10.106.50.235    12346   red              connect         DCONFAIL   NOERR      10854  TAC - 22201 2024-03-25T00:57:49-0700

vbond    dtls     0.0.0.0          0           0      10.106.50.235    12346    10.106.50.235    12346   red              connect         DCONFAIL   NOERR      4660   TAC - 22201  2024-03-25T00:51:30-0700

vbond    dtls     0.0.0.0          0           0      10.106.50.235    12346    10.106.50.235    12346   red              connect         DCONFAIL   NOERR      2600   TAC - 22201 2024-03-25T00:48:48-0700

vbond    dtls     0.0.0.0          0           0      10.106.50.235    12346    10.106.50.235    12346   red              tear_down       DISTLOC    NOERR      6      TAC - 22201  2024-03-25T00:44:23-0700

vbond    dtls     0.0.0.0          0           0      10.106.50.235    12346    10.106.50.235    12346   blue             connect         DCONFAIL   NOERR      9893   TAC - 22201  2024-03-25T00:37:00-0700

Nell'output show sdwan control connection-history, verificare i seguenti elementi:

- Tipo di controller a cui si è verificato un errore della connessione del controllo a un determinato timestamp.

- Errore rilevato quando la connessione di controllo non è riuscita. Sono disponibili due colonne per gli errori, Errore locale ed Errore remoto. Errore locale indica l'errore generato dal router. Errore remoto indica l'errore generato dal rispettivo controller. All'inizio dell'output è presente una legenda degli errori.

- Repeat count, indica il numero di volte in cui la connessione non è riuscita per lo stesso motivo.

Errori comuni nei codici di errore

- DCONFAIL (errore di connessione DTLS): questo errore indica che si è verificata una perdita di pacchetti DTLS scambiati tra il router e il rispettivo controller a causa della quale non è possibile completare l'handshake DTLS. Per comprendere meglio questa condizione, è possibile configurare le acquisizioni simultanee dei pacchetti sul router e sul rispettivo controller. Nella sezione Embedded Packet Capture vengono condivisi diversi metodi di impostazione delle acquisizioni dei pacchetti. Durante l'analisi delle acquisizioni dei pacchetti, è importante assicurarsi che i pacchetti inviati da un'estremità vengano ricevuti dall'altra estremità senza modifiche. Se il pacchetto inviato da un'estremità non viene ricevuto dall'altra, il circuito sottostante contiene una perdita di pacchetto che deve essere verificata con il provider di servizi. Per ulteriori informazioni su come acquisire un pacchetto, consultare la sezione Problemi di underlay.

- BIDNTVRFD (ID scheda non verificato): questo errore indica che l'UUID e il numero di serie del certificato non sono voci valide nell'elenco vEdge del controller. È possibile controllare l'output dell'elenco vedge valido sui controller utilizzando i seguenti comandi:

vBond: show orchestrator valid-vedges

vManage/vSmart: show control valid-vedges

In genere, BIDNTVRFD è un errore remoto sul router perché è generato sul controller. Sul rispettivo controller, è possibile verificare il log nel file vdebug che si trova nella directory /var/log/tmplog utilizzando i seguenti comandi:

vmanage# vshell

vmanage:~$ cd /var/log/tmplog/

vmanage:/var/log/tmplog$ tail -f vdebug

- CRTVERFL (verifica certificato non riuscita): questo errore indica che non è stato possibile verificare il certificato inviato dal peer.

- Se si tratta di un errore locale sul router, indica che il certificato del controller inviato come parte dell'handshake DTLS non può essere verificato dal router. Uno dei motivi più comuni è che il router non dispone del certificato radice dell'autorità di certificazione che ha firmato il certificato del controller. Verificare lo stato del certificato con questi comandi per assicurarsi che il certificato radice richiesto sia presente sul router.

show sdwan certificate root-ca-cert

show sdwan certificate root-ca-cert | inc Issuer

- Se l'errore è remoto sul router, controllare il file di registro vdebug sul controller in uso per individuare la causa dell'errore e usare i seguenti comandi:

vmanage# vshell

vmanage:~$ cd /var/log/tmplog/

vmanage:/var/log/tmplog$ tail -f vdebug

- VB_TMO (Timeout vBond) / VM_TMO (Timeout vManage) / VP_TMO (Timeout vPeer) / VS_TMO (Timeout vSmart): questi errori indicano che si è verificata una perdita di pacchetti tra i dispositivi, che causa il timeout della connessione di controllo. Per comprendere meglio questa condizione, è possibile configurare le acquisizioni simultanee dei pacchetti sul router e sul rispettivo controller. Nella sezione Embedded Packet Capture vengono condivisi diversi metodi di impostazione delle acquisizioni dei pacchetti. Durante l'analisi delle clip dei pacchetti, è importante assicurarsi che i pacchetti inviati da un'estremità vengano ricevuti dall'altra estremità senza modifiche. Se il pacchetto inviato da un'estremità non viene ricevuto dall'altra, significa che si è verificata una perdita di pacchetto nel circuito sottostante, che deve essere verificata con il provider di servizi

Per informazioni sulla risoluzione dei problemi relativi ad altri codici di errore di connessione del controllo, fare riferimento a questo documento:

Risoluzione dei problemi relativi alle connessioni di controllo SD-WAN

Problemi di underlay

Gli strumenti per risolvere i problemi di perdita dei pacchetti nella struttura sottostante variano a seconda del dispositivo. Per i controller SD-WAN e i router vEdge, è possibile usare il comando tcpdump. Per i bordi Catalyst IOS® XE, usare la traccia EPC (Embedded Packet Capture) e FIA (Feature Invocation Array).

Per capire perché le connessioni di controllo non funzionano e capire dove si trova il problema, è necessario capire dove si sta verificando la perdita di pacchetti.   Ad esempio, se un router vBond e Edge non forma una connessione di controllo, questa guida illustra come isolare il problema.

Dump TCP

tcpdump vpn 0 interface ge0/0 options "host 10.1.1.x -vv"

In base alla richiesta e alla risposta dei pacchetti, l'utente può capire il dispositivo responsabile delle cadute. il comando tcpdump può essere usato su tutti i controller e i dispositivi vEdge.

Embedded Packet Capture

Creare un ACL sul dispositivo.

ip access-list extended TAC

10 permit ip host <edge-private-ip> host <controller-public-ip>

20 permit ip host <controller-public-ip> host <edge-private-ip>

Configurare e avviare l'acquisizione del monitor.

monitor capture CAP access-list TAC bidirectional

monitor capture CAP start

Arrestare l'acquisizione ed esportare il file di acquisizione.

monitor capture CAP stop

monitor capture CAP export bootflash:<filename>

Visualizzate il contenuto del file in wireshark per comprendere le gocce. Per ulteriori informazioni, visitare il sito Web all'indirizzo Configure and Capture Embedded Packet on Software.

Traccia FIA

Configurare la traccia FIA.

debug platform condition ipv4 <ip> both

debug platform packet-trace packet 2048 fia-trace data-size 4096

debug platform condition start

Visualizzare gli output del pacchetto fia phrase.

debug platform condition stop

show platform packet-trace summary

show platform packet-trace summary | i DROP

In caso di perdita, analizzare l'output di traccia FIA per il pacchetto perso.

show platform packet-trace packet <packet-no> decode

Per ulteriori informazioni sulle opzioni di traccia FIA, consultare questo documento: Risoluzione dei problemi relativi alla funzionalità di traccia dei pacchetti datapath IOS-XE

Il video Determine Policy Drops on Catalyst SD-WAN Edge with FIA Trace fornisce un esempio di utilizzo di FIA Trace.

Generazione di Admin-Tech

Fare riferimento alla sezione sulla raccolta di informazioni su Admin-Tech in un ambiente SD-WAN e il caricamento nella richiesta TAC - Cisco

Informazioni correlate

Documentazione e supporto tecnico – Cisco Systems