Risoluzione dei problemi di inoltro intra-fabric ACI - L3 Forwarding: Due endpoint in BD diversi

Introduzione

In questo documento viene descritto come comprendere e risolvere i problemi relativi a uno scenario di inoltro ACI L3.

Premesse

Il materiale tratto da questo documento è stato Risoluzione dei problemi di Cisco Application Centric Infrastructure, Second Edition libro, in particolare Inoltro intra-fabric - L3: due endpoint in BD diversi capitolo.

inoltro L3: due endpoint in BD diversi

In questo capitolo viene illustrato un esempio di risoluzione dei problemi in cui gli endpoint in domini bridge diversi non possono comunicare tra loro. Si tratta di un flusso instradato dal fabric ACI. La figura 1 illustra la topologia.

Endpoint in domini bridge diversi

Flusso di lavoro di alto livello per la risoluzione dei problemi

Di seguito sono riportati i passaggi tipici per la risoluzione dei problemi e i comandi di verifica:

Primi controlli: convalida programmazione

• Il gateway pervasivo BD deve essere inviato ai nodi foglia.
• Il percorso verso la subnet BD di destinazione deve essere indirizzato ai nodi foglia.
• È necessario risolvere l'ARP per il gateway predefinito degli host.

Secondo controllo: convalida delle voci di apprendimento e tabella tramite CLI sui nodi foglia

• Verificare che i nodi foglia di origine e foglia di destinazione apprendano l'endpoint e se apprendano l'endpoint di destinazione:
  • Tabella endpoint: 'show endpoint'.
  • Destinazione TEP: 'show interface tunnel <x>'.
  • Individuazione della destinazione TEP nel comando 'show ip route <indirizzo TEP> vrf overlay-1'.
• Controlla nodi spine apprende l'endpoint:
  • 'show coop internal info'.

Terzo controllo: preleva un pacchetto e analizza le decisioni di inoltro

• Con ELAM (ELAM Assistant o CLI) per verificare che il frame sia presente.
• Oppure con fTriage per tenere traccia del flusso.

Flusso di lavoro di risoluzione dei problemi per gli endpoint noti

Controllare il gateway pervasivo di BD

In questo esempio verranno utilizzati i seguenti endpoint di origine e di destinazione:

• EP A 10.1.1.1 sotto foglia1.
• EP B 10.1.2.1 sotto VPC paio foglia3 e foglia4.

Di seguito sono riportati i gateway pervasivi:

• 10.1.1.254/24 per il gateway BD1 su foglia1.
• 10.1.2.254/24 per il gateway BD2 su foglia3 e foglia4.

È possibile verificare questa condizione tramite: 'show ip interface vrf <vrf name>' sui nodi foglia.

foglia1:

leaf1# show ip interface vrf Prod:VRF1
IP Interface Status for VRF "Prod:VRF1"
vlan7, Interface status: protocol-up/link-up/admin-up, iod: 106, mode: pervasive
 IP address: 10.1.1.254, IP subnet: 10.1.1.0/24
 IP broadcast address: 255.255.255.255
 IP primary address route-preference: 0, tag: 0

foglia3 e 4:

leaf3# show ip interface  vrf Prod:VRF1
IP Interface Status for VRF "Prod:VRF1"
vlan1, Interface status: protocol-up/link-up/admin-up, iod: 159, mode: pervasive
 IP address: 10.1.2.254, IP subnet: 10.1.2.0/24
 IP broadcast address: 255.255.255.255
 IP primary address route-preference: 0, tag: 0

leaf4# show ip interface  vrf Prod:VRF1
IP Interface Status for VRF "Prod:VRF1"
vlan132, Interface status: protocol-up/link-up/admin-up, iod: 159, mode: pervasive
 IP address: 10.1.2.254, IP subnet: 10.1.2.0/24
 IP broadcast address: 255.255.255.255
 IP primary address route-preference: 0, tag: 0

Notare che leaf3 e leaf4 hanno lo stesso indirizzo gateway pervasivo, ma è probabile che venga rilevato un incapsulamento VLAN diverso per la SVI.

• foglia3 utilizza VLAN 1.
• leaf4 utilizza la VLAN 132.

Ciò è previsto perché la VLAN 1 o la VLAN 132 è la VLAN locale sulla foglia.

Se l'indirizzo IP del gateway pervasivo non viene inserito nella foglia, verificare nell'interfaccia utente di APIC che non vi siano errori che impediscano l'implementazione della VLAN.

Verifica della tabella di routing nella foglia

Leaf1 non ha alcun endpoint nella subnet 10.1.2.0/24, tuttavia deve avere la route a quella subnet per poterla raggiungere:

leaf1# show ip route 10.1.2.0/24 vrf Prod:VRF1
IP Route Table for VRF "Prod:VRF1"
'*' denotes best ucast next-hop
'**' denotes best mcast next-hop
'[x/y]' denotes [preference/metric]
'%<string>' in via output denotes VRF <string>

10.1.2.0/24, ubest/mbest: 1/0, attached, direct, pervasive
   *via 10.0.8.65%overlay-1, [1/0], 00:22:37, static, tag 4294967294
        recursive next hop: 10.0.8.65/32%overlay-1

Notare che il router contrassegnato con 'pervasive' e 'direct' ha un hop successivo di 10.0.8.65. Questo è l'indirizzo di loopback anycast-v4 che esiste su tutti gli spine.

leaf1# show isis  dteps  vrf overlay-1 | egrep 10.0.8.65
10.0.8.65          SPINE   N/A             PHYSICAL,PROXY-ACAST-V4

Analogamente, foglia3 e foglia4 devono avere la route per 10.1.1.0/24.

leaf3# show ip route 10.1.1.1 vrf Prod:VRF1
IP Route Table for VRF "Prod:VRF1"
'*' denotes best ucast next-hop
'**' denotes best mcast next-hop
'[x/y]' denotes [preference/metric]
'%<string>' in via output denotes VRF <string>

10.1.1.0/24, ubest/mbest: 1/0, attached, direct, pervasive
   *via 10.0.8.65%overlay-1, [1/0], 00:30:25, static, tag 4294967294
        recursive next hop: 10.0.8.65/32%overlay-1

Se questi percorsi non sono disponibili, è probabile che non esista alcun contratto tra un EPG in BD1 e un EPG in BD2. Se non esiste un endpoint locale in BD1 sotto una foglia, il gateway pervasivo BD1 non viene spinto verso la foglia. Se in un EPG è presente un endpoint locale con un altro EPG in BD1, la subnet BD1 viene appresa in foglia.

Risoluzione ARP per l'IP gateway predefinito

Poiché la foglia in cui risiede un endpoint locale deve avere un gateway pervasivo, le richieste ARP per il gateway pervasivo devono essere sempre risolte dalla foglia locale. È possibile verificare questa condizione sulla foglia locale utilizzando il comando seguente:

leaf1# show ip arp internal event-history event  | egrep 10.1.1.1
   [116] TID 26571:arp_handle_arp_request:6135: log_collect_arp_pkt; sip = 10.1.1.1; dip = 10.1.1.254;interface = Vlan7; phy_inteface = Ethernet1/3; flood = 0; Info = Sent ARP response.
    [116] TID 26571:arp_process_receive_packet_msg:8384: log_collect_arp_pkt; sip = 10.1.1.1; dip = 10.1.1.254;interface = Vlan7; phy_interface = Ethernet1/3;Info = Received arp request

Apprendimento dell'IP e dell'endpoint MAC di origine foglia in entrata

In caso di inoltro di livello 3, ACI eseguirà l'apprendimento dell'IP di origine di livello 3 e la ricerca dell'IP di destinazione. L'ambito degli indirizzi IP appresi viene definito in VRF.

È possibile controllare questa impostazione dalla GUI nella scheda "Operativa" di EPG. Notare che qui IP e MAC sono entrambi appresi.

End-point operativi EPG

Punti finali operativi EPG — Dettaglio

Verificare che l'endpoint locale sia stato appreso nella foglia locale. Qui verificare su foglia1 che IP 10.1.1.1 è appreso:

leaf1# show endpoint ip 10.1.1.1
Legend:
s - arp              H - vtep             V - vpc-attached     p - peer-aged
R - peer-attached-rl B - bounce           S - static           M - span
D - bounce-to-proxy  O - peer-attached    a - local-aged       m - svc-mgr
L - local            E - shared-service
+-----------------------------------+---------------+-----------------+--------------+-------------+
     VLAN/                           Encap           MAC Address       MAC Info/       Interface
     Domain                          VLAN            IP Address        IP Info
+-----------------------------------+---------------+-----------------+--------------+-------------+
46                                        vlan-2501    0000.1001.0101 L                      eth1/3
Prod:VRF1                                 vlan-2501          10.1.1.1 L                      eth1/3

Come illustrato in precedenza, il contenuto dell'endpoint è:

• BD (la VLAN interna per BD è 46) con incapsulamento VLAN dell'EPG (vlan-2501) e l'indirizzo MAC appreso il 1/3
• VRF (Prod:VRF1) con IP 10.1.1.1

Può essere interpretato come equivalente a una voce ARP in una rete tradizionale. ACI non memorizza le informazioni ARP in una tabella ARP per gli endpoint. Gli endpoint sono visibili solo nella tabella degli endpoint.

La tabella ARP in una foglia viene utilizzata solo per gli hop successivi L3Out.

leaf1# show ip arp vrf Prod:VRF1    
Flags: * - Adjacencies learnt on non-active FHRP router
       + - Adjacencies synced via CFSoE
       # - Adjacencies Throttled for Glean
       D - Static Adjacencies attached to down interface    IP ARP Table for context Prod:VRF1
Total number of entries: 0
Address         Age       MAC Address     Interface    
< NO ENTRY >

Ricerca IP destinazione foglia in ingresso — endpoint remoto noto

Supponendo che l'IP di destinazione sia noto (unicast conosciuto), di seguito viene riportato l'output 'show endpoint' per l'IP di destinazione 10.1.2.1. Si tratta di un'informazione remota poiché non risiede su foglia1 e punta in particolare all'interfaccia del tunnel dove viene appresa localmente (tunnel 4).

Gli endpoint remoti contengono solo l'indirizzo IP o l'indirizzo MAC, mai entrambi nella stessa voce. L'indirizzo MAC e l'indirizzo IP nello stesso endpoint si verificano solo quando l'endpoint viene appreso localmente.

leaf1# show endpoint ip 10.1.2.1
Legend:
s - arp              H - vtep             V - vpc-attached     p - peer-aged
R - peer-attached-rl B - bounce           S - static           M - span
D - bounce-to-proxy  O - peer-attached    a - local-aged       m - svc-mgr
L - local            E - shared-service
+-----------------------------------+---------------+-----------------+--------------+-------------+
     VLAN/                           Encap           MAC Address       MAC Info/       Interface
     Domain                          VLAN            IP Address        IP Info
+-----------------------------------+---------------+-----------------+--------------+-------------+
Prod:VRF1                                                    10.1.2.1 p                     tunnel4

leaf1# show interface tunnel 4
Tunnel4 is up
   MTU 9000 bytes, BW 0 Kbit
   Transport protocol is in VRF "overlay-1"
   Tunnel protocol/transport is ivxlan
   Tunnel source 10.0.88.95/32 (lo0)
   Tunnel destination 10.0.96.66
   Last clearing of "show interface" counters never
   Tx
   0 packets output, 1 minute output rate 0 packets/sec
   Rx
   0 packets input, 1 minute input rate 0 packets/sec

Il TEP di destinazione è il TEP anycast della coppia Foglia3 e 4 VPC e viene appreso attraverso gli uplink sul dorso.

leaf1# show ip route 10.0.96.66 vrf overlay-1
IP Route Table for VRF "overlay-1"
'*' denotes best ucast next-hop
'**' denotes best mcast next-hop
'[x/y]' denotes [preference/metric]
'%<string>' in via output denotes VRF <string>

10.0.96.66/32, ubest/mbest: 4/0
   *via 10.0.88.65, eth1/49.10, [115/3], 02w06d, isis-isis_infra, isis-l1-int
   *via 10.0.128.64, eth1/51.8, [115/3], 02w06d, isis-isis_infra, isis-l1-int
   *via 10.0.88.64, eth1/52.126, [115/3], 02w06d, isis-isis_infra, isis-l1-int
   *via 10.0.88.94, eth1/50.128, [115/3], 02w06d, isis-isis_infra, isis-l1-int

È possibile raccogliere informazioni aggiuntive sull'endpoint per IP 10.1.2.1 utilizzando il comando 'show system internal epm endpoint ip <ip>'.

leaf1# show system internal epm endpoint ip 10.1.2.1
MAC : 0000.0000.0000 ::: Num IPs : 1
IP# 0 : 10.1.2.1 ::: IP# 0 flags :  ::: l3-sw-hit: No
Vlan id : 0 ::: Vlan vnid : 0 ::: VRF name : Prod:VRF1
BD vnid : 0 ::: VRF vnid : 2097154
Phy If : 0 ::: Tunnel If : 0x18010004
Interface : Tunnel4
Flags : 0x80004420 ::: sclass : 32771 ::: Ref count : 3
EP Create Timestamp : 10/01/2019 13:53:16.228319
EP Update Timestamp : 10/01/2019 14:04:40.757229
EP Flags : peer-aged|IP|sclass|timer|
::::

​In questo controllo di output:

• VRF VNID è popolato: è il VNID utilizzato per incapsulare il frame nella VXLAN al fabric.
• L'indirizzo MAC è 0000.0000.0000 in quanto l'indirizzo MAC non viene mai popolato su una voce IP remota.
• BD VNID è sconosciuto come per i frame indirizzati, la foglia in entrata agisce come router e esegue una riscrittura MAC. Ciò significa che la foglia remota non avrà visibilità nel BD di destinazione, ma solo nel VRF.

Il frame verrà ora incapsulato in un frame VXLAN andando al remoto TEP 10.0.96.66 con un ID VXLAN di 2097154 che è il VNID del VRF. Verrà instradato nella tabella di routing overlay-1 (percorso IS-IS) e raggiungerà la destinazione TEP. Qui raggiungerà foglia3 o foglia4 poiché 10.0.96.66 è l'indirizzo TEP anycast della coppia di VPC foglia3 e foglia4.

Apprendimento IP di origine su foglia di uscita

Qui le uscite sono prese da foglia3 ma sarebbero simili su foglia4. Quando i pacchetti raggiungono foglia3 (foglia di destinazione e proprietario del TEP), foglia imparerà l'IP di origine del pacchetto nel VRF.

leaf3# show endpoint ip 10.1.1.1
Legend:
s - arp              H - vtep             V - vpc-attached     p - peer-aged
R - peer-attached-rl B - bounce           S - static           M - span
D - bounce-to-proxy  O - peer-attached    a - local-aged       m - svc-mgr
L - local            E - shared-service
+-----------------------------------+---------------+-----------------+--------------+-------------+
     VLAN/                           Encap           MAC Address       MAC Info/       Interface
     Domain                          VLAN            IP Address        IP Info
+-----------------------------------+---------------+-----------------+--------------+-------------+
Prod:VRF1                                                    10.1.1.1 p                    tunnel26

leaf3# show interface tunnel 26
Tunnel26 is up
   MTU 9000 bytes, BW 0 Kbit
   Transport protocol is in VRF "overlay-1"
   Tunnel protocol/transport is ivxlan
   Tunnel source 10.0.88.91/32 (lo0)
   Tunnel destination 10.0.88.95
   Last clearing of "show interface" counters never
   Tx
   0 packets output, 1 minute output rate 0 packets/sec
   Rx
   0 packets input, 1 minute input rate 0 packets/sec

La destinazione TEP 10.0.88.95 è l'indirizzo TEP di leaf1 e viene appresa tramite tutti gli uplink al dorso.

Ricerca IP destinazione su foglia di uscita

L'ultimo passaggio consiste nella ricerca dell'IP di destinazione da parte della foglia in uscita. Osservate la tabella dei punti finali per 10.1.2.1.

Vengono fornite le seguenti informazioni:

• La foglia in uscita conosce la destinazione 10.1.2.1 (simile a un percorso host /32 nella tabella di routing) e il percorso viene appreso nel VRF corretto.
• La foglia in uscita conosce il MAC 0000.1001.0201 (informazioni endpoint).
• La foglia di uscita sa che il traffico destinato alla versione 10.1.2.1 deve essere incapsulato nella vlan-2502 e inviato sulla porta-canale 1 (po1).

leaf3# show endpoint ip 10.1.2.1
Legend:
s - arp              H - vtep             V - vpc-attached     p - peer-aged
R - peer-attached-rl B - bounce           S - static           M - span
D - bounce-to-proxy  O - peer-attached    a - local-aged       m - svc-mgr
L - local            E - shared-service
+-----------------------------------+---------------+-----------------+--------------+-------------+
     VLAN/                           Encap           MAC Address       MAC Info/       Interface
     Domain                          VLAN            IP Address        IP Info
+-----------------------------------+---------------+-----------------+--------------+-------------+
2                                         vlan-2502    0000.1001.0201 LpV                       po1
Prod:VRF1                                 vlan-2502          10.1.2.1 LpV                       po1

Tentativo di seguire il percorso dati

Utilizzare fTriage nell'APIC per seguire il flusso del percorso dati. Tenete presente che fTriage si basa su ELAM, quindi ha bisogno di un flusso di dati reale. Ciò consente di confermare il percorso dati completo, con la conferma che il pacchetto esce dalla struttura sulla porta foglia3 1/16.

apic1# ftriage route -ii LEAF:101 -sip 10.1.1.1 -dip 10.1.2.1
fTriage Status: {"dbgFtriage": {"attributes": {"operState": "InProgress", "pid": "6888", "apicId": "1", "id": "0"}}}
Starting ftriage
Log file name for the current run is: ftlog_2019-10-01-21-17-54-175.txt
2019-10-01 21:17:54,179 INFO     /controller/bin/ftriage route -ii LEAF:101 -sip 10.1.1.1 -dip 10.1.2.1
2019-10-01 21:18:18,149 INFO     ftriage:     main:1165 Invoking ftriage with default password and default username: apic#fallback\\admin
2019-10-01 21:18:39,194 INFO     ftriage:     main:839  L3 packet Seen on bdsol-aci32-leaf1 Ingress: Eth1/3 Egress: Eth1/51 Vnid: 2097154
2019-10-01 21:18:39,413 INFO     ftriage:     main:242  ingress encap string vlan-2501
2019-10-01 21:18:39,419 INFO     ftriage:     main:271  Building ingress BD(s), Ctx
2019-10-01 21:18:41,240 INFO     ftriage:     main:294  Ingress BD(s) Prod:BD1
2019-10-01 21:18:41,240 INFO     ftriage:     main:301  Ingress Ctx: Prod:VRF1
2019-10-01 21:18:41,349 INFO     ftriage:   pktrec:490  bdsol-aci32-leaf1: Collecting transient losses snapshot for LC module: 1
2019-10-01 21:19:05,747 INFO     ftriage:     main:933  SIP 10.1.1.1 DIP 10.1.2.1
2019-10-01 21:19:05,749 INFO     ftriage:  unicast:973  bdsol-aci32-leaf1: <- is ingress node
2019-10-01 21:19:08,459 INFO     ftriage:  unicast:1215 bdsol-aci32-leaf1: Dst EP is remote
2019-10-01 21:19:09,984 INFO     ftriage:     misc:657  bdsol-aci32-leaf1: DMAC(00:22:BD:F8:19:FF) same as RMAC(00:22:BD:F8:19:FF)
2019-10-01 21:19:09,984 INFO     ftriage:     misc:659  bdsol-aci32-leaf1: L3 packet getting routed/bounced in SUG
2019-10-01 21:19:10,248 INFO     ftriage:     misc:657  bdsol-aci32-leaf1: Dst IP is present in SUG L3 tbl
2019-10-01 21:19:10,689 INFO     ftriage:     misc:657  bdsol-aci32-leaf1: RwDMAC DIPo(10.0.96.66) is one of dst TEPs ['10.0.96.66']
2019-10-01 21:20:56,148 INFO     ftriage:     main:622  Found peer-node bdsol-aci32-spine3 and IF: Eth2/1 in candidate list
2019-10-01 21:21:01,245 INFO     ftriage:     node:643  bdsol-aci32-spine3: Extracted Internal-port GPD Info for lc: 2
2019-10-01 21:21:01,245 INFO     ftriage:     fcls:4414 bdsol-aci32-spine3: LC trigger ELAM with IFS: Eth2/1 Asic :0 Slice: 0 Srcid: 32
2019-10-01 21:21:33,894 INFO     ftriage:     main:839  L3 packet Seen on bdsol-aci32-spine3 Ingress: Eth2/1 Egress: LC-2/0 FC-22/0 Port-1 Vnid: 2097154
2019-10-01 21:21:33,895 INFO     ftriage:   pktrec:490  bdsol-aci32-spine3: Collecting transient losses snapshot for LC module: 2
2019-10-01 21:21:54,487 INFO     ftriage:      fib:332  bdsol-aci32-spine3: Transit in spine
2019-10-01 21:22:01,568 INFO     ftriage:  unicast:1252 bdsol-aci32-spine3: Enter dbg_sub_nexthop with Transit inst: ig infra: False glbs.dipo: 10.0.96.66
2019-10-01 21:22:01,682 INFO     ftriage:  unicast:1417 bdsol-aci32-spine3: EP is known in COOP (DIPo = 10.0.96.66)
2019-10-01 21:22:05,713 INFO     ftriage:  unicast:1458 bdsol-aci32-spine3: Infra route 10.0.96.66 present in RIB
2019-10-01 21:22:05,713 INFO     ftriage:     node:1331 bdsol-aci32-spine3: Mapped LC interface: LC-2/0 FC-22/0 Port-1 to FC interface: FC-22/0 LC-2/0 Port-1
2019-10-01 21:22:10,799 INFO     ftriage:     node:460  bdsol-aci32-spine3: Extracted GPD Info for fc: 22
2019-10-01 21:22:10,799 INFO     ftriage:     fcls:5748 bdsol-aci32-spine3: FC trigger ELAM with IFS: FC-22/0 LC-2/0 Port-1 Asic :0 Slice: 2 Srcid: 24
2019-10-01 21:22:29,322 INFO     ftriage:  unicast:1774 L3 packet Seen on FC of node: bdsol-aci32-spine3  with Ingress: FC-22/0 LC-2/0 Port-1  Egress: FC-22/0 LC-2/0 Port-1 Vnid: 2097154
2019-10-01 21:22:29,322 INFO     ftriage:   pktrec:487  bdsol-aci32-spine3: Collecting transient losses snapshot for FC module: 22
2019-10-01 21:22:31,571 INFO     ftriage:     node:1339 bdsol-aci32-spine3: Mapped FC interface: FC-22/0 LC-2/0 Port-1 to LC interface: LC-2/0 FC-22/0 Port-1
2019-10-01 21:22:31,572 INFO     ftriage:  unicast:1474 bdsol-aci32-spine3: Capturing Spine  Transit pkt-type L3 packet on egress LC on Node: bdsol-aci32-spine3 IFS: LC-2/0 FC-22/0 Port-1
2019-10-01 21:22:31,991 INFO     ftriage:     fcls:4414 bdsol-aci32-spine3: LC trigger ELAM with IFS: LC-2/0 FC-22/0 Port-1 Asic :0 Slice: 1 Srcid: 0
2019-10-01 21:22:48,952 INFO     ftriage:  unicast:1510 bdsol-aci32-spine3: L3 packet Spine egress  Transit pkt Seen on bdsol-aci32-spine3 Ingress: LC-2/0 FC-22/0 Port-1 Egress: Eth2/3 Vnid: 2097154
2019-10-01 21:22:48,952 INFO     ftriage:   pktrec:490  bdsol-aci32-spine3: Collecting transient losses snapshot for LC module: 2
2019-10-01 21:23:50,748 INFO     ftriage:     main:622  Found peer-node bdsol-aci32-leaf3 and IF: Eth1/51 in candidate list
2019-10-01 21:24:05,313 INFO     ftriage:     main:839  L3 packet Seen on bdsol-aci32-leaf3 Ingress: Eth1/51 Egress: Eth1/12 (Po1) Vnid: 11365
2019-10-01 21:24:05,427 INFO     ftriage:   pktrec:490  bdsol-aci32-leaf3: Collecting transient losses snapshot for LC module: 1
2019-10-01 21:24:24,369 INFO     ftriage:     nxos:1404 bdsol-aci32-leaf3: nxos matching rule id:4326 scope:34 filter:65534
2019-10-01 21:24:25,698 INFO     ftriage:     main:522  Computed egress encap string vlan-2502
2019-10-01 21:24:25,704 INFO     ftriage:     main:313  Building egress BD(s), Ctx
2019-10-01 21:24:27,510 INFO     ftriage:     main:331  Egress Ctx Prod:VRF1
2019-10-01 21:24:27,510 INFO     ftriage:     main:332  Egress BD(s): Prod:BD2
2019-10-01 21:24:30,536 INFO     ftriage:  unicast:1252 bdsol-aci32-leaf3: Enter dbg_sub_nexthop with Local inst: eg infra: False glbs.dipo: 10.0.96.66
2019-10-01 21:24:30,537 INFO     ftriage:  unicast:1257 bdsol-aci32-leaf3: dbg_sub_nexthop invokes dbg_sub_eg for vip
2019-10-01 21:24:30,537 INFO     ftriage:  unicast:1784 bdsol-aci32-leaf3: <- is egress node
2019-10-01 21:24:30,684 INFO     ftriage:  unicast:1833 bdsol-aci32-leaf3: Dst EP is local
2019-10-01 21:24:30,685 INFO     ftriage:     misc:657  bdsol-aci32-leaf3: EP if(Po1) same as egr if(Po1)
2019-10-01 21:24:30,943 INFO     ftriage:     misc:657  bdsol-aci32-leaf3: Dst IP is present in SUG L3 tbl
2019-10-01 21:24:31,242 INFO     ftriage:     misc:657  bdsol-aci32-leaf3: RW seg_id:11365 in SUG same as EP segid:11365
2019-10-01 21:24:37,631 INFO     ftriage:     main:961  Packet is Exiting fabric with peer-device: bdsol-aci32-n3k-3 and peer-port: Ethernet1/12

Acquisizione pacchetto su foglia di uscita tramite l'app ELAM Assistant

Di seguito è riportato il pacchetto acquisito con l'applicazione ELAM Assistant su foglia3 proveniente dalla spine. Ciò dimostra che:

• Il VNID dalle informazioni sul layer 4 esterno (VNID è 2097154).
• TEP origine intestazione L3 esterna e TEP destinazione.

ELAM Assistant — Foglia di uscita flusso L3 (parte 1)

ELAM Assistant — Foglia di uscita flusso L3 (parte 2)

La sezione Packet Forwarding Information prova che è stato scaricato sulla porta-canale 1

ELAM Assistant — Foglia di uscita L3 — Informazioni sull'inoltro di pacchetti

Flusso di lavoro di risoluzione dei problemi per gli endpoint sconosciuti

Questa sezione mostra le differenze quando il foglio in entrata non conosce l'indirizzo IP di destinazione.

Ricerca IP destinazione foglia in ingresso

Il primo passaggio consiste nel controllare se esiste un endpoint appreso per l'IP di destinazione.

leaf1# show endpoint ip 10.1.2.1
Legend:
s - arp              H - vtep             V - vpc-attached     p - peer-aged
R - peer-attached-rl B - bounce           S - static           M - span
D - bounce-to-proxy  O - peer-attached    a - local-aged       m - svc-mgr
L - local            E - shared-service
+-----------------------------------+---------------+-----------------+--------------+------------+
     VLAN/                           Encap           MAC Address       MAC Info/       Interface
     Domain                          VLAN            IP Address        IP Info
+-----------------------------------+---------------+-----------------+--------------+------------+   
<NO ENTRY>

La tabella dell'endpoint non contiene dati per la destinazione, quindi il passaggio successivo consiste nel controllare la tabella di routing alla ricerca della route con il prefisso più lungo corrispondente alla destinazione:

leaf1# show ip route 10.1.2.1 vrf Prod:VRF1
IP Route Table for VRF "Prod:VRF1"
'*' denotes best ucast next-hop
'**' denotes best mcast next-hop
'[x/y]' denotes [preference/metric]
'%<string>' in via output denotes VRF <string>

10.1.2.0/24, ubest/mbest: 1/0, attached, direct, pervasive
   *via 10.0.8.65%overlay-1, [1/0], 01:40:18, static, tag 4294967294
        recursive next hop: 10.0.8.65/32%overlay-1

Il frame alla /24 BD subnet 10.1.2.0/24 viene incapsulato dalla foglia nella VXLAN con la destinazione TEP 10.0.8.65 (anycast-v4 sul dorso). Il frame utilizzerà un ID VXLAN che è il VRF VNID.

Ricerca COOP sul dorso — IP di destinazione noto

Il pacchetto raggiungerà una delle spine che esegue la ricerca COOP nel database IP. È necessario verificare l'origine e l'IP di destinazione deve essere appreso correttamente dal database COOP.

Per trovare un indirizzo IP nel database COOP, la chiave è VRF VNID (2097154 in questo esempio)

Come si evince dall'output sottostante, si conferma che il database COOP ha correttamente la voce relativa all'IP di origine di TEP 10.0.88.95 (foglia1).

spine1# show coop internal info ip-db key 2097154 10.1.1.1
IP address : 10.1.1.1
Vrf : 2097154
Flags : 0
EP bd vnid : 15302583
EP mac :  00:00:10:01:01:01
Publisher Id : 10.0.88.95
Record timestamp : 10 01 2019 14:16:50 522482647
Publish timestamp : 10 01 2019 14:16:50 532239332
Seq No: 0
Remote publish timestamp: 01 01 1970 00:00:00 0
URIB Tunnel Info
Num tunnels : 1
       Tunnel address : 10.0.88.95
       Tunnel ref count : 1

L'output seguente mostra che il database COOP ha correttamente la voce per l'IP di destinazione da TEP 10.0.96.66 (Anycast TEP della coppia foglia3 e 4 VPC)

spine1# show coop internal info ip-db key 2097154 10.1.2.1
IP address : 10.1.2.1
Vrf : 2097154
Flags : 0
EP bd vnid : 15957974
EP mac :  00:00:10:01:02:01
Publisher Id : 10.0.88.90
Record timestamp : 10 01 2019 14:52:52 558812544
Publish timestamp : 10 01 2019 14:52:52 559479076
Seq No: 0
Remote publish timestamp: 01 01 1970 00:00:00 0
URIB Tunnel Info
Num tunnels : 1
       Tunnel address : 10.0.96.66
       Tunnel ref count : 1

In questo scenario, COOP conosce l'IP di destinazione, quindi riscriverà l'IP di destinazione dell'intestazione IP esterna nel pacchetto VXLAN su 10.0.96.66 e lo invierà a foglia3 o foglia4 (a seconda dell'hashing ECMP). Notare che l'IP di origine del frame VXLAN non viene modificato, quindi rimane il PTEP foglia1.

Ricerca COOP sul dorso - IP di destinazione sconosciuto

Nel caso in cui la voce COOP per l'IP di destinazione non sia popolata (endpoint silenzioso o obsoleto), la spine genererà una spina ARP per risolverla. Per ulteriori informazioni, consultare la sezione "Inoltro di più dispositivi".

Riepilogo inoltro ACI

Il disegno seguente riepiloga l'inoltro ACI per il layer 2 e il layer 3.