iBGP multipath在MPLS 环境下等价路由负载不均衡问题的排障

下载选项

PDF (331.1 KB)
在各种设备上使用 Adobe Reader 查看
ePub (146.4 KB)
在 iPhone、iPad、Android、Sony Reader 或 Windows Phone 上使用各种应用查看
Mobi (Kindle) (69.9 KB)
在 Kindle 设备上查看或在多个设备上使用 Kindle 应用查看

已更新: 2011 年 3 月 23 日

非歧视性语言

此产品的文档集力求使用非歧视性语言。在本文档集中，非歧视性语言是指不隐含针对年龄、残障、性别、种族身份、族群身份、性取向、社会经济地位和交叉性的歧视的语言。由于产品软件的用户界面中使用的硬编码语言、基于 RFP 文档使用的语言或引用的第三方产品使用的语言，文档中可能无法确保完全使用非歧视性语言。深入了解思科如何使用包容性语言。

当地语言翻译版本说明

思科可能会在某些地方提供本内容的当地语言翻译版本。请注意，翻译版本仅供参考，如有任何不一致之处，以本内容的英文版本为准。

硬件平台

Cisco 12000 系列路由器

软件版本

12.0S，12.0SY

案例简介

上图是运营商中常见的一种网络拓扑，可见于城域网或省网。以上图为例，AS100 为城域网，AS200为骨干网。AS100与AS200通过两条路径互连，设计上希望从AS100去往AS200的出口流量在两个出口上实现负载均担。常见的一种做法是在AS100内部的iBGP上配置iBGP multipath, 这样对每个AS200广播过来的路由，AS100内部的iBGP路由器对它有两个路径，分别指向两个出口路由器。以上图为例，AS200向AS100广播一个100.100.1.0/24的路由，R1上的BGP 表显示这个路由的两条路径都被选中，它们的下一跳分别指向R5和R6的loopback地址。

R1#show ip bgp 100.100.1.0
BGP routing table entry for 100.100.1.0/24, version 43
Paths: (2 available, best #1)
Multipath: iBGP
Flag: 0x820
  Not advertised to any peer
  200
    5.5.5.5 (metric 20) from 5.5.5.5 (5.5.5.5)
      Origin IGP, metric 0, localpref 100, valid, internal, multipath, best
  200
    6.6.6.6 (metric 20) from 6.6.6.6 (6.6.6.6)
      Origin IGP, metric 0, localpref 100, valid, internal, multipath

关于路由协议配置方面，AS100 内部跑IS-IS, R1，R5和R6之间跑iBGP。R1和R5上主要的BGP配置情况如下，R6的配置与R5类似：

R1：

router bgp 100
 bgp router-id 1.1.1.1
 neighbor 5.5.5.5 remote-as 100
 neighbor 5.5.5.5 update-source Loopback0
 neighbor 6.6.6.6 remote-as 100
 neighbor 6.6.6.6 update-source Loopback0
 maximum-paths ibgp 4

R5：

router bgp 100
 bgp router-id 5.5.5.5
 neighbor 1.1.1.1 remote-as 100
 neighbor 1.1.1.1 update-source Loopback0
 neighbor 1.1.1.1 next-hop-self
 neighbor 6.6.6.6 remote-as 100
 neighbor 6.6.6.6 update-source Loopback0
 neighbor 6.6.6.6 next-hop-self
 neighbor 9.9.57.7 remote-as 200
 maximum-paths ibgp 4

在大部分情况下，城域网内部都开启了MPLS，以提供MPLS L2/L3 VPN，MPLS TE等服务。对于MPLS，通常只有IGP路由及各个路由器的loopback地址参与MPLS标签分发。这种情况下，有时候会发现R5，R6上出口流量并不特别均衡的现象。

R5，R6上的出口流量均分是基于流的、per destination的统计上的平均，在城域或省域流量的情况下，两边的出流量不应相差很大，但问题是在上述部署中有时会出现两边出流量相差很大的情况，最坏时甚至只有一个出口有流量，而另一个出口几乎没有流量。如上图的例子，只有 R5上有去往AS200的流量，而R6上去往AS200的流量几乎为零。

故障诊断步骤

通过对端口流量速率和MPLS forwarding 转发表的观察，通过R1去往AS200的流量只经由以下两种路径：

R1--->R3--->R5--->R7 和 R1--->R4--->R5--->R7

路由器转发所用的hash算法，以及流量的内容和特性等本身的原因基本可以排除。首先检查CEF 表：

R1#show ip cef 100.100.1.0 255.255.255.0
100.100.1.0/24, version 86, epoch 0, per-destination sharing
0 packets, 0 bytes
  tag information from 5.5.5.5/32, shared, all rewrites owned
    local tag: 43
  via 6.6.6.6, 0 dependencies, recursive
    traffic share 1
    next hop 9.9.14.4, Ethernet2/0 via 6.6.6.6/32 (Default)
    valid adjacency (0x0172F288)
    tag rewrite with Et2/0, 9.9.14.4, tags imposed {18}
  via 5.5.5.5, 0 dependencies, recursive
    traffic share 1
    next hop 9.9.14.4, Ethernet2/0 via 5.5.5.5/32 (Default)
    valid adjacency (0x0172F288)
    tag rewrite with Et1/0, 9.9.13.3, tags imposed {19}

  Multilevel loadinfo missing some IGP paths
  0 packets, 0 bytes switched through the prefix
  tmstats: external 0 packets, 0 bytes
           internal 0 packets, 0 bytes

虽然CEF表显示100.100.1.0/24有分别经过R5 loopback0 5.5.5.5 和R6 loopback0 6.6.6.6两条递归路由，但是在12.0S 和12.0SY系列的IOS 中，对于这种指向多个bgp nexthop的BGP路由，如果只是CEF转发，则CEF会选择所有的BGP nexthop路径，然后为每个BGP nexthop选取一个IGP路径（即使每个BGP nexthop也有多个IGP等价路径）。

MPLS与CEF不同，MPLS forwarding只会选择一个BGP nexthop，然后在这个nexthop 的所有LSP上做负载分担，这也是上面"tag information from 5.5.5.5/32，shared"所表示的，它只选了R5 5.5.5.5。

由于AS100内部的所有路由器都开启了MPLS，通过以下的MPLS forwarding表可以看到，去往100.100.1.0/24的流量会分别从E2/0发送并压上标签18和从E1/0发送并压上标签19，但这两种情况都是属于去往R5 loopback0 5.5.5.5的LSP的。

R1#show mpls forwarding 100.100.1.0 24 detail
Local  Outgoing    Prefix            Bytes tag  Outgoing   Next Hop    
tag    tag or VC   or Tunnel Id      switched   interface              
43     18          100.100.1.0/24    0          Et2/0      9.9.14.4     
        MAC/Encaps=14/18, MRU=1500, Tag Stack{18}
        AABBCC00CC00AABBCC00C9028847 00012000
        No output feature configured
    Per-destination load-sharing, slots:  0 2 4 6 8 10 12 14
       19          100.100.1.0/24    0          Et1/0      9.9.13.3     
        MAC/Encaps=14/18, MRU=1500, Tag Stack{19}
        AABBCC00CB00AABBCC00C9018847 00013000
        No output feature configured


R1#show mpls forwarding-table 
Local  Outgoing    Prefix            Bytes tag  Outgoing   Next Hop    
tag    tag or VC   or Tunnel Id      switched   interface              
41     Pop tag     3.3.3.3/32        0          Et1/0      9.9.13.3     
42     Pop tag     4.4.4.4/32        0          Et2/0      9.9.14.4     
43     18          5.5.5.5/32        0          Et2/0      9.9.14.4    
       19          5.5.5.5/32        0          Et1/0      9.9.13.3    
44     19          6.6.6.6/32        0          Et2/0      9.9.14.4     
       20          6.6.6.6/32        0          Et1/0      9.9.13.3

解决方案

由于Cisco 12000 上多层递归路由的等价路径负载分担功能目前只在IOS XR上支持，而IOS上并不支持，为了满足去往AS200的流量分担于R5和R6出口的需求，可以考虑在AS100内部的BGP路由器上启动BGP send label功能，让BGP为BGP路由分配标签，这样MPLS forwarding 会用上所有的BGP nexthop的 LSP。

相关配置和验证过程如下：

R1，R5和R6上都启用bgp neighbor send-label。以下仅列出R1和R5上的相关配置，R6与R5类似。

R1:

router bgp 100
 bgp router-id 1.1.1.1
 neighbor 5.5.5.5 remote-as 100
 neighbor 5.5.5.5 update-source Loopback0
 neighbor 5.5.5.5 send-label
 neighbor 6.6.6.6 remote-as 100
 neighbor 6.6.6.6 update-source Loopback0
 neighbor 6.6.6.6 send-label
 maximum-paths ibgp 4

R5：

router bgp 100
 bgp router-id 5.5.5.5
 neighbor 1.1.1.1 remote-as 100
 neighbor 1.1.1.1 update-source Loopback0
 neighbor 1.1.1.1 next-hop-self
 neighbor 1.1.1.1 send-label
 neighbor 6.6.6.6 remote-as 100
 neighbor 6.6.6.6 update-source Loopback0
 neighbor 6.6.6.6 next-hop-self
 neighbor 9.9.57.7 remote-as 200
 maximum-paths ibgp 4

然后可以看到R5和R6都通过BGP为100.100.1.0/24分配了标签：

R1#show ip bgp 100.100.1.0         
BGP routing table entry for 100.100.1.0/24, version 31
Paths: (2 available, best #2)
Multipath: iBGP
  Not advertised to any peer
  200
    6.6.6.6 (metric 20) from 6.6.6.6 (6.6.6.6)
      Origin IGP, metric 0, localpref 100, valid, internal, multipath
      mpls labels in/out BGP-route(from LDP)/31
  200
    5.5.5.5 (metric 20) from 5.5.5.5 (5.5.5.5)
      Origin IGP, metric 0, localpref 100, valid, internal, multipath, best
      mpls labels in/out BGP-route(from LDP)/18

检查CEF表可以发现类似"tag information from 5.5.5.5/32, shared"的这样一行没有了，CEF选择两个BGP nexthop的LSP：

R1#show ip cef 100.100.1.0 255.255.255.0
100.100.1.0/24, version 95, epoch 0, per-destination sharing
0 packets, 0 bytes
  tag information set, all rewrites owned
    local tag: BGP route head
  via 5.5.5.5, 0 dependencies, recursive
    traffic share 1
    next hop 9.9.13.3, Ethernet1/0 via 5.5.5.5/32 (Default)
    valid adjacency
    tag rewrite with 
        Recursive rewrite via 5.5.5.5/32, tags imposed {18}
  via 6.6.6.6, 0 dependencies, recursive
    traffic share 1
    next hop 9.9.14.4, Ethernet2/0 via 6.6.6.6/32 (Default)
    valid adjacency
    tag rewrite with 
        Recursive rewrite via 6.6.6.6/32, tags imposed {31}
  0 packets, 0 bytes switched through the prefix
  tmstats: external 0 packets, 0 bytes
           internal 0 packets, 0 bytes

再从MPLS forwarding表也可以看到100.100.1.0/24有经E2/0和E1/0去往5.5.5.5以及经E2/0和E1/0去往6.6.6.6的共四个LSP路径，在R1上接收多条BGP路由的情况下，通过Pagent 流量发生器向R1注入模拟的流量，可以观察到流量均分在下述的路径上：

R1--->R3--->R5
R1--->R3--->R6
R1--->R4--->R5
R1--->R4--->R6

R1#show mpls for 100.100.1.0 24 detail
Local  Outgoing    Prefix            Bytes tag  Outgoing   Next Hop    
tag    tag or VC   or Tunnel Id      switched   interface              
None   Recursive   100.100.1.0/24    0                                  
        Recursive rewrite via 5.5.5.5/32, Tag Stack{18}
         00012000
        No output feature configured
    Per-destination load-sharing, slots:  0 2 4 6 8 10 12 14
       Recursive   100.100.1.0/24    0                                  
        Recursive rewrite via 6.6.6.6/32, Tag Stack{31}
         0001F000
        No output feature configured
    Per-destination load-sharing, slots:  1 3 5 7 9 11 13 15

R1#show mpls forwarding-table 
Local  Outgoing    Prefix            Bytes tag  Outgoing   Next Hop    
tag    tag or VC   or Tunnel Id      switched   interface              
41     Pop tag     3.3.3.3/32        0          Et1/0      9.9.13.3     
42     Pop tag     4.4.4.4/32        0          Et2/0      9.9.14.4     
43     18          5.5.5.5/32        0          Et2/0      9.9.14.4   
       19          5.5.5.5/32        0          Et1/0      9.9.13.3     
44     19          6.6.6.6/32        0          Et2/0      9.9.14.4     
       20          6.6.6.6/32        0          Et1/0      9.9.13.3

经验总结

在IOS 12.0 系列上，对于BGP multipath，在没有启用MPLS时，路由器会在所有BGP nexthop上做负载分担，但对每个BGP nexthop只会选取一个IGP路径。

当在全网启用了MPLS之后，路由器只会选取一个nexthop做转发。以上图为例，如果R1分别只直连到R5和R6，对于有多个nexthop的BGP路由，出流量可能只会走一边，比如只走R1---R5而不走R1---R6。

Cisco早已注意到了这种情况，从12.0(33)S02开始，如果路由器上同时配置了iBGP multipath和MPLS，则IOS会给出如下提示，建议启用BGP send-label：

%TFIB-4-UNSUPPORTED_CONFIG: WARNING: Using iBGP multipath feature 
with LDP or TE based LSPs towards the BGP nexthop, paths taken by 
forwarding may not be as expected. Please consider configuring BGP 
labeling (RFC 3107) for proper forwarding behavior

如果遵照IOS给出的建议，在iBGP multipath加MPLS的环境中启用BGP send-label，则可以实现BGP路由在所有iBGP nexthop的所有LSP上的负载分担。

其他相关文档

iBGP Multipath Load Sharing

Load Sharing MPLS VPN Traffic

RFC3107