目錄

簡介

必要條件

需求

採用元件

背景資訊

設定

UCS QoS開箱即用

預設QoS配置

show queuing interface命令

IOM埠編號

show interface priority-flow-control

如果啟用Silver會怎樣？

如果小銀是大銀呢？

如果Silver被禁止丟棄呢？

上游Nexus 5000

show running-config ipqos

show queuing interface

show interface priority-flow-control

將FCoE新增到配置

show interface priority-flow-control

PFC

為什麼PFC不協商？

兩端的無丟棄QoS策略必須匹配。

每端的系統qos必須匹配

NetApp

金牌

非對稱QoS

未定義的QoS

虛擬計算環境(VCE)QoS

淺層緩衝區

緩衝區更大

9216 MTU與9000 MTU

PFC和PPP

疑難排解

相關資訊

簡介

本檔案介紹整合運算系統(UCS)和Nexus裝置中的服務品質(QoS)組態。

必要條件

需求

本文件沒有特定需求。

採用元件

本文中的資訊係根據以下軟體和硬體版本：

- UCS光纖互連(FI)6100和6200

- Nexus 5000和5500

本文中的資訊是根據特定實驗室環境內的裝置所建立。文中使用到的所有裝置皆從已清除（預設）的組態來啟動。如果您的網路運作中，請確保您瞭解任何指令可能造成的影響。

背景資訊

本文檔介紹與FlexPod和vBlock特別相關的UCS（6100和6200交換矩陣互聯）和Nexus（5000和5500）QoS。

本文檔中使用的與QoS相關的術語。

CoS =服務類別= 802.1p = 3位（在每個資料包的。1q報頭中），告知交換機如何分類。

QoS =服務品質=交換器處理每個服務類別的方式。

MTU =最大傳輸單位=交換機上允許的幀/資料包的最大大小。最常見和預設（正常為以下UCS螢幕截圖顯示的內容）為1500。

設定

UCS QoS開箱即用

供參考的UCS QoS設定（UCSM/LAN/QoS系統類）：

附註：盡力而為和光纖通道呈灰色顯示，無法在UCS中禁用。

預設QoS配置

P10-UCS-A(nxos)# show running-config ipqos

logging level ipqosmgr 2

class-map type qos class-fcoe

class-map type queuing class-fcoe

match qos-group 1

class-map type queuing class-all-flood

match qos-group 2

class-map type queuing class-ip-multicast

match qos-group 2

policy-map type qos system_qos_policy

class class-fcoe

set qos-group 1

class class-default

policy-map type queuing system_q_in_policy

class type queuing class-fcoe

bandwidth percent 50

class type queuing class-default

bandwidth percent 50

policy-map type queuing system_q_out_policy

class type queuing class-fcoe

bandwidth percent 50

class type queuing class-default

bandwidth percent 50

class-map type network-qos class-fcoe

match qos-group 1

class-map type network-qos class-all-flood

match qos-group 2

class-map type network-qos class-ip-multicast

match qos-group 2

policy-map type network-qos system_nq_policy

class type network-qos class-fcoe

pause no-drop

mtu 2158

class type network-qos class-default

system qos

service-policy type qos input system_qos_policy

service-policy type queuing input system_q_in_policy

service-policy type queuing output system_q_out_policy

service-policy type network-qos system_nq_policy

相關資訊：

- qos-group是交換機內部處理給定CoS的方式。將qos組視為每個資料包進入的桶或通道。

- 盡力而為沒有明確的qos組，因此預設設定為qos組0

- 乙太網光纖通道(FCoE)具有CoS 3，並進入qos組1

CoS <=> qos組備忘單

CoS

qos群組

白金

5

2

金牌

4

3

銀牌

2

4

銅牌

1

5

盡最大努力

任何

0

光纖通道

3

1

UCS可以將CoS更改為CoS 6。CoS 7保留用於內部UCS通訊。

show queuing interface命令

P10-UCS-A(nxos)# show queuing interface

Ethernet1/1 queuing information:

TX Queuing

qos-group  sched-type  oper-bandwidth

0       WRR             50

1       WRR             50

RX Queuing

qos-group 0

q-size: 360640, HW MTU: 1500 (1500 configured)

drop-type: drop, xon: 0, xoff: 360640

Statistics:

Pkts received over the port             : 27957

Ucast pkts sent to the cross-bar        : 0

Mcast pkts sent to the cross-bar        : 27957

Ucast pkts received from the cross-bar  : 0

Pkts sent to the port                   : 347

Pkts discarded on ingress               : 0

Per-priority-pause status               : Rx (Inactive), Tx (Inactive)

qos-group 1

q-size: 79360, HW MTU: 2158 (2158 configured)

drop-type: no-drop, xon: 20480, xoff: 40320

Statistics:

Pkts received over the port             : 0

Ucast pkts sent to the cross-bar        : 0

Mcast pkts sent to the cross-bar        : 0

Ucast pkts received from the cross-bar  : 0

Pkts sent to the port                   : 0

Pkts discarded on ingress               : 0

Per-priority-pause status               : Rx (Inactive), Tx (Inactive)

Total Multicast crossbar statistics:

Mcast pkts received from the cross-bar      : 347

此輸出顯示了此介面如何為每個類排隊。

有關switchport Ethernet 1/1的資訊：

- Best Effort獲取緩衝區的qos組0和q大小360640位元組，MTU為1500。

- 此連線埠已輸入/接收到27957佳努力封包和已輸入/傳送的347封包。

- 「Pkts discarded on ingress」是已接收的封包數，但在緩衝區已滿且交換器決定捨棄的瞬間，這亦稱為尾部捨棄。

IOM埠編號

UCS機箱中輸入和輸出模組(IOM)埠的Show queuing interface:

Ethernet1/1/1 queuing information:

Input buffer allocation:

Qos-group: 1

frh: 3

drop-type: no-drop

cos: 3

xon       xoff      buffer-size

---------+---------+-----------

8960      14080     24320

Qos-group: 0

frh: 8

drop-type: drop

cos: 0 1 2 4 5 6

xon       xoff      buffer-size

---------+---------+-----------

0         117760    126720

Queueing:

queue    qos-group    cos            priority  bandwidth mtu

--------+------------+--------------+---------+---------+----

2        0            0 1 2 4 5 6     WRR        50      1600

3        1            3               WRR        50      2240

Queue limit: 66560 bytes

Queue Statistics:

queue  rx              tx

------+---------------+---------------

2      18098           28051

3      0               0

Port Statistics:

rx drop         rx mcast drop   rx error        tx drop         mux ovflow

---------------+---------------+---------------+---------------+--------------

0               0               0               0                InActive

Priority-flow-control enabled: yes

Flow-control status:

cos     qos-group   rx pause  tx pause  masked rx pause

-------+-----------+---------+---------+---------------

0              0    xon       xon       xon

1              0    xon       xon       xon

2              0    xon       xon       xon

3              1    xon       xon       xon

4              0    xon       xon       xon

5              0    xon       xon       xon

6              0    xon       xon       xon

7            n/a    xon       xon       xon

存在qos組0和qos組1,qos組0獲取標有cos 0 1 2 4 5 6的資料包，而qos組1獲取cos 3。交換矩陣擴展器(FEX)/IOM上的緩衝區大小略小且只有126720位元組。FEX對QoS的處理稍有不同，它採用多個QoS組並將它們捆綁到隊列中。可以看到每個隊列的rx和tx計數器。

show interface priority-flow-control

要簽出的最後一個輸出為：show interface priority-flow-control

P10-UCS-A(nxos)# show interface priority-flow-control

============================================================

Port               Mode Oper(VL bmap)  RxPPP      TxPPP

============================================================

Ethernet1/1        Auto Off           0          0

Ethernet1/2        Auto Off           0          0

Ethernet1/3        Auto Off           0          0

Ethernet1/4        Auto Off           6          0

Ethernet1/5        Auto Off           0          0

Ethernet1/6        Auto Off           0          0

Ethernet1/7        Auto Off           0          0

Ethernet1/8        Auto Off           0          0

Ethernet1/9        Auto Off           0          0

Ethernet1/10       Auto Off           2          0

..snip..

Vethernet733       Auto Off           0          0

Vethernet735       Auto Off           0          0

Vethernet737       Auto Off           0          0

Ethernet1/1/1      Auto On  (8)       0          0

Ethernet1/1/2      Auto Off           0          0

Ethernet1/1/3      Auto On  (8)       0          0

Ethernet1/1/4      Auto Off           0          0

這顯示優先順序流量控制(PFC)會交涉哪些介面（自動開啟），以及PFC不會交涉哪些介面（自動關閉）。PFC是交換機要求鄰居交換機在短時間內不傳送特定CoS資料包的一種方法。當緩衝區已滿/幾乎已滿時，會發生PFC暫停（PPP，每優先順序暫停）。「show cdp neighbors」和「show fex details」的輸出告訴我們，此乙太網1/1-4連線到機箱1的FEX/IOM，乙太網1/9-10連線到Nexus 5000。在此輸出中，6個暫停傳送到乙太網1/4上的FEX/IOM，2個暫停從Ethernet1/10傳送到上游Nexus 5000。

- PPP本身並非壞事！

附註：由於FEX/IOM實際上不是交換機，因此PFC不會在Ethernet1/1-4上在它們之間進行協商，但可以協商到終端Ethernet1/1/1。傳送到FEX/IOM的PPP會從遠端交換機埠Ethernet1/1/1發出。

這就是UCS QoS開箱即用的樣子…….

如果啟用Silver會怎樣？

這會導致以下配置：

class-map type qos class-fcoe

class-map type qos match-all class-silver match cos 2 class-map type queuing class-silver match qos-group 4

class-map type queuing class-all-flood

match qos-group 2

class-map type queuing class-ip-multicast

match qos-group 2

policy-map type qos system_qos_policy

class class-silver set qos-group 4

policy-map type queuing system_q_in_policy

class type queuing class-silver bandwidth percent 44

class type queuing class-fcoe

bandwidth percent 29

class type queuing class-default

bandwidth percent 27

policy-map type queuing system_q_out_policy

class type queuing class-silver bandwidth percent 44

class type queuing class-fcoe

bandwidth percent 29

class type queuing class-default

bandwidth percent 27

policy-map type queuing org-root/ep-qos-Default-Qos

class type queuing class-fcoe

class type queuing class-default

bandwidth percent 50

shape 40000000 kbps 10240

class-map type network-qos class-silver match qos-group 4class-map type network-qos class-all-flood

match qos-group 2

class-map type network-qos class-ip-multicast

match qos-group 2

policy-map type network-qos system_nq_policy

class type network-qos class-silver

class type network-qos class-fcoe

pause no-drop

mtu 2158

class type network-qos class-default

system qos

service-policy type qos input system_qos_policy

service-policy type queuing input system_q_in_policy

service-policy type queuing output system_q_out_policy

service-policy type network-qos system_nq_policy

Ethernet1/1 queuing information:

TX Queuing

qos-group  sched-type  oper-bandwidth

0       WRR             27

1       WRR             29

4       WRR             44

RX Queuing

qos-group 0

q-size: 308160, HW MTU: 9216 (9216 configured)

drop-type: drop, xon: 0, xoff: 301120

Statistics:

Pkts received over the port             : 12

Ucast pkts sent to the cross-bar        : 12

Mcast pkts sent to the cross-bar        : 0

Ucast pkts received from the cross-bar  : 17

Pkts sent to the port                   : 17

Pkts discarded on ingress               : 0

Per-priority-pause status               : Rx (Inactive), Tx (Inactive)

qos-group 1

q-size: 79360, HW MTU: 2158 (2158 configured)

drop-type: no-drop, xon: 20480, xoff: 40320

Statistics:

Pkts received over the port             : 7836003

Ucast pkts sent to the cross-bar        : 7836003

Mcast pkts sent to the cross-bar        : 0

Ucast pkts received from the cross-bar  : 4551954

Pkts sent to the port                   : 4551954

Pkts discarded on ingress               : 0

Per-priority-pause status               : Rx (Inactive), Tx (Inactive)

qos-group 4 q-size: 22720, HW MTU: 1500 (1500 configured)

drop-type: drop, xon: 0, xoff: 22720

Statistics:

Pkts received over the port             : 0

Ucast pkts sent to the cross-bar        : 0

Mcast pkts sent to the cross-bar        : 0

Ucast pkts received from the cross-bar  : 0

Pkts sent to the port                   : 0

Pkts discarded on ingress               : 0

Per-priority-pause status               : Rx (Inactive), Tx (Inactive)

請注意，Best Effort(qos-group 0) q-size從360640變為308160，因為Silver(qos-group 4)分配了22720個緩衝區空間。

如果小銀是大銀呢？

將MTU設定為9216。

Ethernet1/1 queuing information:

TX Queuing

qos-group  sched-type  oper-bandwidth

0       WRR             27

1       WRR             29

4       WRR             44

RX Queuing

qos-group 0

q-size: 301120, HW MTU: 9216 (9216 configured)

drop-type: drop, xon: 0, xoff: 301120

Statistics:

Pkts received over the port             : 3

Ucast pkts sent to the cross-bar        : 3

Mcast pkts sent to the cross-bar        : 0

Ucast pkts received from the cross-bar  : 0

Pkts sent to the port                   : 0

Pkts discarded on ingress               : 0

Per-priority-pause status               : Rx (Inactive), Tx (Inactive)

qos-group 1

q-size: 79360, HW MTU: 2158 (2158 configured)

drop-type: no-drop, xon: 20480, xoff: 40320

Statistics:

Pkts received over the port             : 7842224

Ucast pkts sent to the cross-bar        : 7842224

Mcast pkts sent to the cross-bar        : 0

Ucast pkts received from the cross-bar  : 4555791

Pkts sent to the port                   : 4555791

Pkts discarded on ingress               : 0

Per-priority-pause status               : Rx (Inactive), Tx (Inactive)

qos-group 4

q-size: 29760, HW MTU: 9216 (9216 configured)

drop-type: drop, xon: 0, xoff: 29760

Statistics:

Pkts received over the port             : 0

Ucast pkts sent to the cross-bar        : 0

Mcast pkts sent to the cross-bar        : 0

Ucast pkts received from the cross-bar  : 0

Pkts sent to the port                   : 0

Pkts discarded on ingress               : 0

Per-priority-pause status               : Rx (Inactive), Tx (Inactive)

Silver(qos-group 4)現在的q大小為29760，高於22720。

如果Silver被禁止丟棄呢？

取消選中Packet Drop設定？

Ethernet1/1 queuing information:

TX Queuing

qos-group  sched-type  oper-bandwidth

0       WRR             27

1       WRR             29

4       WRR             44

RX Queuing

qos-group 0

q-size: 240640, HW MTU: 9216 (9216 configured)

drop-type: drop, xon: 0, xoff: 240640

Statistics:

Pkts received over the port             : 20

Ucast pkts sent to the cross-bar        : 20

Mcast pkts sent to the cross-bar        : 0

Ucast pkts received from the cross-bar  : 1

Pkts sent to the port                   : 1

Pkts discarded on ingress               : 0

Per-priority-pause status               : Rx (Inactive), Tx (Inactive)

qos-group 1

q-size: 79360, HW MTU: 2158 (2158 configured)

drop-type: no-drop, xon: 20480, xoff: 40320

Statistics:

Pkts received over the port             : 7837323

Ucast pkts sent to the cross-bar        : 7837323

Mcast pkts sent to the cross-bar        : 0

Ucast pkts received from the cross-bar  : 4552726

Pkts sent to the port                   : 4552726

Pkts discarded on ingress               : 0

Per-priority-pause status               : Rx (Inactive), Tx (Inactive)

qos-group 4 q-size: 90240, HW MTU: 9216 (9216 configured)

drop-type: no-drop, xon: 17280, xoff: 37120

Statistics:

Pkts received over the port             : 0

Ucast pkts sent to the cross-bar        : 0

Mcast pkts sent to the cross-bar        : 0

Ucast pkts received from the cross-bar  : 0

Pkts sent to the port                   : 0

Pkts discarded on ingress               : 0

Per-priority-pause status               : Rx (Inactive), Tx (Inactive)

請注意Silver(qos-group 4)q-size變為90240,drop-type變為no-drop,Best Effort qos-group 0變為240640。

盡力而為qos組0緩衝區空間重新分配至其他QoS類。

上游Nexus 5000

Nexus 5000預設qos配置類似，但不精確。

show running-config ipqos

P10-5k-a# show running-config ipqos

policy-map type network-qos jumbo

class type network-qos class-fcoe

pause no-drop

mtu 2158

class type network-qos class-default

mtu 9216

multicast-optimize

system qos

service-policy type network-qos jumbo

Nexus 5000隱藏預設選項，因此show running-config ipqos all是檢視整個配置所必需的。

show queuing interface

P10-5k-a# show queuing interface

Ethernet1/1 queuing information:

TX Queuing

qos-group  sched-type  oper-bandwidth

0       WRR            100

1       WRR              0

RX Queuing

qos-group 0

q-size: 360640, HW MTU: 9216 (9216 configured)

drop-type: drop, xon: 0, xoff: 360640

Statistics:

Pkts received over the port             : 16

Ucast pkts sent to the cross-bar        : 16

Mcast pkts sent to the cross-bar        : 0

Ucast pkts received from the cross-bar  : 0

Pkts sent to the port                   : 0

Pkts discarded on ingress               : 0

Per-priority-pause status               : Rx (Inactive), Tx (Inactive)

qos-group 1

q-size: 79360, HW MTU: 2158 (2158 configured)

drop-type: no-drop, xon: 20480, xoff: 40320

Statistics:

Pkts received over the port             : 0

Ucast pkts sent to the cross-bar        : 0

Mcast pkts sent to the cross-bar        : 0

Ucast pkts received from the cross-bar  : 0

Pkts sent to the port                   : 0

Pkts discarded on ingress               : 0

Per-priority-pause status               : Rx (Inactive), Tx (Inactive)

show interface priority-flow-control

通向UCS(Ethernet1/1 - 2)的埠關閉了PFC（自動關閉）。

P10-5k-a(config-if-range)# show interface priority-flow-control

============================================================

Port               Mode Oper(VL bmap)  RxPPP      TxPPP

============================================================

Ethernet1/1        Auto Off           0          0

Ethernet1/2        Auto Off           0          0

Ethernet1/3        Auto Off           0          0

Ethernet1/4        Auto Off           0          0

Ethernet1/5        Auto Off           0          0

Ethernet1/6        Auto Off           0          0

Ethernet1/7        Auto Off           0          0

Ethernet1/8        Auto Off           0          0

Ethernet1/9        Auto Off           0          0

Ethernet1/10       Auto On  (0)       0          0

Ethernet1/11       Auto On  (0)       0          0

Ethernet1/12       Auto On  (0)       0          0

Ethernet1/13       Auto On  (0)       0          0

..snip..

將FCoE新增到配置

預設情況下，這些策略存在於Nexus 5000上，但未啟用，因此只需使用這些策略。

system qos

service-policy type queuing input fcoe-default-in-policy

service-policy type queuing output fcoe-default-out-policy

service-policy type qos input fcoe-default-in-policy

show interface priority-flow-control

通向UCS(Ethernet1/1 - 2)的埠上啟用了PFC（自動開啟）。

P10-5k-a(config-sys-qos)# sh int priority-flow-control

============================================================

Port               Mode Oper(VL bmap)  RxPPP      TxPPP

============================================================

Ethernet1/1        Auto On  (8)       0          0

Ethernet1/2        Auto On  (8)       0          0

Ethernet1/3        Auto Off           0          0

Ethernet1/4        Auto Off           0          0

..snip..

PFC

PFC(802.1Qbb)是Nexus/UCS裝置建立無損交換矩陣的方式，作為資料中心橋接(DCBX)的一部分。FCoE需要無損交換矩陣，多跳FCoE尤其容易出現此配置問題。上游交換機（通常是Nexus 5000）必須與UCS上配置的QoS設定相匹配。

如前所述，PFC是交換機通知相鄰交換機停止傳送額外幀的一種方式。在流量同時流向多個的多交換器網路環境中考慮此情況，不僅會新增路徑1(source1/destination1)的緩衝區，而且會增加緩衝區，因為鄰居交換器可能具有進入多個連線埠（多個緩衝區）的流量。 雖然使用IP儲存時不需要使用PFC，但此緩衝區的倍增效果通常有助於顯著提高效能，防止不必要的資料包丟失。

出色的PFC/DCBX概述。

為什麼PFC不協商？

兩端的無丟棄QoS策略必須匹配。

如果在一台交換機上將QoS類定義為no-drop，而不是在另一台交換機上定義為no-drop，則PFC不會協商。由於UCS將白金配置為無丟棄但開箱即禁用，因此當啟用白金時，通常會發生這種情況。

每端的系統qos必須匹配

如果隊列輸入和隊列輸出與qos輸入不匹配，則PFC不會協商。

NetApp

金牌

預設情況下，NetApp檔案管理器會傳送所有IP儲存流量，這些流量是由CoS 4(Gold)中的NetApp標籤的VLAN。 由於CoS位在NetApp連線到接入埠時位於。1q報頭中，因此NetApp流量會盡力而為。

非對稱QoS

常見的配置錯誤是選擇另一個CoS顏色（銀色）將網路檔案系統NFS流量從UCS放入並返回NetApp的NFS流量放入金色。因此，流量是這樣的：

伺服器

UCS

Nexus 5k

NetApp

傳送

銀牌>

銀牌>

盡最大努力

接收

<金牌

<金牌

<金牌

如果將UCS配置為銀級為巨型而非金級，則會導致問題。

未定義的QoS

如果未啟用QoS類別（白金/金牌/銀牌/銅牌），UCS和Nexus裝置會將這些資料包視為盡力而為並將其放入qos組0。

伺服器

UCS

Nexus 5k

NetApp

傳送

銀牌>

盡最大努力>

盡最大努力

接收

<金牌

<最大努力

<金牌

附註：封包上的CoS位元不會變更/標籤，但封包的處理方式會有所不同。

虛擬計算環境(VCE)QoS

VCE QoS設計不夠理想。

Nexus 1k

UCS

Nexus 5k

BE/CoS 0

1500

1500

1600

FC/CoS 1

-

2158（無丟棄）

-

CoS 6

管理

-

-

白金級/CoS 5

-

1500（無丟棄）

1500

金牌/CoS 4

vmotion

1500

1500

銀牌/CoS 2

NFS

-

9216（無丟棄）

如果您在一個級別上定義了CoS類，但在另一個級別上忽略了該類，那麼情況就很複雜了，可能會使事情無法按預期的方式運行。例如，VCE使用Silver進行NFS，但如果UCS沒有Silver定義，則此流量在Best Effort中排隊（不是巨量流量）並可能導致NFS流量被丟棄或分段。由於無丟棄策略中的不匹配，未協商PFC，但顯然這是正常的，因為乙太網不需要PFC。

淺層緩衝區

基於網際網路通訊協定(IP)的儲存通訊協定都是極具突發性的通訊協定，而且經常設定為9000 MTU。因此，由於29760 q-size / 9000 MTU只允許在引起尾部丟棄之前將3個資料包放入緩衝區，因此它們在白金/金牌/銀牌/銅牌中的效能較差。

緩衝區更大

UCS乙太網策略允許增加vNIC緩衝區（環大小）。預設值為512，最大值為4096。如果將此值更改為最大值，則完全緩衝區延遲(##KB / 10Gbps)從0.4ms增加到3.2ms。因此，此緩衝區的更改允許更少的丟棄，但代價是延遲增加。

9216 MTU與9000 MTU

Jumbo Frames配置的要點是允許終端裝置使用9000位元組第3層資料包與另一個終端裝置通訊。當使用第2層封裝技術時，端點裝置之間的交換機和路由器需要能夠處理比9000 MTU第3層資料包略大的第2層幀，以計算封裝開銷。有疑問時，允許交換機上有9216 MTU。

PFC和PPP

當新資料包排隊時，緩衝區將填滿。

當緩衝區達到20k時，緩衝區繼續填充。

當緩衝區達到40k時，如果此隊列為no-drop，交換機將傳送PPP暫停，這表示遠端交換機要停止傳送流量。

理想情況下，遠端會很快停止傳送流量，而緩衝區(79360-40320)的其餘部分會保留傳入的飛行中封包。

緩衝區滿時，「Pkts discarded on ingress」計數器會遞增。

FC和FCoE是一種無損協定，在理想情況下，遠端交換機停止傳送流量，而緩衝區級別最終下降並達到20k。交換器會為此無捨棄佇列傳送另一個PPP unpause，告知遠端交換器重新開始傳送流量。

疑難排解

目前尚無適用於此組態的具體疑難排解資訊。

相關資訊

- UCS Manager網路管理指南4.0版

- Nexus 5000系列服務品質配置指南

- UCS with VMware Esxi端到端巨型MTU配置示例

- 技術支援與文件 - Cisco Systems