在UCS和Nexus 5000上配置QoS
目錄
簡介
本檔案介紹整合運算系統(UCS)和Nexus裝置中的服務品質(QoS)組態。
必要條件
需求
本文件沒有特定需求。
採用元件
本文中的資訊係根據以下軟體和硬體版本：
- UCS光纖互連(FI)6100和6200
- Nexus 5000和5500
本文中的資訊是根據特定實驗室環境內的裝置所建立。文中使用到的所有裝置皆從已清除（預設）的組態來啟動。如果您的網路運作中，請確保您瞭解任何指令可能造成的影響。
背景資訊
本文檔介紹與FlexPod和vBlock特別相關的UCS（6100和6200交換矩陣互聯）和Nexus（5000和5500）QoS。
本文檔中使用的與QoS相關的術語。
CoS =服務類別= 802.1p = 3位（在每個資料包的。1q報頭中），告知交換機如何分類。
QoS =服務品質=交換器處理每個服務類別的方式。
MTU =最大傳輸單位=交換機上允許的幀/資料包的最大大小。最常見和預設（正常為以下UCS螢幕截圖顯示的內容）為1500。
設定
UCS QoS開箱即用
供參考的UCS QoS設定（UCSM/LAN/QoS系統類）：
預設QoS配置
P10-UCS-A(nxos)# show running-config ipqos
logging level ipqosmgr 2
class-map type qos class-fcoe
class-map type queuing class-fcoe
match qos-group 1
class-map type queuing class-all-flood
match qos-group 2
class-map type queuing class-ip-multicast
match qos-group 2
policy-map type qos system_qos_policy
class class-fcoe
set qos-group 1
class class-default
policy-map type queuing system_q_in_policy
class type queuing class-fcoe
bandwidth percent 50
class type queuing class-default
bandwidth percent 50
policy-map type queuing system_q_out_policy
class type queuing class-fcoe
bandwidth percent 50
class type queuing class-default
bandwidth percent 50
class-map type network-qos class-fcoe
match qos-group 1
class-map type network-qos class-all-flood
match qos-group 2
class-map type network-qos class-ip-multicast
match qos-group 2
policy-map type network-qos system_nq_policy
class type network-qos class-fcoe
pause no-drop
mtu 2158
class type network-qos class-default
system qos
service-policy type qos input system_qos_policy
service-policy type queuing input system_q_in_policy
service-policy type queuing output system_q_out_policy
service-policy type network-qos system_nq_policy
相關資訊：
- qos-group是交換機內部處理給定CoS的方式。將qos組視為每個資料包進入的桶或通道。
- 盡力而為沒有明確的qos組，因此預設設定為qos組0
- 乙太網光纖通道(FCoE)具有CoS 3，並進入qos組1
CoS <=> qos組備忘單
| CoS | qos群組 | |
| 白金 | 5 | 2 |
| 金牌 | 4 | 3 |
| 銀牌 | 2 | 4 |
| 銅牌 | 1 | 5 |
| 盡最大努力 | 任何 | 0 |
| 光纖通道 | 3 | 1 |
UCS可以將CoS更改為CoS 6。CoS 7保留用於內部UCS通訊。
show queuing interface命令
P10-UCS-A(nxos)# show queuing interface
Ethernet1/1 queuing information:
TX Queuing
qos-group sched-type oper-bandwidth
0 WRR 50
1 WRR 50
RX Queuing
qos-group 0
q-size: 360640, HW MTU: 1500 (1500 configured)
drop-type: drop, xon: 0, xoff: 360640
Statistics:
Pkts received over the port : 27957
Ucast pkts sent to the cross-bar : 0
Mcast pkts sent to the cross-bar : 27957
Ucast pkts received from the cross-bar : 0
Pkts sent to the port : 347
Pkts discarded on ingress : 0
Per-priority-pause status : Rx (Inactive), Tx (Inactive)
qos-group 1
q-size: 79360, HW MTU: 2158 (2158 configured)
drop-type: no-drop, xon: 20480, xoff: 40320
Statistics:
Pkts received over the port : 0
Ucast pkts sent to the cross-bar : 0
Mcast pkts sent to the cross-bar : 0
Ucast pkts received from the cross-bar : 0
Pkts sent to the port : 0
Pkts discarded on ingress : 0
Per-priority-pause status : Rx (Inactive), Tx (Inactive)
Total Multicast crossbar statistics:
Mcast pkts received from the cross-bar : 347
此輸出顯示了此介面如何為每個類排隊。
有關switchport Ethernet 1/1的資訊：
- Best Effort獲取緩衝區的qos組0和q大小360640位元組，MTU為1500。
- 此連線埠已輸入/接收到27957佳努力封包和已輸入/傳送的347封包。
- 「Pkts discarded on ingress」是已接收的封包數，但在緩衝區已滿且交換器決定捨棄的瞬間，這亦稱為尾部捨棄。
IOM埠編號
UCS機箱中輸入和輸出模組(IOM)埠的Show queuing interface:
Ethernet1/1/1 queuing information: Input buffer allocation: Qos-group: 1 frh: 3 drop-type: no-drop cos: 3 xon xoff buffer-size ---------+---------+----------- 8960 14080 24320 Qos-group: 0 frh: 8 drop-type: drop cos: 0 1 2 4 5 6 xon xoff buffer-size ---------+---------+----------- 0 117760 126720 Queueing: queue qos-group cos priority bandwidth mtu --------+------------+--------------+---------+---------+---- 2 0 0 1 2 4 5 6 WRR 50 1600 3 1 3 WRR 50 2240 Queue limit: 66560 bytes Queue Statistics: queue rx tx ------+---------------+--------------- 2 18098 28051 3 0 0 Port Statistics: rx drop rx mcast drop rx error tx drop mux ovflow ---------------+---------------+---------------+---------------+-------------- 0 0 0 0 InActive Priority-flow-control enabled: yes Flow-control status: cos qos-group rx pause tx pause masked rx pause -------+-----------+---------+---------+--------------- 0 0 xon xon xon 1 0 xon xon xon 2 0 xon xon xon 3 1 xon xon xon 4 0 xon xon xon 5 0 xon xon xon 6 0 xon xon xon 7 n/a xon xon xon
存在qos組0和qos組1,qos組0獲取標有cos 0 1 2 4 5 6的資料包，而qos組1獲取cos 3。交換矩陣擴展器(FEX)/IOM上的緩衝區大小略小且只有126720位元組。FEX對QoS的處理稍有不同，它採用多個QoS組並將它們捆綁到隊列中。可以看到每個隊列的rx和tx計數器。
show interface priority-flow-control
要簽出的最後一個輸出為：show interface priority-flow-control
P10-UCS-A(nxos)# show interface priority-flow-control ============================================================ Port Mode Oper(VL bmap) RxPPP TxPPP ============================================================ Ethernet1/1 Auto Off 0 0 Ethernet1/2 Auto Off 0 0 Ethernet1/3 Auto Off 0 0 Ethernet1/4 Auto Off 6 0 Ethernet1/5 Auto Off 0 0 Ethernet1/6 Auto Off 0 0 Ethernet1/7 Auto Off 0 0 Ethernet1/8 Auto Off 0 0 Ethernet1/9 Auto Off 0 0 Ethernet1/10 Auto Off 2 0 ..snip.. Vethernet733 Auto Off 0 0 Vethernet735 Auto Off 0 0 Vethernet737 Auto Off 0 0 Ethernet1/1/1 Auto On (8) 0 0 Ethernet1/1/2 Auto Off 0 0 Ethernet1/1/3 Auto On (8) 0 0 Ethernet1/1/4 Auto Off 0 0
這顯示優先順序流量控制(PFC)會交涉哪些介面（自動開啟），以及PFC不會交涉哪些介面（自動關閉）。PFC是交換機要求鄰居交換機在短時間內不傳送特定CoS資料包的一種方法。當緩衝區已滿/幾乎已滿時，會發生PFC暫停（PPP，每優先順序暫停）。「show cdp neighbors」和「show fex details」的輸出告訴我們，此乙太網1/1-4連線到機箱1的FEX/IOM，乙太網1/9-10連線到Nexus 5000。在此輸出中，6個暫停傳送到乙太網1/4上的FEX/IOM，2個暫停從Ethernet1/10傳送到上游Nexus 5000。
- PPP本身並非壞事！
這就是UCS QoS開箱即用的樣子…….
如果啟用Silver會怎樣？
這會導致以下配置：
class-map type qos class-fcoe
class-map type qos match-all class-silver match cos 2 class-map type queuing class-silver match qos-group 4
class-map type queuing class-all-flood
match qos-group 2
class-map type queuing class-ip-multicast
match qos-group 2
policy-map type qos system_qos_policy
class class-silver set qos-group 4
policy-map type queuing system_q_in_policy
class type queuing class-silver bandwidth percent 44
class type queuing class-fcoe
bandwidth percent 29
class type queuing class-default
bandwidth percent 27
policy-map type queuing system_q_out_policy
class type queuing class-silver bandwidth percent 44
class type queuing class-fcoe
bandwidth percent 29
class type queuing class-default
bandwidth percent 27
policy-map type queuing org-root/ep-qos-Default-Qos
class type queuing class-fcoe
class type queuing class-default
bandwidth percent 50
shape 40000000 kbps 10240
class-map type network-qos class-silver match qos-group 4class-map type network-qos class-all-flood
match qos-group 2
class-map type network-qos class-ip-multicast
match qos-group 2
policy-map type network-qos system_nq_policy
class type network-qos class-silver
class type network-qos class-fcoe
pause no-drop
mtu 2158
class type network-qos class-default
system qos
service-policy type qos input system_qos_policy
service-policy type queuing input system_q_in_policy
service-policy type queuing output system_q_out_policy
service-policy type network-qos system_nq_policy
Ethernet1/1 queuing information:
TX Queuing
qos-group sched-type oper-bandwidth
0 WRR 27
1 WRR 29
4 WRR 44
RX Queuing
qos-group 0
q-size: 308160, HW MTU: 9216 (9216 configured)
drop-type: drop, xon: 0, xoff: 301120
Statistics:
Pkts received over the port : 12
Ucast pkts sent to the cross-bar : 12
Mcast pkts sent to the cross-bar : 0
Ucast pkts received from the cross-bar : 17
Pkts sent to the port : 17
Pkts discarded on ingress : 0
Per-priority-pause status : Rx (Inactive), Tx (Inactive)
qos-group 1
q-size: 79360, HW MTU: 2158 (2158 configured)
drop-type: no-drop, xon: 20480, xoff: 40320
Statistics:
Pkts received over the port : 7836003
Ucast pkts sent to the cross-bar : 7836003
Mcast pkts sent to the cross-bar : 0
Ucast pkts received from the cross-bar : 4551954
Pkts sent to the port : 4551954
Pkts discarded on ingress : 0
Per-priority-pause status : Rx (Inactive), Tx (Inactive)
qos-group 4 q-size: 22720, HW MTU: 1500 (1500 configured)
drop-type: drop, xon: 0, xoff: 22720
Statistics:
Pkts received over the port : 0
Ucast pkts sent to the cross-bar : 0
Mcast pkts sent to the cross-bar : 0
Ucast pkts received from the cross-bar : 0
Pkts sent to the port : 0
Pkts discarded on ingress : 0
Per-priority-pause status : Rx (Inactive), Tx (Inactive)
請注意，Best Effort(qos-group 0) q-size從360640變為308160，因為Silver(qos-group 4)分配了22720個緩衝區空間。
如果小銀是大銀呢？
將MTU設定為9216。
Ethernet1/1 queuing information:
TX Queuing
qos-group sched-type oper-bandwidth
0 WRR 27
1 WRR 29
4 WRR 44
RX Queuing
qos-group 0
q-size: 301120, HW MTU: 9216 (9216 configured)
drop-type: drop, xon: 0, xoff: 301120
Statistics:
Pkts received over the port : 3
Ucast pkts sent to the cross-bar : 3
Mcast pkts sent to the cross-bar : 0
Ucast pkts received from the cross-bar : 0
Pkts sent to the port : 0
Pkts discarded on ingress : 0
Per-priority-pause status : Rx (Inactive), Tx (Inactive)
qos-group 1
q-size: 79360, HW MTU: 2158 (2158 configured)
drop-type: no-drop, xon: 20480, xoff: 40320
Statistics:
Pkts received over the port : 7842224
Ucast pkts sent to the cross-bar : 7842224
Mcast pkts sent to the cross-bar : 0
Ucast pkts received from the cross-bar : 4555791
Pkts sent to the port : 4555791
Pkts discarded on ingress : 0
Per-priority-pause status : Rx (Inactive), Tx (Inactive)
qos-group 4
q-size: 29760, HW MTU: 9216 (9216 configured)
drop-type: drop, xon: 0, xoff: 29760
Statistics:
Pkts received over the port : 0
Ucast pkts sent to the cross-bar : 0
Mcast pkts sent to the cross-bar : 0
Ucast pkts received from the cross-bar : 0
Pkts sent to the port : 0
Pkts discarded on ingress : 0
Per-priority-pause status : Rx (Inactive), Tx (Inactive)
Silver(qos-group 4)現在的q大小為29760，高於22720。
如果Silver被禁止丟棄呢？
取消選中Packet Drop設定？
Ethernet1/1 queuing information:
TX Queuing
qos-group sched-type oper-bandwidth
0 WRR 27
1 WRR 29
4 WRR 44
RX Queuing
qos-group 0
q-size: 240640, HW MTU: 9216 (9216 configured)
drop-type: drop, xon: 0, xoff: 240640
Statistics:
Pkts received over the port : 20
Ucast pkts sent to the cross-bar : 20
Mcast pkts sent to the cross-bar : 0
Ucast pkts received from the cross-bar : 1
Pkts sent to the port : 1
Pkts discarded on ingress : 0
Per-priority-pause status : Rx (Inactive), Tx (Inactive)
qos-group 1
q-size: 79360, HW MTU: 2158 (2158 configured)
drop-type: no-drop, xon: 20480, xoff: 40320
Statistics:
Pkts received over the port : 7837323
Ucast pkts sent to the cross-bar : 7837323
Mcast pkts sent to the cross-bar : 0
Ucast pkts received from the cross-bar : 4552726
Pkts sent to the port : 4552726
Pkts discarded on ingress : 0
Per-priority-pause status : Rx (Inactive), Tx (Inactive)
qos-group 4 q-size: 90240, HW MTU: 9216 (9216 configured)
drop-type: no-drop, xon: 17280, xoff: 37120
Statistics:
Pkts received over the port : 0
Ucast pkts sent to the cross-bar : 0
Mcast pkts sent to the cross-bar : 0
Ucast pkts received from the cross-bar : 0
Pkts sent to the port : 0
Pkts discarded on ingress : 0
Per-priority-pause status : Rx (Inactive), Tx (Inactive)
請注意Silver(qos-group 4)q-size變為90240,drop-type變為no-drop,Best Effort qos-group 0變為240640。
盡力而為qos組0緩衝區空間重新分配至其他QoS類。
上游Nexus 5000
Nexus 5000預設qos配置類似，但不精確。
show running-config ipqos
P10-5k-a# show running-config ipqos
policy-map type network-qos jumbo
class type network-qos class-fcoe
pause no-drop
mtu 2158
class type network-qos class-default
mtu 9216
multicast-optimize
system qos
service-policy type network-qos jumbo
Nexus 5000隱藏預設選項，因此show running-config ipqos all是檢視整個配置所必需的。
show queuing interface
P10-5k-a# show queuing interface
Ethernet1/1 queuing information:
TX Queuing
qos-group sched-type oper-bandwidth
0 WRR 100
1 WRR 0
RX Queuing
qos-group 0
q-size: 360640, HW MTU: 9216 (9216 configured)
drop-type: drop, xon: 0, xoff: 360640
Statistics:
Pkts received over the port : 16
Ucast pkts sent to the cross-bar : 16
Mcast pkts sent to the cross-bar : 0
Ucast pkts received from the cross-bar : 0
Pkts sent to the port : 0
Pkts discarded on ingress : 0
Per-priority-pause status : Rx (Inactive), Tx (Inactive)
qos-group 1
q-size: 79360, HW MTU: 2158 (2158 configured)
drop-type: no-drop, xon: 20480, xoff: 40320
Statistics:
Pkts received over the port : 0
Ucast pkts sent to the cross-bar : 0
Mcast pkts sent to the cross-bar : 0
Ucast pkts received from the cross-bar : 0
Pkts sent to the port : 0
Pkts discarded on ingress : 0
Per-priority-pause status : Rx (Inactive), Tx (Inactive)
show interface priority-flow-control
通向UCS(Ethernet1/1 - 2)的埠關閉了PFC（自動關閉）。
P10-5k-a(config-if-range)# show interface priority-flow-control ============================================================ Port Mode Oper(VL bmap) RxPPP TxPPP ============================================================ Ethernet1/1 Auto Off 0 0 Ethernet1/2 Auto Off 0 0 Ethernet1/3 Auto Off 0 0 Ethernet1/4 Auto Off 0 0 Ethernet1/5 Auto Off 0 0 Ethernet1/6 Auto Off 0 0 Ethernet1/7 Auto Off 0 0 Ethernet1/8 Auto Off 0 0 Ethernet1/9 Auto Off 0 0 Ethernet1/10 Auto On (0) 0 0 Ethernet1/11 Auto On (0) 0 0 Ethernet1/12 Auto On (0) 0 0 Ethernet1/13 Auto On (0) 0 0
..snip..
將FCoE新增到配置
預設情況下，這些策略存在於Nexus 5000上，但未啟用，因此只需使用這些策略。
system qos service-policy type queuing input fcoe-default-in-policy service-policy type queuing output fcoe-default-out-policy service-policy type qos input fcoe-default-in-policy
show interface priority-flow-control
通向UCS(Ethernet1/1 - 2)的埠上啟用了PFC（自動開啟）。
P10-5k-a(config-sys-qos)# sh int priority-flow-control ============================================================ Port Mode Oper(VL bmap) RxPPP TxPPP ============================================================ Ethernet1/1 Auto On (8) 0 0 Ethernet1/2 Auto On (8) 0 0 Ethernet1/3 Auto Off 0 0 Ethernet1/4 Auto Off 0 0
..snip..
PFC
PFC(802.1Qbb)是Nexus/UCS裝置建立無損交換矩陣的方式，作為資料中心橋接(DCBX)的一部分。FCoE需要無損交換矩陣，多跳FCoE尤其容易出現此配置問題。上游交換機（通常是Nexus 5000）必須與UCS上配置的QoS設定相匹配。
如前所述，PFC是交換機通知相鄰交換機停止傳送額外幀的一種方式。在流量同時流向多個的多交換器網路環境中考慮此情況，不僅會新增路徑1(source1/destination1)的緩衝區，而且會增加緩衝區，因為鄰居交換器可能具有進入多個連線埠（多個緩衝區）的流量。 雖然使用IP儲存時不需要使用PFC，但此緩衝區的倍增效果通常有助於顯著提高效能，防止不必要的資料包丟失。
出色的PFC/DCBX概述。
為什麼PFC不協商？
兩端的無丟棄QoS策略必須匹配。
如果在一台交換機上將QoS類定義為no-drop，而不是在另一台交換機上定義為no-drop，則PFC不會協商。由於UCS將白金配置為無丟棄但開箱即禁用，因此當啟用白金時，通常會發生這種情況。
每端的系統qos必須匹配
如果隊列輸入和隊列輸出與qos輸入不匹配，則PFC不會協商。
NetApp
金牌
預設情況下，NetApp檔案管理器會傳送所有IP儲存流量，這些流量是由CoS 4(Gold)中的NetApp標籤的VLAN。 由於CoS位在NetApp連線到接入埠時位於。1q報頭中，因此NetApp流量會盡力而為。
非對稱QoS
常見的配置錯誤是選擇另一個CoS顏色（銀色）將網路檔案系統NFS流量從UCS放入並返回NetApp的NFS流量放入金色。因此，流量是這樣的：
| 伺服器 | UCS | Nexus 5k | NetApp |
| 傳送 | 銀牌> | 銀牌> | 盡最大努力 |
| 接收 | <金牌 | <金牌 | <金牌 |
如果將UCS配置為銀級為巨型而非金級，則會導致問題。
未定義的QoS
如果未啟用QoS類別（白金/金牌/銀牌/銅牌），UCS和Nexus裝置會將這些資料包視為盡力而為並將其放入qos組0。
| 伺服器 | UCS | Nexus 5k | NetApp |
| 傳送 | 銀牌> | 盡最大努力> | 盡最大努力 |
| 接收 | <金牌 | <最大努力 | <金牌 |
附註：封包上的CoS位元不會變更/標籤，但封包的處理方式會有所不同。
虛擬計算環境(VCE)QoS
VCE QoS設計不夠理想。
| Nexus 1k | UCS | Nexus 5k | |
| BE/CoS 0 | 1500 | 1500 | 1600 |
| FC/CoS 1 | - | 2158（無丟棄） | - |
| CoS 6 |
管理 | - | - |
| 白金級/CoS 5 |
- | 1500（無丟棄） | 1500 |
| 金牌/CoS 4 | vmotion | 1500 | 1500 |
| 銀牌/CoS 2 | NFS | - | 9216（無丟棄） |
如果您在一個級別上定義了CoS類，但在另一個級別上忽略了該類，那麼情況就很複雜了，可能會使事情無法按預期的方式運行。例如，VCE使用Silver進行NFS，但如果UCS沒有Silver定義，則此流量在Best Effort中排隊（不是巨量流量）並可能導致NFS流量被丟棄或分段。由於無丟棄策略中的不匹配，未協商PFC，但顯然這是正常的，因為乙太網不需要PFC。
淺層緩衝區
基於網際網路通訊協定(IP)的儲存通訊協定都是極具突發性的通訊協定，而且經常設定為9000 MTU。因此，由於29760 q-size / 9000 MTU只允許在引起尾部丟棄之前將3個資料包放入緩衝區，因此它們在白金/金牌/銀牌/銅牌中的效能較差。
緩衝區更大
UCS乙太網策略允許增加vNIC緩衝區（環大小）。預設值為512，最大值為4096。如果將此值更改為最大值，則完全緩衝區延遲(##KB / 10Gbps)從0.4ms增加到3.2ms。因此，此緩衝區的更改允許更少的丟棄，但代價是延遲增加。
9216 MTU與9000 MTU
Jumbo Frames配置的要點是允許終端裝置使用9000位元組第3層資料包與另一個終端裝置通訊。當使用第2層封裝技術時，端點裝置之間的交換機和路由器需要能夠處理比9000 MTU第3層資料包略大的第2層幀，以計算封裝開銷。有疑問時，允許交換機上有9216 MTU。
PFC和PPP
當新資料包排隊時，緩衝區將填滿。
當緩衝區達到20k時，緩衝區繼續填充。
當緩衝區達到40k時，如果此隊列為no-drop，交換機將傳送PPP暫停，這表示遠端交換機要停止傳送流量。
理想情況下，遠端會很快停止傳送流量，而緩衝區(79360-40320)的其餘部分會保留傳入的飛行中封包。
緩衝區滿時，「Pkts discarded on ingress」計數器會遞增。
FC和FCoE是一種無損協定，在理想情況下，遠端交換機停止傳送流量，而緩衝區級別最終下降並達到20k。交換器會為此無捨棄佇列傳送另一個PPP unpause，告知遠端交換器重新開始傳送流量。
疑難排解
目前尚無適用於此組態的具體疑難排解資訊。
意見