Коммутаторы : Коммутаторы Cisco Nexus серии 7000

Мультипереход Nexus 7000 FCoE ограничение расстояния F1

5 апреля 2016 - Машинный перевод
Другие версии: PDF-версия:pdf | Английский (22 августа 2015) | Отзыв

Введение

Этот документ описывает, что сделать, если вы испытываете входной сброс на интерфейсах Мультиперехода Fibre Channel по Ethernet (FCoE). Этот документ проблемы/решения полезен, когда признаки сброса определены на интерфейсах, которые соединяют удаленные центры обработки данных.

Данный пример изображает реалистичный сценарий этой проблемы. 

Топология, показанная в примере , изображает два центра обработки данных, разделенные на 10 км. Существует 10-километровое Действительное расширение (VE) FCoE (мультипереход) интерфейс, который подключает DC1 и DC2. Интерфейсы мультиперехода настроены на N7K-F132XP-15 линейных платах. На эту таблицу данных серии F1 это должно было быть в поддерживаемом диапазоне.

Первоначально, таблица данных указала на эти функции Мостового соединения ЦОД (DCB) IEEE:

  • Основанное на приоритете управление потоками (PFC): IEEE P802.1Qbb
  • Расширенный выбор передачи (ETS): IEEE P802.1Qaz
  • Exchange мостового соединения ЦОД (DCBX)
  • Максимальное расстояние для канала без потерь: 20 км

CSCts72420 идентификатора ошибки Cisco модифицировался для адресации к документации. Линия в отношении расстояния для канала без потерь 20 км была удалена.

Внесенный Дэриусом Карсоном, специалистом службы технической поддержки Cisco.

Проблема

EMC устройства VPLEX поддерживает функцию репликации ресурсов хранения. Этот сценарий использовал синхронную репликацию. Когда EMC, устройства VPLEX были обновлены, они стали 'из синхронизования'. Перенесите обновление VPLEX, устройства начали реплицировать большие значения данных по 10-километровой ссылке мультиперехода FCoE.

Когда репликация данных увеличилась, эти события выяснились:

  1. 5000-DC2 Nexus начал передавать постоянную паузу к 7000-DC2 Nexus.
  2. 7000-DC2 Nexus начал передавать паузу по 10-километровой ссылке на Nexus, с 7000 DC1.
  3. Nexus передаваемая пауза с 7000 DC1 к Nexus, с 5000 DC1, и т.д.

Эти события являются представлением высокого уровня ожидаемого поведения управления потоками FCoE. Фреймы паузы, полученные от 5000-DC2 Nexus, указывают на перегрузки на конечном устройстве. Поскольку входные буфера начинают заполняться, фреймы паузы сочатся назад в матрицу.

Проблема в этом сценарии - то, что связывается Nexus 7000-DC2 постоянно проигнорированные пакеты на входе по 10 км mulithop.

Ethernet4/1 is up
Dedicated Interface
Hardware: 1000/10000 Ethernet, address: XXXX.XXXX.XXXX (bia XXXX.XXXX.XXXX)
MTU bytes (CoS values): 9216(0-2,4-7) 2112(3)
BW 10000000 Kbit, DLY 10 usec, reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on
Input flow-control is off, output flow-control is off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
Last link flapped 25week(s) 0day(s)
Last clearing of "show interface" counters 79w2d
30 seconds input rate 296186536 bits/sec, 27891 packets/sec
30 seconds output rate 151677360 bits/sec, 19294 packets/sec
Load-Interval #2: 5 minute (300 seconds)
input rate 289.58 Mbps, 27.61 Kpps; output rate 165.20 Mbps, 20.05 Kpps
RX
566235497816 unicast packets 2504479 multicast packets 0 broadcast packets
566239834433 input packets 502487779153524 bytes
219280594774 jumbo packets 0 storm suppression packets
0 runts 0 giants 0 CRC 0 no buffer
0 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 19312516 input discard
1832141 Rx pause
TX
681040135255 unicast packets 2504251 multicast packets 0 broadcast packets
681046392756 output packets 744942450903588 bytes
333793360248 jumbo packets
0 output error 0 collision 0 deferred 0 late collision
0 lost carrier 0 no carrier 0 babble 0 output discard
3753250 Tx pause
5 interface resets

Это не должно происходить, поскольку вышеупомянутый интерфейс только переносит FCoE (CoS 3) трафик. Входной сброс нарушает политику QoS 'без отбрасываний' для FCoE. Кроме того, сброс в среде FCoE мог привести к прерываниям SCSI, ошибкам, и т.д.

Решение

Когда устройство передает паузу, интерфейс, который генерирует фрейм паузы, должен иметь входную очередь с пространством буфера, достаточно большим для буферизации два раза расстояния для канала. Это вызвано тем, что в то время, когда пауза генерируется, провод мог бы быть полным. Ко времени смежное устройство получает/обрабатывает генерируемый фрейм паузы, провод мог бы быть полным снова. Таким образом устройство, которое генерирует паузу, должно иметь возможность буферизовать два раза расстояние для канала.

После вычисления, возможно, был 100 + пакеты в полете по 10-километровой ссылке. Из-за ограничений ASIC, линейная плата серии F1 не может поддержать FCoE без потерь на 10-километровой ссылке или больше. 

Примечание: Входной буфер (IB) используется к пакетам очереди в полете перед паузой. После того, как пауза передается, IB больше не используется. Буфер задержки (LB) используется к пакетам очереди в полете после того, как будет передаваться пауза.

Обновите Аппаратные средства/Программное обеспечение для Поддержки F2/F2e

Идентификатор ошибки Cisco CSCua10484 обратился к дальней связи F2 поддержка расстояния без потерь. В Выпуске 6.1 (2) NX-OS и позже, позволены эти изменения конфигурации.

Примечание: В более ранних версиях кода позволено изменение, но это не вступает в силу.

Пространство, оставленное в IB поймать пакеты, может быть вычислено как: PL_STOP - PL_PAUSE. По умолчанию PL_STOP и HWM (PL_PAUSE) значения являются тем же.

module-4# show hardware internal mac port 1 qos configuration | begin IB | end EB
IB
Port page limit : 3584 (1376256 Bytes)
VL# HWM pages(bytes) LWM pages(bytes) Used PL_STOP(HWM & LWM)
pages THR
0 1107 ( 425088) 1059 ( 406656) 0 1107 1059
1 2 ( 768) 1 ( 384) 0 2 1
2 1107 ( 425088) 1059 ( 406656) 0 1107 1059
3 1053 ( 404352) 1029 ( 395136) 0 1053 1029
4 2 ( 768) 1 ( 384) 0 2 1
5 231 ( 88704) 159 ( 61056) 0 231 159
6 2 ( 768) 1 ( 384) 0 2 1
7 2 ( 768) 1 ( 384) 0 2 1
Credited DWRR WT: 216 (0xd8) Uncredited DWRR WT: 144 (0x90)
DWRR honor UC = FALSE
Leak Lo weight = 0xd8, enabled = FALSE
EB

Можно модифицировать эти значения для поддержки большего расстояния выделением больших буферов к Классу обслуживания (CoS) без отбрасываний. Для завершения этого копируйте 'default-4q-7e-in-policy' policy-map Качества обслуживания (QoS).

Примечание: Следующий сценарий конфигурации адаптирован к увеличению выделения COS 3 входного буфера на Nexus 7000 с VDC По умолчанию, не VDC Admin. Так как VDC Admin является строго VDC 'управления' только без плоской данными функциональности, дополнительные шаги, чтобы скопировать политику QoS и модифицировать размещения буферов не необходимы в этом VDC. Поэтому при использовании VDC Admin только сделайте эти модификации в VDC Хранилища.

В VDC и хранилища по умолчанию

Switch(config)# qos copy policy-map type queuing ?
*** No matching command found in current mode, matching in (exec) mode ***
default-4q-7e-in-policy Default 7-ethernet input queuing policy
default-4q-7e-out-policy Default 7-ethernet output queuing policy

Switch(config)# qos copy policy-map type queuing default-4q-7e-in-policy prefix 7I_

После того, как политика скопирована и в VDC по умолчанию и в VDC хранилища, модифицируйте '4q-7e-in' policy-map для выделения большего процента queue-limit COS без отбрасываний.

В VDC и хранилища по умолчанию

Switch(config)# show run ipqos
<snippet>

policy-map type queuing 7I_4q-7e-in
class type queuing c-4q-7e-drop-in
service-policy type queuing 7I_4q-7e-drop-in
queue-limit percent 1 <<<<<<<<<<<<<<<<<
class type queuing c-4q-7e-ndrop-in
service-policy type queuing 7I_4q-7e-ndrop-in
queue-limit percent 99 <<<<<<<<<<<<<<<<<

Теперь, примените модифицированную политику QoS к необходимому интерфейсу:

В VDC хранилища

Switch(config)# int e4/1
Switch(config-if)# service-policy type queuing input 7I_4q-7e-in
Switch(config-if)# show run int e4/1

!Command: show running-config interface Ethernet4/1
!Time: Sun Mar 2 21:03:07 2014

version 6.1(4)

interface Ethernet4/1
switchport
switchport mode trunk
switchport trunk allowed vlan 1,2990
load-interval counter 2 30
service-policy type queuing input 7I_4q-7e-in
no shutdown

Теперь, заметьте, что значение PL_STOP больше, чем Верхний порог (HWM). Таким образом большая возможность буферизации обеспечена IB.

module-4# show hardware internal mac port 1 qos configuration | begin IB | end EB
IB
Port page limit : 3584 (1376256 Bytes)
VL# HWM pages(bytes) LWM pages(bytes) Used PL_STOP(HWM & LWM)
pages THR
0 15 ( 5760) 9 ( 3456) 0 15 9
1 2 ( 768) 1 ( 384) 0 2 1
2 15 ( 5760) 9 ( 3456) 0 15 9
3 1161 ( 445824) 1137 ( 436608) 0 3521 1137
4 2 ( 768) 1 ( 384) 0 2 1
5 3 ( 1152) 0 ( 0) 0 3 0
6 2 ( 768) 1 ( 384) 0 2 1
7 2 ( 768) 1 ( 384) 0 2 1
Credited DWRR WT: 216 (0xd8) Uncredited DWRR WT: 144 (0x90)
DWRR honor UC = FALSE
Leak Lo weight = 0xd8, enabled = FALSE
EB

В примере пространство уехало в IB = 3521 страница - 1161 страница = 2360 страниц => 906,240 байтов.

Примечание: Когда трафик ONLY FCoE передан по интерфейсу мультиперехода FCoE, этот обходной путь приемлем. Если трафик данных передают также, свяжитесь с Центром технической поддержки Cisco (TAC) для помощи.

Или

При наличии используйте собственный Fibre Channel (FC) между сайтами. Это решение требует или Крупной Длины волны Длина волны Мультиплексора Дивисона / Плотная Длина волны Мультиплексор Дивисона (CWDM/DWDM) вмешательство или темного оптоволокна, зависящего от требуемого расстояния.


Связанные обсуждения сообщества поддержки Cisco

В рамках сообщества поддержки Cisco можно задавать и отвечать на вопросы, обмениваться рекомендациями и совместно работать со своими коллегами.


Document ID: 117785