Коммутаторы : Коммутаторы Cisco Nexus серии 5000

Пример конфигурации адаптера-FEX Nexus 5500

20 октября 2016 - Машинный перевод
Другие версии: PDF-версия:pdf | Английский (22 августа 2015) | Отзыв

Введение

Этот документ описывает, как настроить, управлять, и устранить неполадки Модуля ввода-вывода адаптера (FEX) функция на коммутаторах Nexus 5500.

Внесенный Чарльзом Юссефом, специалистом службы технической поддержки Cisco.

Предварительные условия

Требования

Для этого документа отсутствуют особые требования.

Используемые компоненты

Сведения, содержащиеся в данном документе, касаются следующих версий программного обеспечения и оборудования:

  • Nexus 5548UP, который выполняет Версию 5.2 (1) N1 (4)
  • Сервер Стойки C210 M2 Системы Unified Computing System (UCS) Серии C с платой виртуальных интерфейсов (VIC) UCS P81E, которая выполняет Версию микропрограммы 1.4 (2)

Сведения, представленные в этом документе, были получены от устройств, работающих в специальной лабораторной среде. Все устройства, описанные в данном документе, были запущены с конфигурацией по умолчанию. Если ваша сеть является оперативной, удостоверьтесь, что вы понимаете потенциальное воздействие любой команды или настройки захвата пакета.

Общие сведения

Обзор адаптера-FEX

Эта функция позволяет коммутатору Nexus 5500 управлять виртуальными интерфейсами (и Контроллеры виртуального сетевого интерфейса Ethernet (vNICs) и Fibre Channel Действительные Host Bus Adapter (FC vHBAs)) на VIC сервера. Это независимо от любого гипервизора, который работает на сервере. Независимо от того, что виртуальные интерфейсы созданы, будет видимо к основной Операционной системе (OS), установленной на сервере (при условии, что ОС имеет соответствующие драйверы).

Поддерживаемые платформы могут быть найдены в этом разделе Cisco Nexus Адаптером NX-OS серии 5000 Руководством по работе FEX, Выпуском 5.1 (3) N1 (1).

Поддерживаемая топология для Адаптера-FEX может быть найдена в этом разделе Cisco Nexus Адаптером NX-OS серии 5000 Руководством по работе FEX, Выпуском 5.1 (3) N1 (1).

Поддерживаемая топология:

  • Сервер, одноканальный к коммутатору Nexus 5500
  • Сервер, одноканальный к Сквозному FEX
  • Сервер, отделенно размещенный к Активному/Активному FEX
  • Сервер, размещенный двойным образом через Активные/Резервные каналы связи к паре коммутаторов Nexus 5500
  • Сервер, размещенный двойным образом через Активные/Резервные каналы связи к паре технологии Virtual PortChannel (vPC) Активный/Активный FEXs

Раздел последующей конфигурации обсуждает 'Сервер, размещенный двойным образом через Активные/Резервные каналы связи к паре Nexus 5500 коммутаторов, который изображен здесь:

Каждый vNIC будет иметь соответствующий виртуальный интерфейс Ethernet на Nexus 5000. Так же каждый vHBA будет иметь соответствующий интерфейс Действительного Fibre Channel (VFC) на Nexus 5000.

Настройка

Примечание: Чтобы получить подробные сведения о командах в данном документе, используйте Средство поиска команд (только для зарегистрированных клиентов).

Конфигурация Ethernet vNICs

Выполните эти шаги на обоих коммутаторах Nexus 5000:

  1. Обычно vPC определен и в рабочем состоянии на двух коммутаторах Nexus 5000. Проверьте, что vPC domain определен, одноранговая поддержка активности подключена UP, и одноранговая ссылка подключена UP.
  2. Введите эти команды для включения набора функций виртуализации.
    (config)# install feature-set virtualization
    (config)# feature-set virtualization
  3. (Необязательно) Позвольте Nexus 5000 автосоздавать свои виртуальные интерфейсы Ethernet, когда соответствующие vNICs будут определены на сервере. Обратите внимание на то, что это не применяется к интерфейсам VFC, которые могут только быть вручную определены на Nexus 5000.
    (config)# vethernet auto-create
  4. Настройте интерфейс Nexus 5000, который подключает с серверами в Метке Виртуальной сети (VNTag) режим.
    (config)# interface Eth 1/10
    (config-if)# switchport mode vntag
    (config-if)# no shutdown
  5. Настройте профиль (профили) порта, который будет применен к vNICs.

    Профили порта являются шаблонами конфигурации, которые могут быть применены (наследованные) интерфейсами коммутатора. В контексте Адаптера-FEX профили порта могут быть или применены к виртуальным интерфейсам Ethernet, которые вручную определены или тем, которые автоматически созданы, когда vNICs настроены на UCS графический интерфейс пользователя (GUI) интегрированного контроллера управления Cisco (CIMC) Серии C.

    Профиль порта имеет тип 'vethernet'.

    Типовую настройку профиля порта показывают здесь:
    (config)# port-profile type vethernet VNIC1
    (config-port-prof)# switchport mode access
    (config-port-prof)# switchport access vlan 10
    (config-port-prof)# no shutdown
    (config-port-prof)# state enabled

Выполните эти шаги на UCS сервер Серии C:

  1. Соединитесь с интерфейсом CIMC через HTTP и войдите с учетными данными администратора.
  2. Выберите Inventory>, Network Adapters> Modify Свойства Adapter.
  3. Проверьте Разрешение флажка Mode NIV.
  4. Нажмите кнопку Save Changes (Сохранить изменения).
  5. Выключите и затем включите сервер.

  6. После того, как сервер подходит, выберите Inventory> Network Adapters> vNICs> Add для создания vNICs. Самые важные поля, которые будут определены:
    1. Порт каскадного соединения VIC, который будет использоваться (P81E имеет 2 порта каскадного соединения, на которые ссылаются как 0 и 1).
    2. Номер канала - уникальный идентификатор канала vNIC на адаптере. На это ссылаются в команде bind под виртуальным интерфейсом Ethernet на Nexus 5000. Область номера канала ограничена физическим соединением VNTag. Канал может считаться 'виртуальным соединением' на физическом соединении между коммутатором и адаптером сервера.
    3. Профиль порта - список профилей порта, определенных на восходящем Nexus 5000, может быть выбран. Виртуальный интерфейс Ethernet будет автоматически создан на Nexus 5000, если Nexus 5000 будет настроен с vethernet, автосоздают команду. Обратите внимание на то, что только действительные имена профилей Порта Ethernet (настройка профиля порта не) передают к серверу. Это происходит после того, как подключение ссылки VNTag установлено и начальное квитирование, и шаги согласования выполнены между коммутатором и адаптером сервера.

  7. Нажмите кнопку Save Changes (Сохранить изменения).
  8. Выключите и затем включите сервер снова.

Конфигурация vHBAs

При создании vHBAs на адаптере сервера соответствующие интерфейсы коммутатора автоматически не созданы. Вместо этого они должны быть вручную определены. Шаги для коммутатора и стороны сервера показывают здесь.

Выполните эти шаги на стороне коммутатора:

  1. Создайте Интерфейс соединительной линии Ethernet virtual, который связан с каналом интерфейса VNTag сервера vHBA интерфейс. VLAN Fibre Channel по Ethernet (FCoE) не должна быть собственным VLAN. Действительные номера Ethernet должны быть уникальными через два коммутатора Nexus 5000.

    Пример:

    (config)# interface veth 10
    (config-if)# switchport mode trunk
    (config-if)# switchport trunk allowed vlan 1,100
    (config-if)# bind interface eth1/1 channel 3
    (config-if)# no shutdown
  2. Создайте интерфейс VFC, который связан с виртуальным интерфейсом Ethernet, определенным ранее.

    Пример:

    (config)# interface vfc10
    (config-if)# bind interface veth 10
    (config-if)# no shut

    Членство в виртуальной сети устройств хранения данных (VSAN) для этого интерфейса определено под базой данных VSAN:

    (config)# vsan database
    (config-vsan-db)# vsan 100 interface vfc10
    (config-vsan-db)# vlan 100
    (config-vlan)# fcoe vsan 100
    (config-vlan)# show vlan fcoe

Выполните эти шаги на стороне сервера:

  1. Выберите Inventory> Network Adapters> vHBAs для создания интерфейса vHBA.

    Основные области, которые будут определены:

    • Порт По всему миру Называет (pWWN)/, Узел По всему миру Называют (nWWN)
    • VLAN FCOE
    • ID канала от абонента к оператору
    • Номер канала
    • Начальная загрузка от Сети хранения данных (SAN), если используется
  2. Подвергните циклу включения и выключения питания сервер.

Проверка

Этот раздел позволяет убедиться, что конфигурация работает правильно.

Список виртуальных интерфейсов Ethernet может быть отображен с этими командами:

n5k1# show interface virtual summary
Veth      Bound       Channel/ Port       Mac               VM
Interface Interface   DV-Port  Profile    Address           Name
-------------------------------------------------------------------------
Veth32770 Eth1/2      1        UPLINK
Total 1 Veth Interfaces
n5k1#
n5k1# show interface virtual status
Interface VIF-index  Bound If     Chan Vlan Status    Mode    Vntag
-------------------------------------------------------------------------
Veth32770 VIF-17     Eth1/2          1   10 Up        Active  2
Total 1 Veth Interfaces

Автоматически созданные виртуальные интерфейсы Ethernet действительно появляются в рабочей конфигурации и будут сохранены к загрузочной конфигурации, когда выполненная копия запускается, выполнен:

n5k1# show run int ve32770

!Command: show running-config interface Vethernet32770
!Time: Thu Apr 10 12:56:23 2014

version 5.2(1)N1(4)

interface Vethernet32770
 inherit port-profile UPLINK
 bind interface Ethernet1/2 channel 1

n5k1# show int ve32770 brief

--------------------------------------------------------------------------------
Vethernet    VLAN  Type Mode  Status Reason                   Speed
--------------------------------------------------------------------------------
Veth32770    10    virt access up     none                    auto
n5k1#

Устранение неполадок

В этом разделе описывается процесс устранения неполадок конфигурации.

Виртуальный интерфейс Ethernet не подходит

Проверьте ЦОД, Соединяющий Протокол обмена Возможностей (DCBX) информация для коммутатора интерфейс VNTag с этой командой:

# show system internal dcbx info interface ethernet <>

Проверьте следующее:

  • Exchange Мостового соединения ЦОД (DCX) протокол является Сходившейся Ethernet (CEE)
  • Расширение Сетевой виртуализации IO (NIV) CEE включено
  • Type Length Value (TLV) NIV присутствует

Как выделено ниже:

n5k1# show sys int dcbx info interface e1/2

Interface info for if_index: 0x1a001000(Eth1/2)
tx_enabled: TRUE
rx_enabled: TRUE
dcbx_enabled: TRUE
DCX Protocol: CEE  <<<<<<<
DCX CEE NIV extension: enabled <<<<<<<<<
<output omitted>

Feature type NIV (7)  <<<<<<<
feature type 7(DCX CEE-NIV)sub_type 0
Feature State Variables: oper_version 0 error 0 local error 0 oper_mode 1
    feature_seq_no 0 remote_feature_tlv_present 1 remote_tlv_aged_out 0
    remote_tlv_not_present_notification_sent 0
Feature Register Params: max_version 0, enable 1, willing 0 advertise 1
    disruptive_error 0 mts_addr_node 0x2201 mts_addr_sap 0x193
Other server mts_addr_node 0x2301, mts_addr_sap 0x193

Desired config cfg length: 8 data bytes:9f  ff  68  ef  bd  f7  4f  c6

Operating config cfg length: 8 data bytes:9f  ff  68  ef  bd  f7  4f  c6

Peer config cfg length: 8 data bytes:10  00  00  22  bd  d6  66  f8

Типичные проблемы включают:

  • Протокол DCX является CIN
    • Проверка для проблем L1: кабели, SFP, порт переводит в рабочее состояние, адаптер.
    • Проверьте конфигурацию коммутатора: набор функций, порт коммутатора VNTag, включает протокол LLDP/DCBX.
  • TLV NIV отсутствует
    • Проверьте, что режим NIV включен под конфигурацией адаптера.
    • Проверьте, что связь Интерфейсного контроля VNIC (VIC) была завершена, и информацией профилей порта обменялись. Гарантируйте, что текущее состояние события Менеджера виртуального интерфейса (VIM) является VIM_NIV_PHY_FSM_ST_UP_OPENED_PP.
n5k1# show sys int vim event-history interface e1/2

>>>>FSM: <Ethernet1/2> has 18 logged transitions<<<<<

1) FSM:<Ethernet1/2> Transition at 327178 usecs after Thu Apr 10 12:22:27 2014
   Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
   Triggered event: [VIM_NIV_PHY_FSM_EV_PHY_DOWN]
   Next state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

2) FSM:<Ethernet1/2> Transition at 327331 usecs after Thu Apr 10 12:22:27 2014
   Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
   Triggered event: [VIM_NIV_PHY_FSM_EV_DOWN_DONE]
   Next state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

3) FSM:<Ethernet1/2> Transition at 255216 usecs after Thu Apr 10 12:26:15 2014
   Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
   Triggered event: [VIM_NIV_PHY_FSM_EV_RX_DCBX_CC_NUM]
   Next state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]

4) FSM:<Ethernet1/2> Transition at 250133 usecs after Thu Apr 10 12:26:18 2014
   Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]
   Triggered event: [VIM_NIV_PHY_FSM_EV_DCX_3SEC_EXP]
   Next state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]

5) FSM:<Ethernet1/2> Transition at 262008 usecs after Thu Apr 10 12:26:18 2014
   Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]
   Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_RECEIVED]
   Next state: [FSM_ST_NO_CHANGE]

6) FSM:<Ethernet1/2> Transition at 60944 usecs after Thu Apr 10 12:26:19 2014
   Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]
   Triggered event: [VIM_NIV_PHY_FSM_EV_ENCAP_RESP]
   Next state: [VIM_NIV_PHY_FSM_ST_UP]

7) FSM:<Ethernet1/2> Transition at 62553 usecs after Thu Apr 10 12:26:19 2014
   Previous state: [VIM_NIV_PHY_FSM_ST_UP]
   Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_ACKD]
   Next state: [FSM_ST_NO_CHANGE]

8) FSM:<Ethernet1/2> Transition at 62605 usecs after Thu Apr 10 12:26:19 2014
   Previous state: [VIM_NIV_PHY_FSM_ST_UP]
   Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_DONE]
   Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]

9) FSM:<Ethernet1/2> Transition at 62726 usecs after Thu Apr 10 12:26:19 2014
   Previous state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]
   Triggered event: [VIM_NIV_PHY_FSM_EV_PP_SEND]
   Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]

10) FSM:<Ethernet1/2> Transition at 475253 usecs after Thu Apr 10 12:51:45 2014
   Previous state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]
   Triggered event: [VIM_NIV_PHY_FSM_EV_PHY_DOWN]
   Next state: [VIM_NIV_PHY_FSM_ST_WAIT_VETH_DN]

11) FSM:<Ethernet1/2> Transition at 475328 usecs after Thu Apr 10 12:51:45 2014
   Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_VETH_DN]
   Triggered event: [VIM_NIV_PHY_FSM_EV_DOWN_DONE]
   Next state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

12) FSM:<Ethernet1/2> Transition at 983154 usecs after Thu Apr 10 12:53:06 2014
   Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
   Triggered event: [VIM_NIV_PHY_FSM_EV_RX_DCBX_CC_NUM]
   Next state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]

13) FSM:<Ethernet1/2> Transition at 992590 usecs after Thu Apr 10 12:53:09 2014
   Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]
   Triggered event: [VIM_NIV_PHY_FSM_EV_DCX_3SEC_EXP]
   Next state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]

14) FSM:<Ethernet1/2> Transition at 802877 usecs after Thu Apr 10 12:53:10 2014
   Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]
   Triggered event: [VIM_NIV_PHY_FSM_EV_ENCAP_RESP]
   Next state: [VIM_NIV_PHY_FSM_ST_UP]

15) FSM:<Ethernet1/2> Transition at 804263 usecs after Thu Apr 10 12:53:10 2014
   Previous state: [VIM_NIV_PHY_FSM_ST_UP]
   Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_ACKD]
   Next state: [FSM_ST_NO_CHANGE]

16) FSM:<Ethernet1/2> Transition at 992390 usecs after Thu Apr 10 12:53:11 2014
   Previous state: [VIM_NIV_PHY_FSM_ST_UP]
   Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_RECEIVED]
   Next state: [FSM_ST_NO_CHANGE]

17) FSM:<Ethernet1/2> Transition at 992450 usecs after Thu Apr 10 12:53:11 2014
   Previous state: [VIM_NIV_PHY_FSM_ST_UP]
   Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_DONE]
   Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]

18) FSM:<Ethernet1/2> Transition at 992676 usecs after Thu Apr 10 12:53:11 2014
   Previous state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]
   Triggered event: [VIM_NIV_PHY_FSM_EV_PP_SEND]
   Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]


   Curr state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP] <<<<<<<<<<
n5k1#

Если виртуальный интерфейс Ethernet является неподвижной действительной Ethernet, проверьте, чтобы видеть, появляется ли VIC_CREATE в этой команде:

# show system internal vim info niv msg logs fixed interface e 1/16 ch 1
Eth1/16(Chan: 1) VIF Index: 605
  REQ MsgId: 56630, Type: VIC ENABLE, CC: SUCCESS
  RSP MsgId: 56630, Type: VIC ENABLE, CC: SUCCESS
  REQ MsgId: 4267, Type: VIC SET, CC: SUCCESS
  RSP MsgId: 4267, Type: VIC SET, CC: SUCCESS
  REQ MsgId: 62725, Type: VIC CREATE, CC: SUCCESS <<<<<<<
  RSP MsgId: 62725, Type: VIC CREATE, CC: SUCCESS <<<<<<<
  REQ MsgId: 62789, Type: VIC ENABLE, CC: SUCCESS
  RSP MsgId: 62789, Type: VIC ENABLE, CC: SUCCESS
  REQ MsgId: 21735, Type: VIC SET, CC: SUCCESS
  RSP MsgId: 21735, Type: VIC SET, CC: SUCCESS

Обратите внимание на то, что неподвижный виртуальный интерфейс Ethernet является виртуальным интерфейсом, который не поддерживает миграцию через физические интерфейсы. Когда Адаптер-FEX обсужден, область всегда находится на неподвижной действительной Ethernet, потому что Адаптер-FEX обращается к использованию виртуализации сети синглом (т.е. невиртуализированный) ОС.

Если не обнаруживается VIC_CREATE:

  1. Если адаптером является Cisco адаптер NIV, проверьте конфигурацию VNIC на стороне адаптера (идентификатор канала, исправьте соединительный порт UIF, любая передача в состоянии ожидания (перезагрузка сервера, необходимая для любых изменений конфигурации)). vHBA не переведет действительную Ethernet в рабочее состояние на обоих коммутаторах в AA топология FEX. vHBA исправил действительные потребности Ethernet драйвер ОС для внедрения этого (ждите, пока ОС не загружает драйвер и загружается полностью).
  2. Если адаптер является Broadcom адаптер NIV, проверьте, чтобы видеть, подключены ли интерфейсы со стороны ОС (например, в Linux, переведите интерфейсный 'ifconfig eth2 в рабочее состояние').
  3. Если VIC_CREATE обнаруживается, но коммутатор отвечает ERR_INTERNAL:
    • Проверьте профили порта и на коммутаторе и на сторонах адаптера. Посмотрите, представляет ли какой-либо порт несоответствие строк.
    • Для динамического неподвижного действительного Ethernets проверьте 'veth, автосоздают' конфигурацию.
  4. Если проблема сохраняется, соберите упомянутые ниже выходные данные и свяжитесь с Центром технической поддержки Cisco (TAC).
    # show system internal vim log
    # attach fex <number>
    # test vic_proxy dump trace

Соберите сведения о технической поддержке адаптера от стороны сервера

  1. Войдите в систему CIMC от браузера.
  2. Нажмите вкладку Admin.
  3. Нажмите Utilities.
  4. Нажмите Export Technical Support Data to TFTP или Generate Technical Support Data for Local Download.


Document ID: 117691