Маршрутизаторы : Маршрутизаторы Cisco серии 7500

Устранение неполадок, вызванных применением функции CEF

9 февраля 2011 - Перевод, выполненный профессиональным переводчиком
Другие версии: PDF-версия:pdf | Машинный перевод (28 июля 2013) | Английский (24 июня 2008) | Отзыв

Содержание

Введение
Предварительные условия
      Требования
      Используемые компоненты
      Условные обозначения
Общие сведения
Проверка состояния Cisco Express Forwarding на VIP и линейных платах
Обзор протокола внешнего представления данных (XDR)
Поиск и устранение неполадок
      %FIB-3-FIBDISABLE : Fatal error, slot [#]: no memory и %FIB-3-NOMEM: Malloc Failure, disabling dCEF on line card
      %FIB-3-FIBDISABLE: Fatal error, slot [#]: No window message, LC to RP IPC is non-operational
      %FIB-3-FIBDISABLE: Fatal error, slot [#]: IPC failure
      %FIB-4-RPPREFIXINCONST2/1 and %FIB-4-LCPREFIXINCONST2/1
      %FIB-3-NORPXDRQELEMS: Exhausted XDR queuing elements while preparing message for slot [#]
      %FIB-3-FIBBADXDRLEN and %FIB-4-FIBXDRLEN
      %FIB-3-FIBLC_OOSEQ: Slot [#] disabled - Out of Sequence. Expected [#], received [#]
      %FIB-4-PUNTINTF: CEF punting packets switched to [int] to next slower path и %FIB-5-NOPUNTINTF: CEF resuming switching packets to [int]
      %HW_RES_FAIL-4-LOW_CEF_MEM: SLOT [char] is running low
      %FIB-4-FIBCBLK2: Missing cef tableid [число] during [строка] event for [IP-адрес][маска_подсети_IP]
Сбор диагностических сведений перед обращением в Центр технической поддержки
Прочие ресурсы для поиска и устранения неполадок
Связанные обсуждения сообщества поддержки Cisco
Дополнительные сведения

Введение

В этом документе описаны причины возникновения типичных сообщений об ошибках, связанных с технологией Cisco Express Forwarding (ранее CEF) на платформах, использующих коммутацию Distributed Cisco Express Forwarding (ранее dCEF) (маршрутизаторы серий Cisco 7500 и интернет-маршрутизаторы серий Cisco 12000), и способы их устранения.

Примечание. В зависимости от платформы, на которой настроена технология Cisco dCEF, в описании различаются процессоры маршрутизации (RP) и линейные платы (LC). В серии 7500 процессор маршрутизации именуется «процессором маршрутизации и коммутации» (RSP), а линейные платы – «универсальными интерфейсными процессорами» (VIP). В серии 12000 процессор маршрутизации известен как «процессор гигабитного маршрутизатора» (GRP), а линейные платы обозначаются обычным образом (как LC).

Предварительные условия

Требования

Для этого документа нет особых требований.

Используемые компоненты

Настоящий документ не имеет жесткой привязки к каким-либо конкретным версиям программного обеспечения и оборудования.

Условные обозначения

Подробные сведения об условных обозначениях см. в документе Условное обозначение технических терминов Cisco.

Общие сведения

Технология экспресс-пересылки Cisco Express Forwarding – это определенная форма масштабируемой коммутации, предназначенная для решения проблем кэширования по требованию. При коммутации Cisco Express Forwarding сведения, которые обычно хранятся в кэше маршрутизатора, распределены по нескольким структурам данных. Код Cisco Express Forwarding позволяет работать с подобными структурами данных в процессоре маршрутизации (RP), а также в подчиненных процессорах, таких как универсальные интерфейсные процессоры (VIP) в маршрутизаторах серии 7500 и линейные платы маршрутизаторов серии 12000. Чтобы оптимизировать поиск для более эффективной пересылки пакетов, используются следующие структуры данных:

  • Таблица данных пересылки (FIB). Для принятия решений о коммутации на базе префиксов по IP-адресу получателя технология Cisco Express Forwarding использует таблицу FIB. Таблица FIB концептуально аналогична таблице маршрутизации или информационной базе. Она содержит зеркальное отображение информации о пересылке из таблицы IP-маршрутизации. При изменении маршрутизации или топологии таблица IP-маршрутизации обновляется, и эти изменения также отражаются и в FIB. База данных FIB содержит информацию об адресе следующего перехода, полученную на основе таблицы IP-маршрутизации.

    В силу взаимно однозначной связи между записями FIB и записями таблицы маршрутизации в FIB будут содержаться все известные маршруты, что избавляет от необходимости вести кэш маршрутов для таких способов коммутации, как скоростная коммутация и оптимальная коммутация.

  • Таблица смежности. Узлы сети называют смежными, если они могут связаться друг с другом за один переход на канальном уровне. Кроме FIB, технология Cisco Express Forwarding использует таблицы смежности, чтобы добавлять адресные сведения 2-го уровня (L2). Таблица смежности поддерживает адреса L2 следующих переходов для всех записей FIB.

Cisco Express Forwarding может работать в одном из двух режимов:

  • Центральный режим Cisco Express Forwarding. Если включен центральный режим работы Cisco Express Forwarding, то в процессоре маршрутизации будут вестись таблицы FIB и таблицы смежности Cisco Express Forwarding и процессор будет выполнять экспресс-пересылку. Режим Cisco Express Forwarding можно использовать тогда, когда при коммутации Cisco Express Forwarding недоступны LC или вам необходимы функции, несовместимые с коммутацией в режиме Distributed Cisco Express Forwarding.

  • Распределенный режим Cisco Express Forwarding. Когда включен распределенный режим (Distributed Cisco Express Forwarding), линейные платы (например, линейные платы универсальных интерфейсных процессоров или маршрутизаторов Gigabit Ethernet [GSR]) ведут идентичные копии FIB и таблиц смежности. LC могут выполнять быструю передачу сами, исключая главный процессор (GRP или RSP) из участия в операции коммутации. Данный метод коммутации используется только в серии 12000.

    В режиме Distributed Cisco Express Forwarding используется механизм межпроцессного взаимодействия (IPC), обеспечивающий синхронизацию экземпляров баз данных FIB и таблиц смежности на процессоре маршрутизации и линейных платах.

Проверка состояния Cisco Express Forwarding на VIP и линейных платах

Примечание. В приведенных ниже примерах некоторые команды выполняются с модификаторами вывода (представленными знаком «|») для исключения ненужной информации из отображаемых на экране данных. Модификаторы вывода поддерживаются программным обеспечением Cisco IOS® начиная с выпуска 12.0. Если применяется более старая версия ПО, то выполните только основную команду (перед знаком «|») и найдите соответствующие строки в полных выходных данных.

Можно легко определить конкретный процессор VIP или линейную плату, где произошел сбой Cisco Express Forwarding, используя команду show cef linecard:

  • Для коммутаторов серии 7500:

    Router#show cef linecard
    CEF linecard generic information: 
      Slot MsgSent   Seq MaxSeq   LowQ   MedQ  HighQ Flags 
      4          8     6     30      0      0      0 up
      5          8     6     30      0      0      0 up
    
    Default-table CEF table, version 13, 11 routes
    Slot CEF-ver CEF-XDR Interface Flags
       4      12       5         5 Active, sync
       5      12       5         2 Active, sync
    
  • Для коммутаторов серии 12000:

    Router#show cef linecard
    CEF table version 694517, 95239 routes
    Slot CEF-ver MsgSent XdrSent Seq MaxSeq LowQ MedQ HighQ Flags
    0      32128     365   33320 362    367    0    0     0 disabled
    1      95821    1010   99369 1006  1025    0    0     0 disabled
    2      92559     971    6033 967    984    0    0     0 disabled
    8      62514     653   65734 649    661    0    0     0 disabled
    9      47165     486   48428 483    498    0    0     0 disabled
    10     79887     834   83232 830    849    0    0     0 disabled
    

    Поскольку серия 12000 поддерживает только режим Distributed Cisco Express Forwarding, то в состоянии disabled происходит отключение всей линейной платы.

Обзор протокола внешнего представления данных (XDR)

Для понимания сути следующих сообщений об ошибках необходимо иметь представление о сообщениях XDR и их применении:

  • %FIB-3-NORPXDRQELEMS

  • %FIB-3-FIBBADXDRLEN

  • %FIB-4-FIBXDRLEN

В общих чертах архитектура XDR описана ниже.

/image/gif/paws/7603/cef_error_msgs_7603.gif

Как поясняется в разделе Общие сведения данного документа, IPC-сообщения переносят FIB и таблицы смежности от процессоров маршрутизации к линейным платам. Другими словами, механизм IPC синхронизирует оба набора таблиц в процессорах маршрутизации и линейных платах. Любая структура данных, используемая функцией, должна передаваться в линейную плату через IPC таблицы FIB с возвратом статистики в процессор маршрутизации. Когда включен режим Distributed Cisco Express Forwarding, LC принимает решение о пересылке, используя локально сохраненные реплицированные базы данных.

Протокол внешнего представления данных (XDR) называют «механизмом наложения IPC». Сообщения XDR используются исключительно с реализацией режима Distributed Cisco Express Forwarding.

Статистика и структуры данных для поддержки функций программного обеспечения Cisco IOS передаются в сообщениях XDR через IPC программ Cisco IOS между RP и LC. В частности, сообщения XDR содержат три типа данных, указанных в следующей таблице:

Тип сообщения Описание сообщения Направление
Управление Процессор маршрутизации передает данные управления в субблоках функции процессора маршрутизации, рассылаемых по всем зеркалирующим субблокам на линейных платах, которые должны уведомляться об изменениях. От RP к LC
Статистика Линейные платы собирают статистические данные из различных субблоков функций, записывают собранные данные в буфер XDR и отправляют сообщение XDR процессору маршрутизации (RP). Процессор маршрутизации сводит эту статистику. LC в RP
Асинхронное оповещение о событиях Линейные платы сообщают о нестандартных событиях посредством асинхронных сообщений, рассылаемых при выполнении определенных условий. LC в RP

Для просмотра информации, передаваемой посредством сообщений XDR, используйте команду show cef line internal. В числе примеров XDR – обновление блоков описания сети (NDB) и блоков описания маршрутизации (RDB).

Total elements queued: 
  prefix                    1877106 
  adjacency                 6011 
  interface                 4084 
  address                   4010 
  policy routing            3 
  hw interface              84 
  state                     6 
  resequence                2 
  control                   24 
  time                      308 
  subblock                  18109 
  flow features deactivate  3 
  flow cache config         3 
  flow export config        3 
  flow sampling config      3 
  access-list               213 
  mpls ttl propogate        3 
  routemap config           126 
  mpls stats aggregate      3 
  dot1q vlan                10109 
  icmp limit                3 

Поиск и устранение неполадок

Этот раздел перечисляет сообщения об ошибках, которые могут присутствовать в журнале маршрутизации.

%FIB-3-FIBDISABLE: Fatal error, slot [#]: no memory и %FIB-3-NOMEM: Malloc Failure, disabling dCEF on line card

Сообщения об ошибках данного типа хранятся в журналах маршрутизатора (выполните команду show logging exec на маршрутизаторе или, если используется сервер системного журнала, обратитесь к его журналу) следующим образом:

  • Для коммутаторов серии 7500:

    Dec 19 17:58:56 CET: %FIB-3-FIBDISABLE: Fatal error, slot 0: no memory
    DEC 19 17:58:58 CET: %IPC-5-SLAVELOG: VIP-SLOT0: 
    00:03:37: %SYS-2-MALLOCFAIL: Memory allocation of 65524 bytes failed from     
    0x6009E9E4, pool Processor, alignment 16
    -Process= "CEF IPC Background", ipl= 0, pid= 7
    -Traceback= 600A141C 600A2B78 6009E9EC 6009F350 60235A34 60221BA4 60225528 
    6022A46C 60231104 6022FAC4 6022FCCC 6022FDBC 60230334 6009BB74 6009BB60      
    DEC 19 17:59:06 CET: %FIB-3-FIBDISABLE: Fatal error, slot 9: no memory
    DEC 19 17:59:11 CET: %IPC-5-SLAVELOG: VIP-SLOT9:
    00:03:47: %SYS-2-MALLOCFAIL: Memory allocation of 65524 bytes failed from      
    0x6009E9E4, pool Processor, alignment 16 
    -Process= "CEF IPC Background", ipl= 0, pid= 7
    -Traceback= 600A141C 600A2B78 6009E9EC 6009F350 60235A34 60221BA4 60225528      
    6022A46C 60231104 6022FAC4 6022FCCC 6022FDBC 60230334 6009BB74 6009BB60     
    DEC 19 17:59:31 CET: %IPC-5-SLAVELOG: VIP-SLOT8: 
    00:04:11: %SYS-2-MALLOCFAIL: Memory allocation of 3956 bytes failed from      
    0x602835F0, pool Processor, alignment 32 
    -Process= "CEF LC Stats", ipl= 0, pid= 21 
    -Traceback= 600A141C 600A2EC8 602835F8 60283C84 60283C58 60283CE4 60230574      
    6009BB74 6009BB60
    DEC 19 17:59:38 CET: %FIB-3-FIBDISABLE: Fatal error, slot 8: no memory
    DEC 19 18:00:29 CET: %FIB-3-FIBDISABLE: Fatal error, slot 10: no memory
    ...
    
  • В серии 7500 сообщение об ошибке, следующее непосредственно за текстом %IPC-5-SLAVELOG: VIP-SLOT, поступает напрямую от универсального интерфейсного процессора, расположенного в упомянутом слоте, посредством механизма IPC. В настоящем примере сообщение %SYS-2-MALLOCFAIL поступает от платы VIP.

    Jun 27 04:58:56 CET: %FIB-3-FIBDISABLE: Fatal error, slot 1: no memory
    Jun 27 04:59:07 CET: %FIB-3-FIBDISABLE: Fatal error, slot 2: no memory
    Jun 27 04:59:36 CET: %FIB-3-FIBDISABLE: Fatal error, slot 4: no memory
    Jun 27 04:59:45 CET: %FIB-3-FIBDISABLE: Fatal error, slot 0: no memory
    SLOT 2:Jun 27 04:23:00: %SYS-2-MALLOCFAIL: Memory allocation of 65524        
    bytes failed from 0x4009D9E4, pool Processor, alignment 32 
    -Process= "CEF IPC Background", ipl= 0, pid= 38 
    -Traceback= 400A0BFC 400A2358 4009D9EC 4009E338 403168BC 40316B68 40316EBC       
    4031C318 40321234 4032858C
    40326CD4 40326EF4 40326FE4 403275CC 4009BC74 4009BC60
    SLOT 2:Jun 27 04:23:00: %FIB-3-NOMEM: 
    Malloc Failure, disabling DCEF on linecard
    ...

    Примечание. Сообщения, начинающиеся с текста SLOT #:, формируются самой линейной платой.

Эти сообщения указывают на то, что распределенная коммутация Cisco Express Forwarding была отключена на VIP (для серии 7500) или на LC (для серии 12000), так как для загрузки Cisco Express Forwarding FIB и таблиц смежности с главной платы не хватило памяти. Поскольку серия 12000 поддерживает только коммутацию Distributed Cisco Express Forwarding, отключение коммутации Cisco Express Forwarding приводит к отключению самой платы.

При работе с полными интернет-маршрутами BGP рекомендованный объем памяти на VIP или LC — не менее 128 МБ.

В связи с тем что для модуля VIP2-40 маршрутизаторов серии 7500 предусмотрено не более 64 МБ памяти, для использования Distributed Cisco Express Forwarding с полными интернет-маршрутами BGP рекомендуется выполнить модернизацию до VIP2-50 или VIP4-80. Тридцати двух мегабайт определенно недостаточно для запуска Distributed Cisco Express Forwarding.

Рекомендуется VIP2-50 или выше с объемом памяти как минимум 128 МБ в зависимости от размера таблицы маршрутизации.

Если маршрутизатор принимает полную таблицу маршрутизации Интернета (или близок к этому), для BGP требуется большой объем памяти во время фазы схождения после перезагрузки маршрутизатора или изменения состояния канала BGP. При такой сходимости объем пула памяти процессора может достичь весьма низкого уровня, как показано в выходных данных команды show memory summary. Во время краткого периода нехватки памяти другие процессы, требующие памяти, могут замедлиться. Например, при обращении к маршрутизатору посредством команды telnet требуется память для поддержания сеанса TCP.

Другой временный пользователь памяти процессора — протокол распределения меток (LDP) в сетях многопротокольной коммутации по меткам (MPLS).

Cisco Express Forwarding переходит в режим FIBDISABLE только при полной нехватке процессорной памяти маршрутизатора. Для FIBDISABLE нет отметки низкого уровня. После самоотключения механизм Cisco Express Forwarding освобождает всю занимаемую память. Таким образом, сохраненный вывод команды show memory summary после отключения будет показывать достаточный объем доступной свободной памяти, но эти сведения обманчивы. Нехватка памяти заметна только из перехвата команды show memory summary, сохраненного до того, как механизм Cisco Express Forwarding отключит сам себя.

Кроме того, состояние FIBDISABLE может быть побочным эффектом отсутствия свободных буферов IPC. Программное обеспечение Cisco IOS не осуществляет динамического выделения буферов IPC по мере возникновения необходимости в них. При отсутствии свободных буферов IPC сообщения об ошибках FIB NOMEM не создаются, однако могут отображаться другие сообщения об ошибках IPC, например IPC-3-NOBUFF. Исчерпание буферов IPC не приводит к возникновению ошибки FIBDISABLE; механизм Cisco Express Forwarding попросту повторно ставит в очередь все необработанные сообщения и позднее повторяет попытку. Тем не менее если Cisco Express Forwarding не может получить буфер IPC из-за исчерпания буферов, то сообщения могут быть поставлены в очередь на линейных платах, что в конечном счете способно привести к нехватке памяти.

В Центр технической поддержки Cisco часто обращаются с вопросом: как рассчитать или определить достаточность объема памяти для работы протокола BGP на маршрутизаторе, подключаемом посредством BGP. Ответ зависит от конфигурации. Здесь приведены некоторые соображения:

  • Планируется ли применять на узлах однорангового соединения протоколы внутреннего (iBGP) и внешнего (eBGP) граничных шлюзов? Сколько всего одноранговых узлов? Целесообразно использовать группы одноранговых узлов BGP. При увеличении количества узлов увеличивается и время согласования.

  • Каким количеством маршрутов обмениваются в каждом направлении одноранговые узлы? Необходимо четко различать маршруты и пути. Маршруты включают определенное количество префиксов из базы данных маршрутизации BGP. Пути считают количество BGP-префиксов, сообщенных соседнему узлу. Например, если пять одноранговых узлов BGP отправляют полную таблицу маршрутизации, каждый из участников отправляет одинаковые маршруты. Предполагая, что маршруты узлов однорангового соединения на 90 % перекрываются, в приемном маршрутизаторе будет иметься таблица из 150 000 маршрутизаторов с пятью путями для большинства из них.

  • В числе других факторов стоит принять во внимание следующие:

    • Присутствие ядра LC в серии 12000.

    • Количество маршрутов протокола IGP.

    • Количество смежностей.

    • Распределение нагрузки: число путей с одинаковым адресатом.

    • Использование виртуальной частной сети (VPN) MPLS и число экземпляров виртуальной маршрутизации и пересылки данных (VRF) и число маршрутов для каждого экземпляра VRF.

Операционная система Cisco IOS 12.0(18)S и более поздних выпусков ПО официально требует 128 МБ памяти на всех линейных платах. Поскольку новые выпуски ПО Cisco IOS более требовательны к объему памяти процессора, то для поддержки масштабируемости маршрутизаторов в будущем, включая полную таблицу интернет-маршрутизации, рекомендуется использовать объем ОЗУ до 256 МБ. Ранее серия Cisco 12000 имела линейные платы с 64 МБ памяти. Такие линейные платы необходимо обновить.

Определите затронутые платы (см. раздел настоящего документа Проверка состояния Cisco Express Forwarding на процессорах VIP и линейных платах) и используйте следующие команды для отображения различных типов плат, установленных на маршрутизаторе, а также объемов их памяти:

  • Для коммутаторов серии 7500:

    Router#show diag | i (Slot | controller) 
    Slot 0: 
            EIP controller, HW rev 1.05, board revision B0 
            Slot database information: 
    Slot 2: 
    Slot 3: 
    Slot 4: 
            VIP2 controller, HW rev 2.11, board revision E0 
            Slot database information: 
            Controller Memory Size: 64 MBytes DRAM, 2048 KBytes SRAM 
    Slot 5: 
            VIP2 R5K controller, HW rev 2.03, board revision A0 
            Slot database information: 
            Controller Memory Size: 128 Mbytes DRAM, 8192 Kbytes SRAM 
    Slot 31 (virtual):
    
  • Для коммутаторов серии 12000:

    Router#show diag | i (DRAM|SLOT) 
    SLOT 0  (RP/LC 0 ): 1 Port SONET based SRP OC-12c/STM-4 Single Mode 
      DRAM size: 268435456 bytes 
      FrFab SDRAM size: 134217728 bytes, SDRAM pagesize: 8192 bytes 
      ToFab SDRAM size: 134217728 bytes, SDRAM pagesize: 8192 bytes 
    SLOT 2  (RP/LC 2 ): 12 Port Packet over E3 
      DRAM size: 67108864 bytes 
      FrFab SDRAM size: 67108864 bytes 
      ToFab SDRAM size: 67108864 bytes 
    SLOT 3  (RP/LC 3 ): 1 Port Gigabit Ethernet 
      DRAM size: 134217728 bytes 
      FrFab SDRAM size: 134217728 bytes, SDRAM pagesize: 8192 bytes 
      ToFab SDRAM size: 134217728 bytes, SDRAM pagesize: 8192 bytes 
    SLOT 5  (RP/LC 5 ): Route Processor 
      DRAM size: 268435456 bytes
    

Наращивание объема памяти на затронутых платах должно предупредить появление сообщений и восстановить работоспособность Distributed Cisco Express Forwarding на платах. Если сообщения все еще присутствуют после обновления памяти, свяжитесь с представителем службы поддержки Cisco и предоставьте ему собранные на текущий момент сведения, в том числе выходные данные команды show tech-support.

Примечание. Старые модели интерфейсных процессоров Fast Ethernet FEIP (CX-FEIP2-2TX и CX-FEIP2-2TX) вообще не поддерживают распределенную коммутацию и выдают похожие сообщения при попытке включить на них Distributed Cisco Express Forwarding. Отличить VIP от FEIP в случае конкретной платы можно при помощи команды show diag [№ слота].

Router#show diag 0 
Slot 0: 
        Physical slot 0, ~physical slot 0xF, logical slot 0, CBus 0 
        Microcode Status 0x4 
        Master Enable, LED, WCS Loaded 
        Pending I/O Status: None 
        EEPROM format version 1 
        FEIP controller, HW rev 2.01, board revision B0 
        Serial number: 03696620  Part number: 73-1374-04 
        Test history: 0x0E        RMA number: 203-11-48 
        Flags: cisco 7000 board; 7500 compatible

Для выполнения Distributed Cisco Express Forwarding необходимо заменить старый интерфейсный процессор FEIP на плату VIP с адаптерами портов Fast Ethernet.

%FIB-3-FIBDISABLE: Fatal error, slot [#]: No window message, LC to RP IPC is non-operational

Следующие сообщения (на маршрутизаторах серии 7500 и 12000) свидетельствуют также о том, что механизм Cisco Express Forwarding отключен, в данном случае – из-за того, что процессор RSP/GRP не получил пакет поддержания активности от VIP или линейной платы:

DEC 19 18:03:55 CET: %FIB-3-FIBDISABLE: Fatal error, slot 0: 
No window message, LC to RP IPC is non-operational 
DEC 19 18:04:05 CET: %FIB-3-FIBDISABLE: Fatal error, slot 9: 
No window message, LC to RP IPC is non-operational 
DEC 19 18:04:37 CET: %FIB-3-FIBDISABLE: Fatal error, slot 8: 
No window message, LC to RP IPC is non-operational 
DEC 19 18:05:28 CET: %FIB-3-FIBDISABLE: Fatal error, slot 10: 
No window message, LC to RP IPC is non-operational 
DEC 19 18:05:59 CET: %FIB-3-FIBDISABLE: Fatal error, slot 2: 
No window message, LC to RP IPC is non-operational 
DEC 19 18:06:07 CET: %FIB-3-FIBDISABLE: Fatal error, slot 1: 
No window message, LC to RP IPC is non-operational 

Сначала проверьте, достаточно ли памяти на платах.

Затем проверьте загрузку ЦПУ на VIP или линейной плате (в серии 7500 для этого выполните команду show controllers vip [№ слота] proc cpu, в серии 12000 – команду execute-on slot 0 show proc CPU). При слишком высокой загрузке ЦПУ (более 95 %) возможно прекращение передачи сообщений проверки активности от VIP или линейной платы маршрутизатору RSP/GRP. Первопричина этой проблемы – высокая нагрузка на ЦПУ. Советы по решению проблемы см. в разделе Решение проблемы высокой загрузки ЦПУ на маршрутизаторах Cisco.

При отсутствии существенной загрузки появление сообщений об ошибках может быть вызвано ошибкой программного обеспечения Cisco IOS.

При диагностике этой ошибки следует в первую очередь проверить затронутые платы (см. раздел настоящего документа Проверка состояния Cisco Express Forwarding Status на VIP и линейных платах). Можно попытаться перезапустить Cisco Express Forwarding на этих платах с помощью команды clear cef linecard [№ слота]. В коммутаторах серии 7500 может также потребоваться выполнить сброс платы VIP с помощью команды microcode reload. При этом создается комплекс CBUS, что приводит к прерыванию трафика приблизительно на две минуты (дополнительные сведения см. в документе Причины возникновения сообщения %RSP-3-RESTART: cbus complex. Эта процедура должна, по крайней мере временно, восстановить функционирование Distributed Cisco Express Forwarding на процессоре VIP или линейной плате.

В противном случае обновление выпуска программного обеспечения Cisco IOS до последней версии поможет устранить все причины возникновения ошибки этого типа. Если путем обновления устранить проблему не удалось, свяжитесь с представителем службы поддержки Cisco и предоставьте ему собранные на текущий момент сведения, в том числе выходные данные команды show tech-support.

%FIB-3-FIBDISABLE: Fatal error, slot [#]: IPC failure

Следующие сообщения об ошибках носят более общий характер и могут приводить к появлению других сообщений об ошибках (например, %FIB-3-FIBDISABLE: Fatal error, slot [#]: No window message, LC to RP IPC is nonoperational).

%FIB-3-FIBDISABLE: Fatal error, slot 3: IPC failure 
%FIB-3-FIBDISABLE: Fatal error, slot 0: IPC failure 
%FIB-3-FIBDISABLE: Fatal error, slot 1: IPC failure 
%FIB-3-FIBDISABLE: Fatal error, slot 2: IPC failure 
%FIB-3-FIBDISABLE: Fatal error, slot 4: IPC failure 
%FIB-3-FIBDISABLE: Fatal error, slot 9: IPC failure 
%FIB-3-FIBDISABLE: Fatal error, slot 10: IPC failure 

Межпроцессное взаимодействие (IPC ) – протокол, используемый для связи между основным процессором (RSP/GRP) и универсальным интерфейсным процессором или линейной платой. Он обеспечивает синхронизацию таблиц FIB и таблиц смежности при работе механизма Distributed Cisco Express Forwarding. Эти сообщения об ошибках IPC могут отображаться по многим причинам, в том числе по следующим:

Сбои межпроцессного взаимодействия

Следующие команды служат для анализа фактического состояния IPC. Выходные данные этих команд иногда различны для серий 7500 и 12000.

  • show ipc status – служит для проверки на предмет ошибок IPC, состояний неподтверждения (NACK) и ipc_output_failures.

  • show ipc nodes – используется для проверки активных плат.

  • show ipc queue – служит для проверки сообщений IPC, ожидающих подтверждения (ACK).

На маршрутизаторах серии 7500 выходные данные выглядят следующим образом:

Router#show ipc status 
IPC System Status: 

This processor is the IPC master server. 

1000 IPC message headers in cache 
1591560 messages in, 5884 out, 1587095 delivered to local port, 
2757 acknowledgements received, 2764 sent, 
0 NACKS received, 0 sent, 
0 messages dropped on input, 276 messages dropped on output 
0 no local port, 264 destination unknown, 0 no transport 
0 missing callback or queue, 0 duplicate ACKs, 5 retries, 
1 message timeout. 
12 ipc_output failures, 0 mtu failures, 
0 msg alloc failed, 0 emer MSG alloc failed, 0 no origs for RPC replies 
0 pak alloc failed, 10 memd alloc failed 
2 no hwq, 0 failed opens, 0 hardware errors 
No regular dropping of IPC output packets for test purposes 

Router#show ipc nodes 
There are 3 nodes in this IPC realm. 
   ID     Type                 Name         Last  Last 
                                            Sent  Heard 
   10000 Local      IPC Master                0      0 
 1030000 RSP-CY     RSP IPC card slot 3       7      7 
 1000000 RSP-CY     RSP IPC card slot 0      10     10 

Router#show ipc queue 
There are 0 IPC messages waiting for acknowledgement in the transmit queue. 
There are 0 IPC messages waiting for a response. 
There are 0 IPC messages waiting for additional fragments. 
There are 0 IPC messages currently on the IPC inboundQ. 
There are 0 messages currently in use by the system.

На маршрутизаторах серии 12000 выходные данные выглядят следующим образом:

Router#show ipc status 
IPC System Status: 

This processor is the IPC master server. 

19244592 messages in, 26698 out, 19244448 delivered to local port, 

102 acknowledgements received, 4780307 sent, 
0 NACKS received, 0 sent, 
0 messages dropped on input, 0 messages dropped on output 
0 no local port, 0 destination unknown, 0 no transport 
0 missing callback or queue, 0 duplicate ACKs, 0 retries, 
0 message timeouts. 
0 ipc_output failures, 0 mtu failures, 
0 MSG alloc failed, 0 emer MSG alloc failed, 0 no origs for RPC replies 
0 pak alloc failed, 0 memd alloc failed 
0 no hwq, 0 failed opens, 0 hardware errors 

Router#show ipc nodes 
There are 4 nodes in this IPC realm. 

   ID     Type       Name             Last  Last 
 10000 Local      IPC Master          0      0 
 1000000 GSR        GSR Slot 0         23     47 
 1010000 GSR        GSR Slot 1         23     26 
 1040000 GSR        GSR Slot 4         23     29 

                                  Sent  Heard
Router#show ipc queue 

There are 0 IPC messages waiting for acknowledgement in the transmit queue. 
There are 0 messages currently in use by the system. 

Если выделенные счетчики увеличиваются, IPC не выполняется должным образом для других гнезд. В этом случае следует вначале попробовать механически переустановить соответствующую линейную плату либо выполнить ее сброс командой microcode reload (для серии 7500) или командой hw-module slot [№ слота] reload (для серии 12000). Если межпроцессное взаимодействие не восстанавливается после сброса линейной платы, попробуйте переместить плату в другой слот. Если это не сработает, замените неисправный процессор VIP или линейную плату.

Проблема матрицы

На интернет-маршрутизаторе серии 12000 сама матрица может вызывать помехи. При неисправности одной из плат коммутирующей матрицы (SFC) могут присутствовать аналогичные сообщения об ошибках, поскольку сообщения IPC перестанут проходить через коммутирующую матрицу. Однако в этом случае необходимо также просмотреть другие сообщения, указывающие на неисправность матрицы.

Можно проверить наличие сбоя на одной из плат SFC с помощью команды show controller fia:

Router#show controllers fia
Fabric configuration: Full bandwidth redundant
Master Scheduler: Slot 17

>From Fabric FIA Errors
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
---
redund fifo parity 0   redund overflow 0  cell drops 1
crc32 lkup parity  0   cell parity     0  crc32      0
Switch cards present    0x0017    Slots  16 17 18 20
Switch cards monitored  0x0017    Slots  16 17 18 20
Slot:     16       17         18         19         20
Name:    csc0     csc1       sfc0       sfc1       sfc2       
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
los    0         0          0          0          0
state  Off       Off        Off        Off        Off
crc16  0         0          4334       0          0

To Fabric FIA Errors
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
---
sca not pres 0       req error     0      uni FIFO overflow 0
grant parity 0       multi req     0      uni FIFO undrflow 0
cntrl parity 0       uni req       0      crc32 lkup parity 0
multi FIFO   0       empty dst req 0      handshake error   0
cell parity  0 

В этом примере, вероятно, неисправна плата sfc0 (слот 18), и ее нужно заменить.

Непрохождение загрузки или зависание процессора VIP или линейной платы

Если одна из плат не загрузилась штатным образом, она не сможет обмениваться данными с главным процессором (GRP или RSP). Проверить журнал можно при помощи команды show log. Она сообщит о возможных неполадках в процессе начальной загрузки. Также необходимо проверить состояние линейной платы.

Для проверки фактического состояния линейных плат можно использовать команду show diag.

  • Для коммутаторов серии 7500:

    Router#show diag | i (Slot|Board is)
    Slot 0:
    		Board is analyzed
    		Slot database information:
    Slot 2:
    Slot 3:
    Slot 4:
    		Board is analyzed
            Slot database information:
    Slot 5:
            Board is analyzed
            Slot database information:
    Slot 31 (virtual)
    
  • Для коммутаторов серии 1200:

    Router#show diags | i SLOT | State 
    SLOT 0  (RP/LC 0 ): Route Processor 
      Board State is IOS Running (ACTV  RP ) 
    SLOT 1  (RP/LC 1 ): 1 port ATM Over SONET OC12c/STM-4c Multi Mode 
      Board State is Line Card Enabled (IOS  RUN ) 
    SLOT 2  (RP/LC 2 ): 1 Port Gigabit Ethernet 
      Board State is Line Card Enabled (IOS  RUN ) 
    SLOT 3  (RP/LC 3 ): 3 Port Gigabit Ethernet 
      Board State is Line Card Enabled (IOS  RUN ) 
    SLOT 4  (RP/LC 4 ): 4 port ATM Over SONET OC-3c/STM-1 Multi Mode 
      Board State is In Reset (IN   RSET) 
    SLOT 5  (RP/LC 5 ): 8 Port Fast Ethernet Copper 
      Board State is Line Card Enabled (IOS  RUN ) 
    SLOT 6  (RP/LC 6 ): 4 Port Packet Over SONET OC-3c/STM-1 Multi Mode 
      Board State is Line Card Enabled (IOS  RUN ) 
    SLOT 7  (RP/LC 7 ): 1 Port E.D. Packet Over SONET OC-48c/STM-16 
    Single Mode/SR SC-SC connector 
      Board State is Line Card Enabled (IOS  RUN ) 
    SLOT 17 (CSC 1   ): Clock Scheduler Card(8) 
    SLOT 18 (SFC 0   ): Switch Fabric Card(8) 
    SLOT 19 (SFC 1   ): Switch Fabric Card(8) 
    SLOT 20 (SFC 2   ): Switch Fabric Card(8) 
    SLOT 24 (PS A1   ): AC Power Supply(8)
    

Нормальное состояние для серии 12000 – Line Card Enabled (Линейная плата включена), а для серии 7500 – Board is analyzed (Плата анализируется).

Проверьте, поддерживается ли плата программным обеспечением Cisco IOS и загрузочным образом, используемым в данный момент. Для этого можно использовать средство Software Advisor (только для зарегистрированных пользователей). Если программное обеспечение функционирует без сбоев, то попробуйте механически переустановить соответствующую линейную плату либо сбросить ее командой microcode reload (для серии 7500) или hw-module slot [№ слота] reload (для серии 12000).

Если восстановить работу линейной платы не удается, попробуйте переставить ее в другой слот. Это позволяет исключить неисправность конкретного слота шасси. Если плата по-прежнему не работает, то наиболее вероятно, что необходимо заменить универсальный интерфейсный процессор или линейную плату.

Бывает целесообразно проверить, достаточно ли памяти на линейной плате и была ли память приобретена непосредственно у Cisco или у поставщика, уполномоченного Cisco. Линейная плата не загружается, если используется неверный тип памяти или если недостаточно памяти для загрузки микрокода.

Исчерпание буферов универсального интерфейсного процессора или линейной платы

Линейная плата может исчерпать доступный объем памяти, в результате чего ей не будет хватать буферов для обмена данными IPC. В этом случае необходимо модернизировать память линейной платы.

Ошибки в программном обеспечении Cisco IOS

В отсутствие иных вероятных причин следует допускать возможность ошибки в программном обеспечении Cisco IOS. Обновление до текущей версии в ветке выпусков ПО Cisco IOS позволит исправить все известные проблемы с IPC.

В некоторых случаях, актуальных для серии 12000, эти сообщения об ошибках могут также возникнуть при настройке усовершенствований списков контроля доступа. Временное исправление этой ошибки – отключить данное нововведение, выполнив команду no access-list hardware psa. Дополнительные сведения можно найти в документе Усовершенствования для повышения эффективности списков контроля доступа в гигабитных маршрутизаторах-коммутаторах Cisco 12000.

Если не удается определить причину появления сообщений или проблема возникает повторно и при этом установлен выпуск программного обеспечения Cisco IOS самой последней версии, доступной на CCO, то, вероятно, вы столкнулись с новой ошибкой программного обеспечения Cisco IOS. Обратитесь к представителю службы поддержки Cisco, предоставив ему собранные на текущий момент данные вместе с выходными данными команд show tech-support и show cef linecard соответствующего маршрутизатора.

Интерактивная вставка или удаление (OIR) или сбой VIP

После аварийного отказа многоцелевого интерфейсного процессора (VIP) пакетная память RSP (называемая также MEMD) выделяется повторно и соединения IPC между RSP и VIP восстанавливаются. Если в момент сбоя VIP на RSP имелись сообщения Cisco Express Forwarding, поставленные в очередь в таблице повторной передачи IPC, то для этих сообщений может истечь время ожидания и механизм Cisco Express Forwarding на других линейных платах будет отключен. Идентификатор ошибки Cisco CSCdv87489 (только для зарегистрированных пользователей) устраняет эту проблему на RSP, заставляя механизм Cisco Express Forwarding обнаруживать OIR, перезагрузку линейной платы или повторное выделение MEMD, а также сообщения сброса в очереди повторной передачи. Идентификатор ошибки Cisco CSCdu81796 (только для зарегистрированных пользователей) устраняет эту проблему в маршрутизаторах Cisco серии 10000.

Выполнение OIR для универсального интерфейсного процессора или линейной платы может вызвать ошибку FIBDISABLE на других слотах. Данная ситуация возникает в том случае, когда маршрутизация Cisco на RP не может установить IPC-подключение к другим платам VIP из-за события OIR на одном из VIP. Идентификатор ошибки Cisco CSCdv47664 (только для зарегистрированных пользователей) устраняет эту проблему.

%FIB-4-RPPREFIXINCONST2/1 and %FIB-4-LCPREFIXINCONST2/1

В журналах маршрутизатора можно также заметить следующие сообщения:

%FIB-4-RPPREFIXINCONST2: RP missing prefix for 195.74.205.54/32
in FIB table Default-table (present in routing)
%FIB-4-RPPREFIXINCONST2: RP missing prefix for 195.74.205.231/32
in FIB table Default-table (present in routing)
%FIB-4-RPPREFIXINCONST2: RP missing prefix for 195.74.221.68/32
in FIB table Default-table (present in routing)
%FIB-4-RPPREFIXINCONST2: RP missing prefix for 195.74.216.52/32
in FIB table Default-table (present in routing)
%FIB-4-RPPREFIXINCONST2: RP missing prefix for 195.74.216.96/32
in FIB table Default-table (present in routing)
%FIB-4-RPPREFIXINCONST2: RP missing prefix for 195.74.216.55/32
in FIB table Default-table (present in routing)

или

%FIB-4-LCPREFIXINCONST2: Slot 1 missing prefix entry for 64.0.17.0/32
%FIB-4-LCPREFIXINCONST2: Slot 1 missing prefix entry for 64.0.45.0/32
%FIB-4-LCPREFIXINCONST2: Slot 1 missing prefix entry for 64.0.23.0/32

Эта проблема характерна для всего оборудования, применяющего механизм Distributed Cisco Express Forwarding, в частности для маршрутизаторов серий 7500 и 12000. Данные сообщения представляют собой предупреждения, формируемые средством проверки согласованности Cisco Express Forwarding в случае обнаружения несогласованностей в таблицах Cisco Express Forwarding.

Средство проверки согласованности использует разные механизмы для обнаружения противоречий:

  • LC или VIP посылает GRP или RSP — любой адрес, на который пересылка пакетов оказалась невозможной. Если GRP/RSP выясняет, что запись правильная, будет обнаружена несогласованность и на консоли появится соответствующее сообщение.

  • LC или VIP и GRP или RSP посылают один другому фиксированное количество префиксов (по умолчанию 100) каждые 60 секунд. Если выявлено несоответствие, отображается сообщение об ошибках.

Если непоследовательность не устранена, это может привести к недоступности назначений и отброшенным пакетам. Когда выводятся эти сообщения, прежде всего следует вызвать команду show ip cef на устройстве, указанном в сообщении об ошибке, и проверить наличие или отсутствие префикса. Это позволяет определить, исправил ли несогласованность сам маршрутизатор.

Ниже приводятся более подробные пояснения по каждому сообщению, а также некоторые рекомендации по их устранению.

  • %FIB-4-RPPREFIXINCONST2. Средством пассивной проверки согласованности в таблице маршрутизации обнаружен префикс, отсутствующий в таблице пересылки CEF на RP. Возможно, это переходное состояние.

    Если один и тот же префикс дает повторяющиеся ошибки, проверьте префикс в Cisco Express Forwarding и таблице маршрутизации. В случае отсутствия префикса попробуйте отключить или включить функцию Cisco Express Forwarding.

  • %FIB-4-RPPREFIXINCONST1. Пассивным средством проверки согласованности обнаружен префикс в таблице пересылки линейной платы, отсутствующий на процессоре маршрутизации. Возможно, это переходное состояние.

    Если один и тот же префикс дает повторяющиеся ошибки, проверьте префикс Cisco Express Forwarding на процессоре маршрутизации и линейной плате. При необходимости команда clear cef linecard загружает новую таблицу Cisco Express Forwarding на линейную плату.

  • %FIB-4-LCPREFIXINCONST1. Пакет принят линейной платой, но в процессе поиска IP-адреса получателя не удалось обнаружить данный префикс в таблице пересылки. Однако этот префикс имеется на процессоре маршрутизации. Возможно, это переходное состояние.

    Если один и тот же префикс дает повторяющиеся ошибки, проверьте префикс Cisco Express Forwarding на процессоре маршрутизации и линейной плате. При необходимости команда clear cef linecard загружает новую таблицу Cisco Express Forwarding на линейную плату. Можно также выполнить команду clear adjacency для перезагрузки префиксов /32.

  • %FIB-4-LCPREFIXINCONST2. Пассивным средством проверки согласованности обнаружен префикс в таблице пересылки линейной платы, присутствующий на процессоре маршрутизации. Возможно, это переходное состояние.

    Если один и тот же префикс дает повторяющиеся ошибки, проверьте префикс Cisco Express Forwarding на процессоре маршрутизации и линейной плате. При необходимости команда clear cef linecard загружает новую таблицу Cisco Express Forwarding на линейную плату. Можно также выполнить команду clear adjacency для перезагрузки префиксов /32.

    Если сообщение отображается всего один раз и ошибка сразу же устраняется, это событие можно считать единичным и никаких действий не требуется. Однако при многократном возникновении этих сообщений или в том случае, если маршрутизатор не исправляет эту ситуацию самостоятельно, наиболее вероятна программная ошибка в коде механизма Cisco Express Forwarding. Некоторые ошибки исправлены в выпусках ПО Cisco IOS 12.0(17)S1 и 12.0(17)ST1. Убедитесь, что используется хотя бы одна из этих версий.

    Если проблема продолжает возникать после обновления до последней версии в ветке выпусков, обратитесь к представителю службы поддержки Cisco и сообщите выходные данные команд show tech, show ip route и show ip cef.

    Примечание. Проверку согласованности можно отключить с помощью команды глобальной настройки конфигурации no ip cef table consistency-check.

Дополнительные сведения об этом сообщении об ошибке и советы по ее устранению см. в документе Устранение несогласованности префиксов с механизмом Cisco Express Forwarding.

%FIB-3-NORPXDRQELEMS: Exhausted XDR queuing elements while preparing message for slot [#]

Примечание. Для более полного понимания объяснений и рекомендаций в отношении этого сообщения об ошибке рекомендуется вначале прочитать раздел этого документа Обзор протокола внешнего представления данных (XDR).

Пока RP готовился к передаче сообщения всем LC в системе, он прекратил поддержку элементов постановки в очередь, которые требуются для постановки сообщений в очередь для передачи.

В серии Cisco 12000 режим распределенной коммутации Cisco Express Forwarding можно отключить из-за нехватки памяти при выполнении больших обновлений маршрутов (например, при загрузке). Например, во время перебросок/перезагрузок маршрутизации на RP могут происходить ошибки malloc, отключающие коммутацию Distributed Cisco Express Forwarding.

В качестве примера при очистке процесса ip ospf с 260K маршрутов OSPF на процессоре маршрутизации может возникнуть следующее сообщение об ошибке:

%FIB-3-NORPXDRQELEMS: Exhausted XDR queuing 
  elements while preparing message for slot 2
  -Process= "OSPF Router", ipl= 0, pid= 149
  -Traceback= 41060B88 40D5C894 403D130C 403A4484 403AB49C 403AAB10 
  403AB7BC 40736FCC 407384E0 401BE9BC 401BE9A8

Или же если используется крупная таблица маршрутизации BGP и при этом возникают ошибки маршрутизации или перезагрузки маршрутизатора, то может быть видно следующее:

%FIB-3-NORPXDRQELEMS: Exhausted XDR queuing elements 
  while preparing message for slot 4
   -Process= "BGP Router", ipl= 0, pid= 104
   -Traceback= 600CDC74 600DC3D0 6038FA90 6036C940 60374510 604A2F30 
  60753168 604A2FAC 604A9BC0 6018BD8C 6018BD78

Примечание. Эти сообщения могут сопровождаться сообщениями %FIB-3-FIBDISABLE: Fatal error, slot 6: no memory и %FIB-3-NOMEMWARNING: Malloc Failure in DCEF.

При отправке 100K маршрутов BGP может присутствовать следующее сообщение:

%OSPF-5-ADJCHG: Process 100, Nbr 161.10.1.1 on GigabitEthernet3/1 
  from LOADING to FULL, Loading Done
%OSPF-5-ADJCHG: Process 100, Nbr 161.10.1.1 on GigabitEthernet3/3 from LOADING 
  to FULL, Loading Done
%OSPF-5-ADJCHG: Process 100, Nbr 161.10.1.1 on GigabitEthernet3/2 from LOADING 
  to FULL, Loading Done
%OSPF-5-ADJCHG: Process 100, Nbr 161.10.1.1 on GigabitEthernet3/4 from LOADING 
  to FULL, Loading Done

%BGP-5-ADJCHANGE: neighbor 161.10.11.1 Up


%FIB-3-FIBDISABLE: Fatal error, slot 6: no memory
%FIB-3-FIBDISABLE: Fatal error, slot 3: no memory


%SYS-2-MALLOCFAIL: Memory allocation of 65540 bytes failed from 0x401C783C, 
pool Processor, alignment 0
  -Process= "BGP Router", ipl= 0, pid= 120
  -Traceback= 401CAB20 401CCF80 401C7844 401C8044 40FD017C 40FD032C 40D65AFC 
   403D4174 403A7BA4 403AA4D0 40712200 40712EF4 4112E760 40712FE0 406EDD10 
   401C155C
Queued messages:
%SYS-3-LOGGER_FLUSHING: System pausing to ensure console debugging output.

%FIB-3-NORPXDRQELEMS: Exhausted XDR queuing elements while preparing message for 
slot 4
   -Process= "BGP Router", ipl= 0, pid= 104
   -Traceback= 600CDC74 600DC3D0 6038FA90 6036C940 60374510 604A2F30 
     60753168 604A2FAC 604A9BC0 6018BD8C 6018BD78
%FIB-3-NOMEMWARNING: Malloc Failure in DCEF

Эта проблема вызвана Cisco Express Forwarding, использующим слишком много памяти RP во время многочисленных обновлений маршрутизации. Первопричина проблемы состоит в том, что RP расходует свободную память на сообщения XDR в очереди IPC Cisco Express Forwarding, в то время как их пересылка на линейные платы идет весьма медленно. Частота пересылки сообщений IPC Cisco в данный момент ограничена 25 сообщениями IPC (из любой очереди) не чаще чем раз в четверть секунды. Результатом этого становится то, что очереди на стороне RP вырастают до значительного размера, не оставляя свободной памяти RP, поэтому появляется событие mallocfail и происходит отключение Cisco Express Forwarding.

В этом случае можно сократить максимальный путь в протоколе BGP для уменьшения количества информации, которую механизм Cisco Express Forwarding должен распространять среди линейных плат, или сократить размер окна TCP для уменьшения частоты входящих обновлений BGP. Для получения дополнительной информации обратитесь к главе Выполнение оптимальной маршрутизации и сокращение использования памяти BGP.

Если используется программное обеспечение Cisco IOS выпусков 12.0(16)S, 12.0(16)ST, 12.1(9), 12.1(8a)E, 12.2(2) и 12.2(2)T или последующих, то для получения приемлемых параметров можно выполнить команду конфигурации интерфейса ip cef linecard ipc memory <0-128000 кбайт>. По умолчанию задано наличие 25 буферов. Однако это значение зависит от платформы коммутации. Объем памяти линейной платы ограничен 50 процентами от всей доступной памяти. Эта команда:

  • позволяет выделить больший объем памяти линейной платы под очередь для обновления маршрутизации Cisco Express Forwarding;

  • предоставляет процессору маршрутизации возможность высвобождения памяти за счет более быстрого выпуска обновлений Cisco Express Forwarding;

  • предотвращает нехватку памяти на RP.

Если выдаются вышеприведенные сообщения об ошибках, то проблема решается увеличением памяти IPC линейной платы. Рекомендуется выполнить эту команду с параметром 10 000. В большинстве случаев это решает проблему. Команда используется следующим образом:

 Router(config)#ip cef linecard ipc mem ? 
   <0-128000>  Kbytes of linecard memory (limited to 50% of total) 

 Router(config)#ip cef linecard ipc mem 10000 

 Router#show cef linecard detail 
 CEF linecard slot number 0, status up, sync 
  Linecard CEF version number 8 
  Sequence number 3, Maximum sequence number expected 27, Seq Epoch 1 
  Send failed 0, Out Of Sequence 0, drops 0 
  Linecard CEF reset 1, reloaded 1 
  33 elements packed in 4 messages(1030 bytes) sent 
  1 elements cleared 
  linecard in sync after reloading 
  0/0/0 xdr elements in LowQ/MediumQ/HighQ 
  8/9/13 peak elements on LowQ/MediumQ/HighQ    
  Input  packets 0, bytes 0 
  Output packets 0, bytes 0, drops 0 

Дополнительные сведения об этой команде содержатся в описании команды ip cef linecard ipc memory.

%FIB-3-FIBBADXDRLEN and %FIB-4-FIBXDRLEN

Для более полного понимания объяснений и рекомендаций в отношении этого сообщения об ошибке рекомендуется вначале прочитать раздел этого документа Обзор протокола внешнего представления данных (XDR).

Вы можете получить следующее сообщение об ошибках:

%FIB-3-FIBBADXDRLEN: Invalid XDR length. Type/len 6/29479. 
XDR at 0x622D1F2C 
-Traceback= 600C786C 601D4B50 602CF7A8 60183454 60183440 

Это сообщение поступает от программы проверки сообщений, выполняющей базовые проверки в сообщениях XDR. В этом случае получено сообщение XDR типа 6, поле длины в котором содержит значение 29479. Эта длина превышает объем буфера, содержащего данные, — таким образом код отбрасывает это сообщение.

В серии 12000 аппаратный сбой матрицы может повредить некоторые пакеты, вызывая всплывающее сообщение об ошибках XDR. С помощью команды show controller fia проверьте коммутационную матрицу на наличие ошибок циклической контрольной суммы (CRC) на одной из плат SFC. Необходимо также проверить журнал регистраций на наличие других сообщений, которые могут содержать данные для поиска сообщения об ошибках.

%FIB-3-FIBLC_OOSEQ: Slot [#] disabled - Out of Sequence. Expected [#], received [#]

Это сообщение появляется, если процессор маршрута получил несвоевременное сообщение IPC от LC. В результате механизм Cisco Express Forwarding на указанном слоте отключен.

В некоторых случаях при большом количестве маршрутов или перезапущенном RP в консоли RP может появиться сообщение об ошибке, показанное ниже.

%FIB-3-FIBLC_OOSEQ: Slot 11 disabled - Out of Sequence. 
Expected 9637, received 9638 

Это сообщение может сопровождаться еще одним, соответствующим слоту:

SLOT 11:%FIB-3-FIBSEQ: Out of sequence. State 9637 Rcvd 9638 

Чтобы проверить, отключен ли механизм Cisco Express Forwarding на слоте, выполните команду show cef linecard, как показано ниже.

router#show cef linecard 
CEF table version 40975, 47 routes 
Slot CEF-ver MsgSent XdrSent   Seq MaxSeq  LowQ HighQ Flags      
11     40750    9642  164473  9639   9661     0     0 up, sync, disabled 

С функциональной точки зрения никаких последствий не возникает; таблица FIB при возникновении этого события перезагружается. Если устранить проблему не удалось, попробуйте выполнить команду clear cef linecard <№ слота>. Затем следует проверить состояние линейной платы с помощью команды show cef linecard. На серии 7500 можно попытаться отключить функцию Cisco Express Forwarding, а затем повторно включить ее. Если ошибка повторится, выполните для универсального интерфейсного процессора команду microcode reload. Она должна решить проблему. На маршрутизаторе Cisco 12000 проблему помогает решить выполнение команды hw-module slot <№ слота> reload для линейной платы.

%FIB-4-PUNTINTF: CEF punting packets switched to [int] to next slower path и %FIB-5-NOPUNTINTF: CEF resuming switching packets to [инт.]

Будет получено сообщение %FIB-4-PUNTINTF, если экспресс-пересылка Cisco Express Forwarding не сможет направить отдельные или все пакеты из данного интерфейса при текущей конфигурации. Пакеты, коммутируемые на этот интерфейс, Cisco Express Forwarding перебрасывает на следующий, более медленный, путь коммутации. Дополнительные сведения о CEF и других доступных путях коммутации см. в документе Выбор наилучшего пути коммутации для маршрутизатора в сети.

Вы получаете сообщение %FIB-5-NOPUNTINTF, если скоростная передача Cisco (CEF) направляла пакеты, коммутируемые в этот интерфейс, по следующему более медленному пути коммутации, а конфигурация интерфейса изменилась таким образом, что CEF теперь может возобновить коммутацию к этому интерфейсу. Это сообщение является уведомительным и в большинстве случаев не требует выполнения каких-либо действий.

%FIB-4-PUNTINTF: CEF punting packets switched to POS2/0/0.1 
to next slower path 

Это сообщение может появляться после изменения настройки интерфейса в следующем случае:

%FIB-5-NOPUNTINTF: CEF resuming switching packets to POS2/0/0.1 

Если выпуск ПО Cisco IOS приблизительно соответствует 12.1(6) при глобально включенной команде ip cef и настроенной в виртуальном шаблоне команде no ip route-cache cef, то будут присутствовать следующие сообщения, если интерфейсы виртуального доступа L2F станут частью основных связок многоканального PPP (MP):

  • %FIB-4-PUNTINTF: CEF punting packets switched to Virtual-Access14 to next slower path

  • %FIB-5-NOPUNTINTF: CEF resuming switching packets to Virtual-Access14

  • %FIB-4-PUNTINTF: CEF punting packets switched to Virtual-Access37 to next slower path

  • %FIB-5-NOPUNTINTF: CEF resuming switching packets to Virtual-Access37

Обходное решение: установить такое значение уровня ведения журнала, чтобы эти сообщения не появлялись. Другой способ – глобальное отключение механизма IP Cisco Express Forwarding. Однако отключение Cisco Express Forwarding следует рассматривать как временный обходной путь, так как это лучший метод коммутации на некоторых платформах. Распределенная коммутация Cisco Express Forwarding на сериях 7500 и 12000 является лучшим способом коммутации, затем идет Cisco Express Forwarding, затем все прежние версии.

Начиная со следующих выпусков ПО Cisco IOS: 12.1(8), 12.1(08a)E, 12.2(1)S, 12.1(8)AA, 12.0(17)S, 12.0(17)ST, 12.2(1)T, 012.002(2), — сообщения не записываются при установке или удалении флага PUNT на интерфейсе. Действие Cisco Express Forwarding по-прежнему возможно проверить при помощи команд show cef interface и debug ip cef events. Как следствие, отпадает необходимость в рассылке ненужных сообщений пользователям, если интерфейс настроен для переброски пакетов на следующий более медленный путь. Маршрутизаторы не переполняются сообщениями при загрузке или при запуске Cisco Express Forwarding, а системные журналы не заполняются сообщениями для каждой платформы управления вызовами для удаленного доступа.

По возможности на различных субинтерфейсах следует настроить функции, которые поддерживаются и не поддерживаются Cisco Express Forwarding. Некоторые инкапсуляции интерфейсов ATM не поддерживаются Cisco Express Forwarding. Следует обратиться к руководству по конфигурации программного обеспечения Cisco IOS для вашего маршрутизатора, чтобы узнать о том, какие инкапсуляции поддерживаются, а какие нет.

%HW_RES_FAIL-4-LOW_CEF_MEM: SLOT [char] is running low

Эти сообщения на маршрутизаторе являются одним из элементов функции аппаратной отказоустойчивости CEF. Начиная с выпуска IOS 12.0(28)S, функция аппаратной отказоустойчивости CEF поддерживается ядром Engine 2 (E2) серии Cisco 12000 и линейными платами ядра служб IP (ISE). Аппаратная отказоустойчивость CEF – механизм защиты памяти в аппаратной части CEF и ресурсов пересылки на заказной микросхеме (ASIC). Аппаратная отказоустойчивость CEF не допускает отключения CEF и возникновения помех для пересылки пакетов в результате исчерпания ресурсов или аварийной ситуации, например дефицита памяти или сбоя межпроцессного взаимодействия. Драйвер устройства линейной платы имеет внутренние механизмы обработки отказов, связанных с ресурсами, без участия верхних уровней.

В случае отказа или исчерпания памяти аппаратной пересылки (PLU или TLU) в линейных платах E2 или ISE серии Cisco 12000 функция мониторинга ресурсов выводит аварийное оповещение (сообщение об ошибке или предупреждение, как в журнале) на системной консоли и заносит его в журнал. При возникновении ошибки выделения памяти в фоне запускается процесс мониторинга ресурсов на основе таймера. С интервалом в одну минуту этот процесс проверяет используемую долю памяти аппаратной пересылки PLU или TLU. При превышении порога исчерпания аппаратной памяти генерируется аварийное оповещение. В конечном итоге сообщение об ошибке может указывать на память TLU, которая имеет фиксированный размер и модернизации не подлежит.

Возможны следующие обходные решения:

  • уменьшить число маршрутов;

  • отключить списки контроля доступа PSA (no access-list hardware psa).

%FIB-4-FIBCBLK2: Missing cef tableid [десят. код] during [текст] event for [IP-адрес][маска_подсети_IP]

Ниже приведены некоторые примеры сообщений из журналов ошибок.

%FIB-4-FIBCBLK: Missing cef table for tableid 63 during route update XDR event
%FIB-SP-4-FIBCBLK: Missing cef table for tableid 33 during Table removal event
%FIB-4-FIBCBLK: Missing cef table for tableid 45 during routing table event

Причина этих сообщений – удаление запроса VRF, формируемого перед тем, как связанные обновления NDB (блока описания сети) перейдут на распределение и обработку линейными платами. Это вызывает временную проблему в таблице CEF, где сгенерирован идентификатор таблицы, но сама таблица удалена. Обычно эта проблема устраняется сама собой, не требуя вмешательства, и никаких последствий для трафика или стабильности маршрутизатора не возникает. Аналогичные системные сообщения рассмотрены в описаниях идентификаторов ошибок Cisco CSCsg03483 и CSCee26209.

Сбор диагностических сведений перед обращением в Центр технической поддержки

При регистрации обращения в Центре технической поддержки при помощи программы подготовки запросов в Центр технической поддержки (доступной только зарегистрированным пользователям) приложите следующие сведения для диагностики сообщений об ошибках, связанных с Cisco Express Forwarding:
  • Меры по устранению, предпринятые перед регистрацией обращения.
  • Выходные данные команды show tech-support (по возможности – в активном режиме).
  • Выходные данные команды show log или сохраненный вывод на консоль (при наличии).
Приложите собранные сведения к обращению в простом незаархивированном текстовом файле (.txt). Можно приложить эти сведения, загрузив их с помощью программы подготовки запросов в Центр технической поддержки (доступной только зарегистрированным пользователям). Если не удается получить доступ к программе, то можно присоединить дополнительные данные к обращению и отправить их на адрес attach@cisco.com, указав номер обращения в теме письма.

Примечание. Не выполняйте ручную перезагрузку или выключение/включение маршрутизатора до сбора указанной информации (если это не требуется для диагностики сообщений об ошибках, связанных с Cisco Express Forwarding), поскольку это может вызвать потерю важной информации, необходимой для определения источника проблемы.

Прочие ресурсы для поиска и устранения неполадок

Дополнительные сведения о процедурах поиска и устранения неполадок применительно к Cisco Express Forwarding см. в следующих документах:


Связанные обсуждения сообщества поддержки Cisco

В рамках сообщества поддержки Cisco можно задавать и отвечать на вопросы, обмениваться рекомендациями и совместно работать со своими коллегами.


Дополнительные сведения

Введение

В этом документе описаны причины возникновения типичных сообщений об ошибках, связанных с технологией Cisco Express Forwarding (ранее CEF) на платформах, использующих коммутацию Distributed Cisco Express Forwarding (ранее dCEF) (маршрутизаторы серий Cisco 7500 и интернет-маршрутизаторы серий Cisco 12000), и способы их устранения.

Примечание. В зависимости от платформы, на которой настроена технология Cisco dCEF, в описании различаются процессоры маршрутизации (RP) и линейные платы (LC). В серии 7500 процессор маршрутизации именуется «процессором маршрутизации и коммутации» (RSP), а линейные платы – «универсальными интерфейсными процессорами» (VIP). В серии 12000 процессор маршрутизации известен как «процессор гигабитного маршрутизатора» (GRP), а линейные платы обозначаются обычным образом (как LC).

Предварительные условия

Требования

Для этого документа нет особых требований.

Используемые компоненты

Настоящий документ не имеет жесткой привязки к каким-либо конкретным версиям программного обеспечения и оборудования.

Условные обозначения

Подробные сведения об условных обозначениях см. в документе Условное обозначение технических терминов Cisco.

Общие сведения

Технология экспресс-пересылки Cisco Express Forwarding – это определенная форма масштабируемой коммутации, предназначенная для решения проблем кэширования по требованию. При коммутации Cisco Express Forwarding сведения, которые обычно хранятся в кэше маршрутизатора, распределены по нескольким структурам данных. Код Cisco Express Forwarding позволяет работать с подобными структурами данных в процессоре маршрутизации (RP), а также в подчиненных процессорах, таких как универсальные интерфейсные процессоры (VIP) в маршрутизаторах серии 7500 и линейные платы маршрутизаторов серии 12000. Чтобы оптимизировать поиск для более эффективной пересылки пакетов, используются следующие структуры данных:

  • Таблица данных пересылки (FIB). Для принятия решений о коммутации на базе префиксов по IP-адресу получателя технология Cisco Express Forwarding использует таблицу FIB. Таблица FIB концептуально аналогична таблице маршрутизации или информационной базе. Она содержит зеркальное отображение информации о пересылке из таблицы IP-маршрутизации. При изменении маршрутизации или топологии таблица IP-маршрутизации обновляется, и эти изменения также отражаются и в FIB. База данных FIB содержит информацию об адресе следующего перехода, полученную на основе таблицы IP-маршрутизации.

    В силу взаимно однозначной связи между записями FIB и записями таблицы маршрутизации в FIB будут содержаться все известные маршруты, что избавляет от необходимости вести кэш маршрутов для таких способов коммутации, как скоростная коммутация и оптимальная коммутация.

  • Таблица смежности. Узлы сети называют смежными, если они могут связаться друг с другом за один переход на канальном уровне. Кроме FIB, технология Cisco Express Forwarding использует таблицы смежности, чтобы добавлять адресные сведения 2-го уровня (L2). Таблица смежности поддерживает адреса L2 следующих переходов для всех записей FIB.

Cisco Express Forwarding может работать в одном из двух режимов:

  • Центральный режим Cisco Express Forwarding. Если включен центральный режим работы Cisco Express Forwarding, то в процессоре маршрутизации будут вестись таблицы FIB и таблицы смежности Cisco Express Forwarding и процессор будет выполнять экспресс-пересылку. Режим Cisco Express Forwarding можно использовать тогда, когда при коммутации Cisco Express Forwarding недоступны LC или вам необходимы функции, несовместимые с коммутацией в режиме Distributed Cisco Express Forwarding.

  • Распределенный режим Cisco Express Forwarding. Когда включен распределенный режим (Distributed Cisco Express Forwarding), линейные платы (например, линейные платы универсальных интерфейсных процессоров или маршрутизаторов Gigabit Ethernet [GSR]) ведут идентичные копии FIB и таблиц смежности. LC могут выполнять быструю передачу сами, исключая главный процессор (GRP или RSP) из участия в операции коммутации. Данный метод коммутации используется только в серии 12000.

    В режиме Distributed Cisco Express Forwarding используется механизм межпроцессного взаимодействия (IPC), обеспечивающий синхронизацию экземпляров баз данных FIB и таблиц смежности на процессоре маршрутизации и линейных платах.

Проверка состояния Cisco Express Forwarding на VIP и линейных платах

Примечание. В приведенных ниже примерах некоторые команды выполняются с модификаторами вывода (представленными знаком «|») для исключения ненужной информации из отображаемых на экране данных. Модификаторы вывода поддерживаются программным обеспечением Cisco IOS® начиная с выпуска 12.0. Если применяется более старая версия ПО, то выполните только основную команду (перед знаком «|») и найдите соответствующие строки в полных выходных данных.

Можно легко определить конкретный процессор VIP или линейную плату, где произошел сбой Cisco Express Forwarding, используя команду show cef linecard:

  • Для коммутаторов серии 7500:

    Router#show cef linecard
    CEF linecard generic information: 
      Slot MsgSent   Seq MaxSeq   LowQ   MedQ  HighQ Flags 
      4          8     6     30      0      0      0 up
      5          8     6     30      0      0      0 up
    
    Default-table CEF table, version 13, 11 routes
    Slot CEF-ver CEF-XDR Interface Flags
       4      12       5         5 Active, sync
       5      12       5         2 Active, sync
    
  • Для коммутаторов серии 12000:

    Router#show cef linecard
    CEF table version 694517, 95239 routes
    Slot CEF-ver MsgSent XdrSent Seq MaxSeq LowQ MedQ HighQ Flags
    0      32128     365   33320 362    367    0    0     0 disabled
    1      95821    1010   99369 1006  1025    0    0     0 disabled
    2      92559     971    6033 967    984    0    0     0 disabled
    8      62514     653   65734 649    661    0    0     0 disabled
    9      47165     486   48428 483    498    0    0     0 disabled
    10     79887     834   83232 830    849    0    0     0 disabled
    

    Поскольку серия 12000 поддерживает только режим Distributed Cisco Express Forwarding, то в состоянии disabled происходит отключение всей линейной платы.

Обзор протокола внешнего представления данных (XDR)

Для понимания сути следующих сообщений об ошибках необходимо иметь представление о сообщениях XDR и их применении:

  • %FIB-3-NORPXDRQELEMS

  • %FIB-3-FIBBADXDRLEN

  • %FIB-4-FIBXDRLEN

В общих чертах архитектура XDR описана ниже.

/image/gif/paws/7603/cef_error_msgs_7603.gif

Как поясняется в разделе Общие сведения данного документа, IPC-сообщения переносят FIB и таблицы смежности от процессоров маршрутизации к линейным платам. Другими словами, механизм IPC синхронизирует оба набора таблиц в процессорах маршрутизации и линейных платах. Любая структура данных, используемая функцией, должна передаваться в линейную плату через IPC таблицы FIB с возвратом статистики в процессор маршрутизации. Когда включен режим Distributed Cisco Express Forwarding, LC принимает решение о пересылке, используя локально сохраненные реплицированные базы данных.

Протокол внешнего представления данных (XDR) называют «механизмом наложения IPC». Сообщения XDR используются исключительно с реализацией режима Distributed Cisco Express Forwarding.

Обмен статистикой и структурами данных между RP и LC для поддержки функций программного обеспечения Cisco IOS осуществляется в сообщениях XDR посредством программного механизма межпроцессного взаимодействия (IPC) Cisco IOS. В частности, сообщения XDR содержат три типа данных, указанных в следующей таблице:

Тип сообщения Описание сообщения Направление
Управление Процессор маршрутизации передает данные управления в субблоках функции процессора маршрутизации, рассылаемых по всем зеркалирующим субблокам на линейных платах, которые должны уведомляться об изменениях. От RP к LC
Статистика Линейные платы собирают статистические данные из различных субблоков функций, записывают собранные данные в буфер XDR и отправляют сообщение XDR процессору маршрутизации (RP). Процессор маршрутизации сводит эту статистику. LC в RP
Асинхронное оповещение о событиях Линейные платы сообщают о нестандартных событиях посредством асинхронных сообщений, рассылаемых при выполнении определенных условий. LC в RP

Для просмотра информации, передаваемой посредством сообщений XDR, используйте команду show cef line internal. В числе примеров XDR – обновление блоков описания сети (NDB) и блоков описания маршрутизации (RDB).

Total elements queued: 
  prefix                    1877106 
  adjacency                 6011 
  interface                 4084 
  address                   4010 
  policy routing            3 
  hw interface              84 
  state                     6 
  resequence                2 
  control                   24 
  time                      308 
  subblock                  18109 
  flow features deactivate  3 
  flow cache config         3 
  flow export config        3 
  flow sampling config      3 
  access-list               213 
  mpls ttl propogate        3 
  routemap config           126 
  mpls stats aggregate      3 
  dot1q vlan                10109 
  icmp limit                3 

Поиск и устранение неполадок

Этот раздел перечисляет сообщения об ошибках, которые могут присутствовать в журнале маршрутизации.

%FIB-3-FIBDISABLE: Fatal error, slot [#]: no memory и %FIB-3-NOMEM: Malloc Failure, disabling dCEF on line card

Сообщения об ошибках данного типа хранятся в журналах маршрутизатора (выполните команду show logging exec на маршрутизаторе или, если используется сервер системного журнала, обратитесь к его журналу) следующим образом:

  • Для коммутаторов серии 7500:

    Dec 19 17:58:56 CET: %FIB-3-FIBDISABLE: Fatal error, slot 0: no memory
    DEC 19 17:58:58 CET: %IPC-5-SLAVELOG: VIP-SLOT0: 
    00:03:37: %SYS-2-MALLOCFAIL: Memory allocation of 65524 bytes failed from     
    0x6009E9E4, pool Processor, alignment 16
    -Process= "CEF IPC Background", ipl= 0, pid= 7
    -Traceback= 600A141C 600A2B78 6009E9EC 6009F350 60235A34 60221BA4 60225528 
    6022A46C 60231104 6022FAC4 6022FCCC 6022FDBC 60230334 6009BB74 6009BB60      
    DEC 19 17:59:06 CET: %FIB-3-FIBDISABLE: Fatal error, slot 9: no memory
    DEC 19 17:59:11 CET: %IPC-5-SLAVELOG: VIP-SLOT9:
    00:03:47: %SYS-2-MALLOCFAIL: Memory allocation of 65524 bytes failed from      
    0x6009E9E4, pool Processor, alignment 16 
    -Process= "CEF IPC Background", ipl= 0, pid= 7
    -Traceback= 600A141C 600A2B78 6009E9EC 6009F350 60235A34 60221BA4 60225528      
    6022A46C 60231104 6022FAC4 6022FCCC 6022FDBC 60230334 6009BB74 6009BB60     
    DEC 19 17:59:31 CET: %IPC-5-SLAVELOG: VIP-SLOT8: 
    00:04:11: %SYS-2-MALLOCFAIL: Memory allocation of 3956 bytes failed from      
    0x602835F0, pool Processor, alignment 32 
    -Process= "CEF LC Stats", ipl= 0, pid= 21 
    -Traceback= 600A141C 600A2EC8 602835F8 60283C84 60283C58 60283CE4 60230574      
    6009BB74 6009BB60
    DEC 19 17:59:38 CET: %FIB-3-FIBDISABLE: Fatal error, slot 8: no memory
    DEC 19 18:00:29 CET: %FIB-3-FIBDISABLE: Fatal error, slot 10: no memory
    ...
    
  • В серии 7500 сообщение об ошибке, следующее непосредственно за текстом %IPC-5-SLAVELOG: VIP-SLOT, поступает напрямую от универсального интерфейсного процессора, расположенного в упомянутом слоте, посредством механизма IPC. В настоящем примере сообщение %SYS-2-MALLOCFAIL поступает от платы VIP.

    Jun 27 04:58:56 CET: %FIB-3-FIBDISABLE: Fatal error, slot 1: no memory
    Jun 27 04:59:07 CET: %FIB-3-FIBDISABLE: Fatal error, slot 2: no memory
    Jun 27 04:59:36 CET: %FIB-3-FIBDISABLE: Fatal error, slot 4: no memory
    Jun 27 04:59:45 CET: %FIB-3-FIBDISABLE: Fatal error, slot 0: no memory
    SLOT 2:Jun 27 04:23:00: %SYS-2-MALLOCFAIL: Memory allocation of 65524        
    bytes failed from 0x4009D9E4, pool Processor, alignment 32 
    -Process= "CEF IPC Background", ipl= 0, pid= 38 
    -Traceback= 400A0BFC 400A2358 4009D9EC 4009E338 403168BC 40316B68 40316EBC       
    4031C318 40321234 4032858C
    40326CD4 40326EF4 40326FE4 403275CC 4009BC74 4009BC60
    SLOT 2:Jun 27 04:23:00: %FIB-3-NOMEM: 
    Malloc Failure, disabling DCEF on linecard
    ...

    Примечание. Сообщения, начинающиеся с текста SLOT #:, формируются самой линейной платой.

Эти сообщения указывают на то, что распределенная коммутация Cisco Express Forwarding была отключена на VIP (для серии 7500) или на LC (для серии 12000), так как для загрузки Cisco Express Forwarding FIB и таблиц смежности с главной платы не хватило памяти. Поскольку серия 12000 поддерживает только коммутацию Distributed Cisco Express Forwarding, отключение коммутации Cisco Express Forwarding приводит к отключению самой платы.

При работе с полными интернет-маршрутами BGP рекомендованный объем памяти на VIP или LC — не менее 128 МБ.

В связи с тем что для модуля VIP2-40 маршрутизаторов серии 7500 предусмотрено не более 64 МБ памяти, для использования Distributed Cisco Express Forwarding с полными интернет-маршрутами BGP рекомендуется выполнить модернизацию до VIP2-50 или VIP4-80. Тридцати двух мегабайт определенно недостаточно для запуска Distributed Cisco Express Forwarding.

Рекомендуется VIP2-50 или выше с объемом памяти как минимум 128 МБ в зависимости от размера таблицы маршрутизации.

Если маршрутизатор принимает полную таблицу маршрутизации Интернета (или близок к этому), для BGP требуется большой объем памяти во время фазы схождения после перезагрузки маршрутизатора или изменения состояния канала BGP. При такой сходимости объем пула памяти процессора может достичь весьма низкого уровня, как показано в выходных данных команды show memory summary. Во время краткого периода нехватки памяти другие процессы, требующие памяти, могут замедлиться. Например, при обращении к маршрутизатору посредством команды telnet требуется память для поддержания сеанса TCP.

Другой временный пользователь памяти процессора — протокол распределения меток (LDP) в сетях многопротокольной коммутации по меткам (MPLS).

Cisco Express Forwarding переходит в режим FIBDISABLE только при полной нехватке процессорной памяти маршрутизатора. Для FIBDISABLE нет отметки низкого уровня. После самоотключения механизм Cisco Express Forwarding освобождает всю занимаемую память. Таким образом, сохраненный вывод команды show memory summary после отключения будет показывать достаточный объем доступной свободной памяти, но эти сведения обманчивы. Нехватка памяти заметна только из перехвата команды show memory summary, сохраненного до того, как механизм Cisco Express Forwarding отключит сам себя.

Кроме того, состояние FIBDISABLE может быть побочным эффектом отсутствия свободных буферов IPC. Программное обеспечение Cisco IOS не осуществляет динамического выделения буферов IPC по мере возникновения необходимости в них. При отсутствии свободных буферов IPC сообщения об ошибках FIB NOMEM не создаются, однако могут отображаться другие сообщения об ошибках IPC, например IPC-3-NOBUFF. Исчерпание буферов IPC не приводит к возникновению ошибки FIBDISABLE; механизм Cisco Express Forwarding попросту повторно ставит в очередь все необработанные сообщения и позднее повторяет попытку. Тем не менее если Cisco Express Forwarding не может получить буфер IPC из-за исчерпания буферов, то сообщения могут быть поставлены в очередь на линейных платах, что в конечном счете способно привести к нехватке памяти.

В Центр технической поддержки Cisco часто обращаются с вопросом: как рассчитать или определить достаточность объема памяти для работы протокола BGP на маршрутизаторе, подключаемом посредством BGP. Ответ зависит от конфигурации. Здесь приведены некоторые соображения:

  • Планируется ли применять на узлах однорангового соединения протоколы внутреннего (iBGP) и внешнего (eBGP) граничных шлюзов? Сколько всего одноранговых узлов? Целесообразно использовать группы одноранговых узлов BGP. При увеличении количества узлов увеличивается и время согласования.

  • Каким количеством маршрутов обмениваются в каждом направлении одноранговые узлы? Необходимо четко различать маршруты и пути. Маршруты включают определенное количество префиксов из базы данных маршрутизации BGP. Пути считают количество BGP-префиксов, сообщенных соседнему узлу. Например, если пять одноранговых узлов BGP отправляют полную таблицу маршрутизации, каждый из участников отправляет одинаковые маршруты. Предполагая, что маршруты узлов однорангового соединения на 90 % перекрываются, в приемном маршрутизаторе будет иметься таблица из 150 000 маршрутизаторов с пятью путями для большинства из них.

  • В числе других факторов стоит принять во внимание следующие:

    • Присутствие ядра LC в серии 12000.

    • Количество маршрутов протокола IGP.

    • Количество смежностей.

    • Распределение нагрузки: число путей с одинаковым адресатом.

    • Использование виртуальной частной сети (VPN) MPLS и число экземпляров виртуальной маршрутизации и пересылки данных (VRF) и число маршрутов для каждого экземпляра VRF.

Операционная система Cisco IOS 12.0(18)S и более поздних выпусков ПО официально требует 128 МБ памяти на всех линейных платах. Поскольку новые выпуски ПО Cisco IOS более требовательны к объему памяти процессора, то для поддержки масштабируемости маршрутизаторов в будущем, включая полную таблицу интернет-маршрутизации, рекомендуется использовать объем ОЗУ до 256 МБ. Ранее серия Cisco 12000 имела линейные платы с 64 МБ памяти. Такие линейные платы необходимо обновить.

Определите затронутые платы (см. раздел настоящего документа Проверка состояния Cisco Express Forwarding на процессорах VIP и линейных платах) и используйте следующие команды для отображения различных типов плат, установленных на маршрутизаторе, а также объемов их памяти:

  • Для коммутаторов серии 7500:

    Router#show diag | i (Slot | controller) 
    Slot 0: 
            EIP controller, HW rev 1.05, board revision B0 
            Slot database information: 
    Slot 2: 
    Slot 3: 
    Slot 4: 
            VIP2 controller, HW rev 2.11, board revision E0 
            Slot database information: 
            Controller Memory Size: 64 MBytes DRAM, 2048 KBytes SRAM 
    Slot 5: 
            VIP2 R5K controller, HW rev 2.03, board revision A0 
            Slot database information: 
            Controller Memory Size: 128 Mbytes DRAM, 8192 Kbytes SRAM 
    Slot 31 (virtual):
    
  • Для коммутаторов серии 12000:

    Router#show diag | i (DRAM|SLOT) 
    SLOT 0  (RP/LC 0 ): 1 Port SONET based SRP OC-12c/STM-4 Single Mode 
      DRAM size: 268435456 bytes 
      FrFab SDRAM size: 134217728 bytes, SDRAM pagesize: 8192 bytes 
      ToFab SDRAM size: 134217728 bytes, SDRAM pagesize: 8192 bytes 
    SLOT 2  (RP/LC 2 ): 12 Port Packet over E3 
      DRAM size: 67108864 bytes 
      FrFab SDRAM size: 67108864 bytes 
      ToFab SDRAM size: 67108864 bytes 
    SLOT 3  (RP/LC 3 ): 1 Port Gigabit Ethernet 
      DRAM size: 134217728 bytes 
      FrFab SDRAM size: 134217728 bytes, SDRAM pagesize: 8192 bytes 
      ToFab SDRAM size: 134217728 bytes, SDRAM pagesize: 8192 bytes 
    SLOT 5  (RP/LC 5 ): Route Processor 
      DRAM size: 268435456 bytes
    

Наращивание объема памяти на затронутых платах должно предупредить появление сообщений и восстановить работоспособность Distributed Cisco Express Forwarding на платах. Если сообщения все еще присутствуют после обновления памяти, свяжитесь с представителем службы поддержки Cisco и предоставьте ему собранные на текущий момент сведения, в том числе выходные данные команды show tech-support.

Примечание. Старые модели интерфейсных процессоров Fast Ethernet FEIP (CX-FEIP2-2TX и CX-FEIP2-2TX) вообще не поддерживают распределенную коммутацию и выдают похожие сообщения при попытке включить на них Distributed Cisco Express Forwarding. Отличить VIP от FEIP в случае конкретной платы можно при помощи команды show diag [№ слота].

Router#show diag 0 
Slot 0: 
        Physical slot 0, ~physical slot 0xF, logical slot 0, CBus 0 
        Microcode Status 0x4 
        Master Enable, LED, WCS Loaded 
        Pending I/O Status: None 
        EEPROM format version 1 
        FEIP controller, HW rev 2.01, board revision B0 
        Serial number: 03696620  Part number: 73-1374-04 
        Test history: 0x0E        RMA number: 203-11-48 
        Flags: cisco 7000 board; 7500 compatible

Для выполнения Distributed Cisco Express Forwarding необходимо заменить старый интерфейсный процессор FEIP на плату VIP с адаптерами портов Fast Ethernet.

%FIB-3-FIBDISABLE: Fatal error, slot [#]: No window message, LC to RP IPC is non-operational

Следующие сообщения (на маршрутизаторах серии 7500 и 12000) свидетельствуют также о том, что механизм Cisco Express Forwarding отключен, в данном случае – из-за того, что процессор RSP/GRP не получил пакет поддержания активности от VIP или линейной платы:

DEC 19 18:03:55 CET: %FIB-3-FIBDISABLE: Fatal error, slot 0: 
No window message, LC to RP IPC is non-operational 
DEC 19 18:04:05 CET: %FIB-3-FIBDISABLE: Fatal error, slot 9: 
No window message, LC to RP IPC is non-operational 
DEC 19 18:04:37 CET: %FIB-3-FIBDISABLE: Fatal error, slot 8: 
No window message, LC to RP IPC is non-operational 
DEC 19 18:05:28 CET: %FIB-3-FIBDISABLE: Fatal error, slot 10: 
No window message, LC to RP IPC is non-operational 
DEC 19 18:05:59 CET: %FIB-3-FIBDISABLE: Fatal error, slot 2: 
No window message, LC to RP IPC is non-operational 
DEC 19 18:06:07 CET: %FIB-3-FIBDISABLE: Fatal error, slot 1: 
No window message, LC to RP IPC is non-operational 

Сначала проверьте, достаточно ли памяти на платах.

Затем проверьте загрузку ЦПУ на VIP или линейной плате (в серии 7500 для этого выполните команду show controllers vip [№ слота] proc cpu, в серии 12000 – команду execute-on slot 0 show proc CPU). При слишком высокой загрузке ЦПУ (более 95 %) возможно прекращение передачи сообщений проверки активности от VIP или линейной платы маршрутизатору RSP/GRP. Первопричина этой проблемы – высокая нагрузка на ЦПУ. Советы по решению проблемы см. в разделе Решение проблемы высокой загрузки ЦПУ на маршрутизаторах Cisco.

При отсутствии существенной загрузки появление сообщений об ошибках может быть вызвано ошибкой программного обеспечения Cisco IOS.

При диагностике этой ошибки следует в первую очередь проверить затронутые платы (см. раздел настоящего документа Проверка состояния Cisco Express Forwarding Status на VIP и линейных платах). Можно попытаться перезапустить Cisco Express Forwarding на этих платах с помощью команды clear cef linecard [№ слота]. В коммутаторах серии 7500 может также потребоваться выполнить сброс платы VIP с помощью команды microcode reload. При этом создается комплекс CBUS, что приводит к прерыванию трафика приблизительно на две минуты (дополнительные сведения см. в документе Причины возникновения сообщения %RSP-3-RESTART: cbus complex. Эта процедура должна, по крайней мере временно, восстановить функционирование Distributed Cisco Express Forwarding на процессоре VIP или линейной плате.

В противном случае обновление выпуска программного обеспечения Cisco IOS до последней версии поможет устранить все причины возникновения ошибки этого типа. Если путем обновления устранить проблему не удалось, свяжитесь с представителем службы поддержки Cisco и предоставьте ему собранные на текущий момент сведения, в том числе выходные данные команды show tech-support.

%FIB-3-FIBDISABLE: Fatal error, slot [#]: IPC failure

Следующие сообщения об ошибках носят более общий характер и могут приводить к появлению других сообщений об ошибках (например, %FIB-3-FIBDISABLE: Fatal error, slot [#]: No window message, LC to RP IPC is nonoperational).

%FIB-3-FIBDISABLE: Fatal error, slot 3: IPC failure 
%FIB-3-FIBDISABLE: Fatal error, slot 0: IPC failure 
%FIB-3-FIBDISABLE: Fatal error, slot 1: IPC failure 
%FIB-3-FIBDISABLE: Fatal error, slot 2: IPC failure 
%FIB-3-FIBDISABLE: Fatal error, slot 4: IPC failure 
%FIB-3-FIBDISABLE: Fatal error, slot 9: IPC failure 
%FIB-3-FIBDISABLE: Fatal error, slot 10: IPC failure 

Межпроцессное взаимодействие (IPC) – протокол, используемый для связи между основным процессором (RSP/GRP) и универсальным интерфейсным процессором или линейной платой. Он обеспечивает синхронизацию таблиц FIB и таблиц смежности при работе механизма Distributed Cisco Express Forwarding. Эти сообщения об ошибках IPC могут отображаться по многим причинам, в том числе по следующим:

Сбои межпроцессного взаимодействия

Следующие команды служат для анализа фактического состояния IPC. Выходные данные этих команд иногда различны для серий 7500 и 12000.

  • show ipc status – служит для проверки на предмет ошибок IPC, состояний неподтверждения (NACK) и ipc_output_failures

  • show ipc nodes – используется для проверки активных плат.

  • show ipc queue – служит для проверки сообщений IPC, ожидающих подтверждения (ACK).

На маршрутизаторах серии 7500 выходные данные выглядят следующим образом:

Router#show ipc status 
IPC System Status: 

This processor is the IPC master server. 

1000 IPC message headers in cache 
1591560 messages in, 5884 out, 1587095 delivered to local port, 
2757 acknowledgements received, 2764 sent, 
0 NACKS received, 0 sent, 
0 messages dropped on input, 276 messages dropped on output 
0 no local port, 264 destination unknown, 0 no transport 
0 missing callback or queue, 0 duplicate ACKs, 5 retries, 
1 message timeout. 
12 ipc_output failures, 0 mtu failures, 
0 msg alloc failed, 0 emer MSG alloc failed, 0 no origs for RPC replies 
0 pak alloc failed, 10 memd alloc failed 
2 no hwq, 0 failed opens, 0 hardware errors 
No regular dropping of IPC output packets for test purposes 

Router#show ipc nodes 
There are 3 nodes in this IPC realm. 
   ID     Type                 Name         Last  Last 
                                            Sent  Heard 
   10000 Local      IPC Master                0      0 
 1030000 RSP-CY     RSP IPC card slot 3       7      7 
 1000000 RSP-CY     RSP IPC card slot 0      10     10 

Router#show ipc queue 
There are 0 IPC messages waiting for acknowledgement in the transmit queue. 
There are 0 IPC messages waiting for a response. 
There are 0 IPC messages waiting for additional fragments. 
There are 0 IPC messages currently on the IPC inboundQ. 
There are 0 messages currently in use by the system.

На маршрутизаторах серии 12000 выходные данные выглядят следующим образом:

Router#show ipc status 
IPC System Status: 

This processor is the IPC master server. 

19244592 messages in, 26698 out, 19244448 delivered to local port, 

102 acknowledgements received, 4780307 sent, 
0 NACKS received, 0 sent, 
0 messages dropped on input, 0 messages dropped on output 
0 no local port, 0 destination unknown, 0 no transport 
0 missing callback or queue, 0 duplicate ACKs, 0 retries, 
0 message timeouts. 
0 ipc_output failures, 0 mtu failures, 
0 MSG alloc failed, 0 emer MSG alloc failed, 0 no origs for RPC replies 
0 pak alloc failed, 0 memd alloc failed 
0 no hwq, 0 failed opens, 0 hardware errors 

Router#show ipc nodes 
There are 4 nodes in this IPC realm. 

   ID     Type       Name             Last  Last 
 10000 Local      IPC Master          0      0 
 1000000 GSR        GSR Slot 0         23     47 
 1010000 GSR        GSR Slot 1         23     26 
 1040000 GSR        GSR Slot 4         23     29 

                                  Sent  Heard
Router#show ipc queue 

There are 0 IPC messages waiting for acknowledgement in the transmit queue. 
There are 0 messages currently in use by the system. 

Если выделенные счетчики увеличиваются, IPC не выполняется должным образом для других гнезд. В этом случае следует вначале попробовать механически переустановить соответствующую линейную плату либо выполнить ее сброс командой microcode reload (для серии 7500) или командой hw-module slot [№ слота] reload (для серии 12000). Если межпроцессное взаимодействие не восстанавливается после сброса линейной платы, попробуйте переместить плату в другой слот. Если это не сработает, замените неисправный процессор VIP или линейную плату.

Проблема матрицы

На интернет-маршрутизаторе серии 12000 сама матрица может вызывать помехи. При неисправности одной из плат коммутирующей матрицы (SFC) могут присутствовать аналогичные сообщения об ошибках, поскольку сообщения IPC перестанут проходить через коммутирующую матрицу. Однако в этом случае необходимо также просмотреть другие сообщения, указывающие на неисправность матрицы.

Можно проверить наличие сбоя на одной из плат SFC с помощью команды show controller fia:

Router#show controllers fia
Fabric configuration: Full bandwidth redundant
Master Scheduler: Slot 17

>From Fabric FIA Errors
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
---
redund fifo parity 0   redund overflow 0  cell drops 1
crc32 lkup parity  0   cell parity     0  crc32      0
Switch cards present    0x0017    Slots  16 17 18 20
Switch cards monitored  0x0017    Slots  16 17 18 20
Slot:     16       17         18         19         20
Name:    csc0     csc1       sfc0       sfc1       sfc2       
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
los    0         0          0          0          0
state  Off       Off        Off        Off        Off
crc16  0         0          4334       0          0

To Fabric FIA Errors
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
---
sca not pres 0       req error     0      uni FIFO overflow 0
grant parity 0       multi req     0      uni FIFO undrflow 0
cntrl parity 0       uni req       0      crc32 lkup parity 0
multi FIFO   0       empty dst req 0      handshake error   0
cell parity  0 

В этом примере, вероятно, неисправна плата sfc0 (слот 18), и ее нужно заменить.

Непрохождение загрузки или зависание процессора VIP или линейной платы

Если одна из плат не загрузилась штатным образом, она не сможет обмениваться данными с главным процессором (GRP или RSP). Проверить журнал можно при помощи команды show log. Она сообщит о возможных неполадках в процессе начальной загрузки. Также необходимо проверить состояние линейной платы.

Для проверки фактического состояния линейных плат можно использовать команду show diag.

  • Для коммутаторов серии 7500:

    Router#show diag | i (Slot|Board is)
    Slot 0:
    		Board is analyzed
    		Slot database information:
    Slot 2:
    Slot 3:
    Slot 4:
    		Board is analyzed
            Slot database information:
    Slot 5:
            Board is analyzed
            Slot database information:
    Slot 31 (virtual)
    
  • Для коммутаторов серии 1200:

    Router#show diags | i SLOT | State 
    SLOT 0  (RP/LC 0 ): Route Processor 
      Board State is IOS Running (ACTV  RP ) 
    SLOT 1  (RP/LC 1 ): 1 port ATM Over SONET OC12c/STM-4c Multi Mode 
      Board State is Line Card Enabled (IOS  RUN ) 
    SLOT 2  (RP/LC 2 ): 1 Port Gigabit Ethernet 
      Board State is Line Card Enabled (IOS  RUN ) 
    SLOT 3  (RP/LC 3 ): 3 Port Gigabit Ethernet 
      Board State is Line Card Enabled (IOS  RUN ) 
    SLOT 4  (RP/LC 4 ): 4 port ATM Over SONET OC-3c/STM-1 Multi Mode 
      Board State is In Reset (IN   RSET) 
    SLOT 5  (RP/LC 5 ): 8 Port Fast Ethernet Copper 
      Board State is Line Card Enabled (IOS  RUN ) 
    SLOT 6  (RP/LC 6 ): 4 Port Packet Over SONET OC-3c/STM-1 Multi Mode 
      Board State is Line Card Enabled (IOS  RUN ) 
    SLOT 7  (RP/LC 7 ): 1 Port E.D. Packet Over SONET OC-48c/STM-16 
    Single Mode/SR SC-SC connector 
      Board State is Line Card Enabled (IOS  RUN ) 
    SLOT 17 (CSC 1   ): Clock Scheduler Card(8) 
    SLOT 18 (SFC 0   ): Switch Fabric Card(8) 
    SLOT 19 (SFC 1   ): Switch Fabric Card(8) 
    SLOT 20 (SFC 2   ): Switch Fabric Card(8) 
    SLOT 24 (PS A1   ): AC Power Supply(8)
    

Нормальное состояние для серии 12000 – Line Card Enabled (Линейная плата включена), а для серии 7500 – Board is analyzed (Плата анализируется).

Проверьте, поддерживается ли плата программным обеспечением Cisco IOS и загрузочным образом, используемым в данный момент. Для этого можно использовать средство Software Advisor (только для зарегистрированных пользователей). Если программное обеспечение функционирует без сбоев, то попробуйте механически переустановить соответствующую линейную плату либо сбросить ее командой microcode reload (для серии 7500) или hw-module slot [№ слота] reload (для серии 12000).

Если восстановить работу линейной платы не удается, попробуйте переставить ее в другой слот. Это позволяет исключить неисправность конкретного слота шасси. Если плата по-прежнему не работает, то наиболее вероятно, что необходимо заменить универсальный интерфейсный процессор или линейную плату.

Бывает целесообразно проверить, достаточно ли памяти на линейной плате и была ли память приобретена непосредственно у Cisco или поставщика, уполномоченного Cisco. Линейная плата не загружается, если используется неверный тип памяти или если недостаточно памяти для загрузки микрокода.

Исчерпание буферов универсального интерфейсного процессора или линейной платы

Линейная плата может исчерпать доступный объем памяти, в результате чего ей не будет хватать буферов для обмена данными IPC. В этом случае необходимо модернизировать память линейной платы.

Ошибки в программном обеспечении Cisco IOS

В отсутствие иных вероятных причин следует допускать возможность ошибки в программном обеспечении Cisco IOS. Обновление до текущей версии в ветке выпусков ПО Cisco IOS позволит исправить все известные проблемы с IPC.

В некоторых случаях, актуальных для серии 12000, эти сообщения об ошибках могут также возникнуть при настройке усовершенствований списков контроля доступа. Временное исправление этой ошибки – отключить данное нововведение, выполнив команду no access-list hardware psa. Дополнительные сведения можно найти в документе Усовершенствования для повышения эффективности списков контроля доступа в гигабитных маршрутизаторах-коммутаторах Cisco 12000.

Если не удается определить причину появления сообщений или проблема возникает повторно и при этом установлен выпуск программного обеспечения Cisco IOS самой последней версии, доступной на CCO, то, вероятно, вы столкнулись с новой ошибкой программного обеспечения Cisco IOS. Обратитесь к представителю службы поддержки Cisco, предоставив ему собранные на текущий момент данные вместе с выходными данными команд show tech-support и show cef linecard соответствующего маршрутизатора.

Интерактивная вставка или удаление (OIR) или сбой VIP

После аварийного отказа многоцелевого интерфейсного процессора (VIP) пакетная память RSP (называемая также MEMD) выделяется повторно и соединения IPC между RSP и VIP восстанавливаются. Если в момент сбоя VIP на RSP имелись сообщения Cisco Express Forwarding, поставленные в очередь в таблице повторной передачи IPC, то для этих сообщений может истечь время ожидания и механизм Cisco Express Forwarding на других линейных платах будет отключен. Идентификатор ошибки Cisco CSCdv87489 (только для зарегистрированных пользователей) устраняет эту проблему на RSP, заставляя механизм Cisco Express Forwarding обнаруживать OIR, перезагрузку линейной платы или повторное выделение MEMD, а также сообщения сброса в очереди повторной передачи. Идентификатор ошибки Cisco CSCdu81796 (только для зарегистрированных пользователей) устраняет эту проблему в маршрутизаторах Cisco серии 10000.

Выполнение OIR для универсального интерфейсного процессора или линейной платы может вызвать ошибку FIBDISABLE на других слотах. Данная ситуация возникает в том случае, когда маршрутизация Cisco на RP не может установить IPC-подключение к другим платам VIP из-за события OIR на одном из VIP. Идентификатор ошибки Cisco CSCdv47664 (только для зарегистрированных пользователей) устраняет эту проблему.

%FIB-4-RPPREFIXINCONST2/1 and %FIB-4-LCPREFIXINCONST2/1

В журналах маршрутизатора можно также заметить следующие сообщения:

%FIB-4-RPPREFIXINCONST2: RP missing prefix for 195.74.205.54/32
in FIB table Default-table (present in routing)
%FIB-4-RPPREFIXINCONST2: RP missing prefix for 195.74.205.231/32
in FIB table Default-table (present in routing)
%FIB-4-RPPREFIXINCONST2: RP missing prefix for 195.74.221.68/32
in FIB table Default-table (present in routing)
%FIB-4-RPPREFIXINCONST2: RP missing prefix for 195.74.216.52/32
in FIB table Default-table (present in routing)
%FIB-4-RPPREFIXINCONST2: RP missing prefix for 195.74.216.96/32
in FIB table Default-table (present in routing)
%FIB-4-RPPREFIXINCONST2: RP missing prefix for 195.74.216.55/32
in FIB table Default-table (present in routing)

или

%FIB-4-LCPREFIXINCONST2: Slot 1 missing prefix entry for 64.0.17.0/32
%FIB-4-LCPREFIXINCONST2: Slot 1 missing prefix entry for 64.0.45.0/32
%FIB-4-LCPREFIXINCONST2: Slot 1 missing prefix entry for 64.0.23.0/32

Эта проблема характерна для всего оборудования, применяющего механизм Distributed Cisco Express Forwarding, в частности для маршрутизаторов серий 7500 и 12000. Данные сообщения представляют собой предупреждения, формируемые средством проверки согласованности Cisco Express Forwarding в случае обнаружения несогласованностей в таблицах Cisco Express Forwarding.

Средство проверки согласованности использует разные механизмы для обнаружения противоречий:

  • LC или VIP посылает GRP или RSP — любой адрес, на который пересылка пакетов оказалась невозможной. Если GRP/RSP выясняет, что запись правильная, будет обнаружена несогласованность и на консоли появится соответствующее сообщение.

  • LC или VIP и GRP или RSP посылают один другому фиксированное количество префиксов (по умолчанию 100) каждые 60 секунд. Если выявлено несоответствие, отображается сообщение об ошибках.

Если непоследовательность не устранена, это может привести к недоступности назначений и отброшенным пакетам. Когда выводятся эти сообщения, прежде всего следует вызвать команду show ip cef на устройстве, указанном в сообщении об ошибке, и проверить наличие или отсутствие префикса. Это позволяет определить, исправил ли несогласованность сам маршрутизатор.

Ниже приводятся более подробные пояснения по каждому сообщению, а также некоторые рекомендации по их устранению.

  • %FIB-4-RPPREFIXINCONST2. Средством пассивной проверки согласованности в таблице маршрутизации обнаружен префикс, отсутствующий в таблице пересылки CEF на RP. Возможно, это переходное состояние.

    Если один и тот же префикс дает повторяющиеся ошибки, проверьте префикс в Cisco Express Forwarding и таблице маршрутизации. В случае отсутствия префикса попробуйте отключить или включить функцию Cisco Express Forwarding.

  • %FIB-4-RPPREFIXINCONST1. Пассивным средством проверки согласованности обнаружен префикс в таблице пересылки линейной платы, отсутствующий на процессоре маршрутизации. Возможно, это переходное состояние.

    Если один и тот же префикс дает повторяющиеся ошибки, проверьте префикс Cisco Express Forwarding на процессоре маршрутизации и линейной плате. При необходимости команда clear cef linecard загружает новую таблицу Cisco Express Forwarding на линейную плату.

  • %FIB-4-LCPREFIXINCONST1. Пакет принят линейной платой, но в процессе поиска IP-адреса получателя не удалось обнаружить данный префикс в таблице пересылки. Однако этот префикс имеется на процессоре маршрутизации. Возможно, это переходное состояние.

    Если один и тот же префикс дает повторяющиеся ошибки, проверьте префикс Cisco Express Forwarding на процессоре маршрутизации и линейной плате. При необходимости команда clear cef linecard загружает новую таблицу Cisco Express Forwarding на линейную плату. Можно также выполнить команду clear adjacency для перезагрузки префиксов /32.

  • %FIB-4-LCPREFIXINCONST2. Пассивным средством проверки согласованности обнаружен префикс в таблице пересылки линейной платы, присутствующий на процессоре маршрутизации. Возможно, это переходное состояние.

    Если один и тот же префикс дает повторяющиеся ошибки, проверьте префикс Cisco Express Forwarding на процессоре маршрутизации и линейной плате. При необходимости команда clear cef linecard загружает новую таблицу Cisco Express Forwarding на линейную плату. Можно также выполнить команду clear adjacency для перезагрузки префиксов /32.

    Если сообщение отображается всего один раз и ошибка сразу же устраняется, это событие можно считать единичным и никаких действий не требуется. Однако при многократном возникновении этих сообщений или в том случае, если маршрутизатор не исправляет эту ситуацию самостоятельно, наиболее вероятна программная ошибка в коде механизма Cisco Express Forwarding. Некоторые ошибки исправлены в выпусках ПО Cisco IOS 12.0(17)S1 и 12.0(17)ST1. Убедитесь, что используется хотя бы одна из этих версий.

    Если проблема продолжает возникать после обновления до последней версии в ветке выпусков, обратитесь к представителю службы поддержки Cisco и сообщите выходные данные команд show tech, show ip route и show ip cef.

    Примечание. Проверку согласованности можно отключить с помощью команды глобальной настройки конфигурации no ip cef table consistency-check.

Дополнительные сведения об этом сообщении об ошибке и советы по ее устранению см. в документе Устранение несогласованности префиксов с механизмом Cisco Express Forwarding.

%FIB-3-NORPXDRQELEMS: Exhausted XDR queuing elements while preparing message for slot [#]

Примечание. Для более полного понимания объяснений и рекомендаций в отношении этого сообщения об ошибке рекомендуется вначале прочитать раздел этого документа Обзор протокола внешнего представления данных (XDR).

Пока RP готовился к передаче сообщения всем LC в системе, он прекратил поддержку элементов постановки в очередь, которые требуются для постановки сообщений в очередь для передачи.

В серии Cisco 12000 режим распределенной коммутации Cisco Express Forwarding можно отключить из-за нехватки памяти при выполнении больших обновлений маршрутов (например, при загрузке). Например, во время перебросок/перезагрузок маршрутизации на RP могут происходить ошибки malloc, отключающие коммутацию Distributed Cisco Express Forwarding.

В качестве примера при очистке процесса ip ospf с 260K маршрутов OSPF на процессоре маршрутизации может возникнуть следующее сообщение об ошибке:

%FIB-3-NORPXDRQELEMS: Exhausted XDR queuing 
  elements while preparing message for slot 2
  -Process= "OSPF Router", ipl= 0, pid= 149
  -Traceback= 41060B88 40D5C894 403D130C 403A4484 403AB49C 403AAB10 
  403AB7BC 40736FCC 407384E0 401BE9BC 401BE9A8

Или же если используется крупная таблица маршрутизации BGP и при этом возникают ошибки маршрутизации или перезагрузки маршрутизатора, то может быть видно следующее:

%FIB-3-NORPXDRQELEMS: Exhausted XDR queuing elements 
  while preparing message for slot 4
   -Process= "BGP Router", ipl= 0, pid= 104
   -Traceback= 600CDC74 600DC3D0 6038FA90 6036C940 60374510 604A2F30 
  60753168 604A2FAC 604A9BC0 6018BD8C 6018BD78

Примечание. Эти сообщения могут сопровождаться сообщениями %FIB-3-FIBDISABLE: Fatal error, slot 6: no memory и %FIB-3-NOMEMWARNING: Malloc Failure in DCEF.

При отправке 100K маршрутов BGP может присутствовать следующее сообщение:

%OSPF-5-ADJCHG: Process 100, Nbr 161.10.1.1 on GigabitEthernet3/1 
  from LOADING to FULL, Loading Done
%OSPF-5-ADJCHG: Process 100, Nbr 161.10.1.1 on GigabitEthernet3/3 from LOADING 
  to FULL, Loading Done
%OSPF-5-ADJCHG: Process 100, Nbr 161.10.1.1 on GigabitEthernet3/2 from LOADING 
  to FULL, Loading Done
%OSPF-5-ADJCHG: Process 100, Nbr 161.10.1.1 on GigabitEthernet3/4 from LOADING 
  to FULL, Loading Done

%BGP-5-ADJCHANGE: neighbor 161.10.11.1 Up


%FIB-3-FIBDISABLE: Fatal error, slot 6: no memory
%FIB-3-FIBDISABLE: Fatal error, slot 3: no memory


%SYS-2-MALLOCFAIL: Memory allocation of 65540 bytes failed from 0x401C783C, 
pool Processor, alignment 0
  -Process= "BGP Router", ipl= 0, pid= 120
  -Traceback= 401CAB20 401CCF80 401C7844 401C8044 40FD017C 40FD032C 40D65AFC 
   403D4174 403A7BA4 403AA4D0 40712200 40712EF4 4112E760 40712FE0 406EDD10 
   401C155C
Queued messages:
%SYS-3-LOGGER_FLUSHING: System pausing to ensure console debugging output.

%FIB-3-NORPXDRQELEMS: Exhausted XDR queuing elements while preparing message for 
slot 4
   -Process= "BGP Router", ipl= 0, pid= 104
   -Traceback= 600CDC74 600DC3D0 6038FA90 6036C940 60374510 604A2F30 
     60753168 604A2FAC 604A9BC0 6018BD8C 6018BD78
%FIB-3-NOMEMWARNING: Malloc Failure in DCEF

Эта проблема вызвана Cisco Express Forwarding, использующим слишком много памяти RP во время многочисленных обновлений маршрутизации. Первопричина проблемы состоит в том, что RP расходует свободную память на сообщения XDR в очереди IPC Cisco Express Forwarding, в то время как их пересылка на линейные платы идет весьма медленно. Частота пересылки сообщений IPC Cisco в данный момент ограничена 25 сообщениями IPC (из любой очереди) не чаще чем раз в четверть секунды. Результатом этого становится то, что очередь на стороне RP вырастает до значительного размера, не оставляя свободной памяти RP, поэтому появляется событие mallocfail и происходит отключение Cisco Express Forwarding.

В этом случае можно сократить максимальный путь в протоколе BGP для уменьшения количества информации, которую механизм Cisco Express Forwarding должен распространять среди линейных плат, или сократить размер окна TCP для уменьшения частоты входящих обновлений BGP. Для получения дополнительной информации обратитесь к главе Выполнение оптимальной маршрутизации и сокращение использования памяти BGP.

Если используется программное обеспечение Cisco IOS выпусков 12.0(16)S, 12.0(16)ST, 12.1(9), 12.1(8a)E, 12.2(2) и 12.2(2)T или последующих, то для получения приемлемых параметров можно выполнить команду конфигурации интерфейса ip cef linecard ipc memory <0-128000 кбайт>. По умолчанию задано наличие 25 буферов. Однако это значение зависит от платформы коммутации. Объем памяти линейной платы ограничен 50 процентами от всей доступной памяти. Эта команда:

  • позволяет выделить больший объем памяти линейной платы под очередь для обновления маршрутизации Cisco Express Forwarding;

  • предоставляет процессору маршрутизации возможность высвобождения памяти за счет более быстрого выпуска обновлений Cisco Express Forwarding;

  • предотвращает нехватку памяти на RP.

Если выдаются вышеприведенные сообщения об ошибках, то проблема решается увеличением памяти IPC линейной платы. Рекомендуется выполнить эту команду с параметром 10 000. В большинстве случаев это решает проблему. Команда используется следующим образом:

 Router(config)#ip cef linecard ipc mem ? 
   <0-128000>  Kbytes of linecard memory (limited to 50% of total) 

 Router(config)#ip cef linecard ipc mem 10000 

 Router#show cef linecard detail 
 CEF linecard slot number 0, status up, sync 
  Linecard CEF version number 8 
  Sequence number 3, Maximum sequence number expected 27, Seq Epoch 1 
  Send failed 0, Out Of Sequence 0, drops 0 
  Linecard CEF reset 1, reloaded 1 
  33 elements packed in 4 messages(1030 bytes) sent 
  1 elements cleared 
  linecard in sync after reloading 
  0/0/0 xdr elements in LowQ/MediumQ/HighQ 
  8/9/13 peak elements on LowQ/MediumQ/HighQ    
  Input  packets 0, bytes 0 
  Output packets 0, bytes 0, drops 0 

Дополнительные сведения об этой команде содержатся в описании команды ip cef linecard ipc memory.

%FIB-3-FIBBADXDRLEN and %FIB-4-FIBXDRLEN

Для более полного понимания объяснений и рекомендаций в отношении этого сообщения об ошибке рекомендуется вначале прочитать раздел этого документа Обзор протокола внешнего представления данных (XDR).

Вы можете получить следующее сообщение об ошибках:

%FIB-3-FIBBADXDRLEN: Invalid XDR length. Type/len 6/29479. 
XDR at 0x622D1F2C 
-Traceback= 600C786C 601D4B50 602CF7A8 60183454 60183440 

Это сообщение поступает от программы проверки сообщений, выполняющей базовые проверки в сообщениях XDR. В этом случае получено сообщение XDR типа 6, поле длины в котором содержит значение 29479. Эта длина превышает объем буфера, содержащего данные; таким образом код отбрасывает это сообщение.

В серии 12000 аппаратный сбой матрицы может повредить некоторые пакеты, вызывая всплывающее сообщение об ошибках XDR. С помощью команды show controller fia проверьте коммутационную матрицу на наличие ошибок циклической контрольной суммы (CRC) на одной из плат SFC. Необходимо также проверить журнал регистраций на наличие других сообщений, которые могут содержать данные для поиска сообщения об ошибках.

%FIB-3-FIBLC_OOSEQ: Slot [#] disabled - Out of Sequence. Expected [#], received [#]

Это сообщение появляется, если процессор маршрута получил несвоевременное сообщение IPC от LC. В результате механизм Cisco Express Forwarding на указанном слоте отключен.

В некоторых случаях при большом количестве маршрутов или перезапущенном RP в консоли RP может появиться сообщение об ошибке, показанное ниже.

%FIB-3-FIBLC_OOSEQ: Slot 11 disabled - Out of Sequence. 
Expected 9637, received 9638 

Это сообщение может сопровождаться еще одним, соответствующим слоту:

SLOT 11:%FIB-3-FIBSEQ: Out of sequence. State 9637 Rcvd 9638 

Чтобы проверить, отключен ли механизм Cisco Express Forwarding на слоте, выполните команду show cef linecard, как показано ниже.

router#show cef linecard 
CEF table version 40975, 47 routes 
Slot CEF-ver MsgSent XdrSent   Seq MaxSeq  LowQ HighQ Flags      
11     40750    9642  164473  9639   9661     0     0 up, sync, disabled 

С функциональной точки зрения никаких последствий не возникает; таблица FIB при возникновении этого события перезагружается. Если устранить проблему не удалось, попробуйте выполнить команду clear cef linecard <№ слота>. Затем следует проверить состояние линейной платы с помощью команды show cef linecard. На серии 7500 можно попытаться отключить функцию Cisco Express Forwarding, а затем повторно включить ее. Если ошибка повторится, выполните для универсального интерфейсного процессора команду microcode reload. Она должна решить проблему. На маршрутизаторе Cisco 12000 проблему помогает решить выполнение команды hw-module slot <№ слота> reload для линейной платы.

%FIB-4-PUNTINTF: CEF punting packets switched to [int] to next slower path и %FIB-5-NOPUNTINTF: CEF resuming switching packets to [инт.]

Будет получено сообщение %FIB-4-PUNTINTF, если экспресс-пересылка Cisco Express Forwarding не сможет направить отдельные или все пакеты из данного интерфейса при текущей конфигурации. Пакеты, коммутируемые на этот интерфейс, Cisco Express Forwarding перебрасывает на следующий, более медленный, путь коммутации. Дополнительные сведения о CEF и других доступных путях коммутации см. в документе Выбор наилучшего пути коммутации для маршрутизатора в сети.

Вы получаете сообщение %FIB-5-NOPUNTINTF, если скоростная передача Cisco (CEF) направляла пакеты, коммутируемые в этот интерфейс, по следующему более медленному пути коммутации, а конфигурация интерфейса изменилась таким образом, что CEF теперь может возобновить коммутацию к этому интерфейсу. Это сообщение является уведомительным и в большинстве случаев не требует выполнения каких-либо действий.

%FIB-4-PUNTINTF: CEF punting packets switched to POS2/0/0.1 
to next slower path 

Это сообщение может появляться после изменения настройки интерфейса в следующем случае:

%FIB-5-NOPUNTINTF: CEF resuming switching packets to POS2/0/0.1 

Если выпуск ПО Cisco IOS приблизительно соответствует 12.1(6) при глобально включенной команде ip cef и настроенной в виртуальном шаблоне команде no ip route-cache cef, то будут присутствовать следующие сообщения, если интерфейсы виртуального доступа L2F станут частью основных связок многоканального PPP (MP):

  • %FIB-4-PUNTINTF: CEF punting packets switched to Virtual-Access14 to next slower path

  • %FIB-5-NOPUNTINTF: CEF resuming switching packets to Virtual-Access14

  • %FIB-4-PUNTINTF: CEF punting packets switched to Virtual-Access37 to next slower path

  • %FIB-5-NOPUNTINTF: CEF resuming switching packets to Virtual-Access37

Обходное решение: установить такое значение уровня ведения журнала, чтобы эти сообщения не появлялись. Другой способ – глобальное отключение механизма IP Cisco Express Forwarding. Однако отключение Cisco Express Forwarding следует рассматривать как временный обходной путь, так как это лучший метод коммутации на некоторых платформах. Распределенная коммутация Cisco Express Forwarding на сериях 7500 и 12000 является лучшим способом коммутации, затем идет Cisco Express Forwarding, затем все прежние версии.

Начиная со следующих выпусков ПО Cisco IOS: 12.1(8), 12.1(08a)E, 12.2(1)S, 12.1(8)AA, 12.0(17)S, 12.0(17)ST, 12.2(1)T, 012.002(2), — сообщения не записываются при установке или удалении флага PUNT на интерфейсе. Действие Cisco Express Forwarding по-прежнему возможно проверить при помощи команд show cef interface и debug ip cef events. Как следствие, отпадает необходимость в рассылке ненужных сообщений пользователям, если интерфейс настроен для переброски пакетов на следующий более медленный путь. Маршрутизаторы не переполняются сообщениями при загрузке или при запуске Cisco Express Forwarding, а системные журналы не заполняются сообщениями для каждой платформы управления вызовами для удаленного доступа.

По возможности на различных субинтерфейсах следует настроить функции, которые поддерживаются и не поддерживаются Cisco Express Forwarding. Некоторые инкапсуляции интерфейсов ATM не поддерживаются Cisco Express Forwarding. Следует обратиться к руководству по конфигурации программного обеспечения Cisco IOS для вашего маршрутизатора, чтобы узнать о том, какие инкапсуляции поддерживаются, а какие нет.

%HW_RES_FAIL-4-LOW_CEF_MEM: SLOT [char] is running low

Эти сообщения на маршрутизаторе являются одним из элементов функции аппаратной отказоустойчивости CEF. Начиная с выпуска IOS 12.0(28)S, функция аппаратной отказоустойчивости CEF поддерживается ядром Engine 2 (E2) серии Cisco 12000 и линейными платами ядра служб IP (ISE). Аппаратная отказоустойчивость CEF – механизм защиты памяти в аппаратной части CEF и ресурсов пересылки на заказной микросхеме (ASIC). Аппаратная отказоустойчивость CEF не допускает отключения CEF и возникновения помех для пересылки пакетов в результате исчерпания ресурсов или аварийной ситуации, например дефицита памяти или сбоя межпроцессного взаимодействия. Драйвер устройства линейной платы имеет внутренние механизмы обработки отказов, связанных с ресурсами, без участия верхних уровней.

В случае отказа или исчерпания памяти аппаратной пересылки (PLU или TLU) в линейных платах E2 или ISE серии Cisco 12000 функция мониторинга ресурсов выводит аварийное оповещение (сообщение об ошибке или предупреждение, как в журнале) на системной консоли и заносит его в журнал. При возникновении ошибки выделения памяти в фоне запускается процесс мониторинга ресурсов на основе таймера. С интервалом в одну минуту этот процесс проверяет используемую долю памяти аппаратной пересылки PLU или TLU. При превышении порога исчерпания аппаратной памяти генерируется аварийное оповещение. В конечном итоге сообщение об ошибке может указывать на память TLU, которая имеет фиксированный размер и модернизации не подлежит.

Возможны следующие обходные решения:

  • уменьшить число маршрутов;

  • отключить списки контроля доступа PSA (no access-list hardware psa).

%FIB-4-FIBCBLK2: Missing cef tableid [десят. код] during [текст] event for [IP-адрес][маска_подсети_IP]

Ниже приведены некоторые примеры сообщений из журналов ошибок:

%FIB-4-FIBCBLK: Missing cef table for tableid 63 during route update XDR event
%FIB-SP-4-FIBCBLK: Missing cef table for tableid 33 during Table removal event
%FIB-4-FIBCBLK: Missing cef table for tableid 45 during routing table event

Причина этих сообщений – удаление запроса VRF, формируемого перед тем, как связанные обновления NDB (блока описания сети) перейдут на распределение и обработку линейными платами. Это вызывает временную проблему в таблице CEF, где сгенерирован идентификатор таблицы, но сама таблица удалена. Обычно эта проблема устраняется сама собой, не требуя вмешательства, и никаких последствий для трафика или стабильности маршрутизатора не возникает. Аналогичные системные сообщения рассмотрены в описаниях идентификаторов ошибок Cisco CSCsg03483 и CSCee26209.

Сбор диагностических сведений перед обращением в Центр технической поддержки

При регистрации обращения в Центр технической поддержки при помощи программы подготовки запросов в Центр технической поддержки (доступной только зарегистрированным пользователям) приложите следующие сведения для диагностики сообщений об ошибках, связанных с Cisco Express Forwarding:
  • Меры по устранению, предпринятые перед регистрацией обращения.
  • Выходные данные команды show tech-support (по возможности – в активном режиме).
  • Выходные данные команды show log или сохраненный вывод на консоль (при наличии).
Приложите собранные сведения к обращению в простом незаархивированном текстовом файле (.txt). Можно приложить эти сведения, загрузив их с помощью программы подготовки запросов в Центр технической поддержки (доступной только зарегистрированным пользователям). Если не удается получить доступ к программе, то можно присоединить дополнительные данные к обращению и отправить их на адрес attach@cisco.com, указав номер обращения в теме письма.

Примечание. Не выполняйте ручную перезагрузку или выключение/включение маршрутизатора до сбора указанной информации (если это не требуется для диагностики сообщений об ошибках, связанных с Cisco Express Forwarding), поскольку это может вызвать потерю важной информации, необходимой для определения источника проблемы.

Прочие ресурсы для поиска и устранения неполадок

Дополнительные сведения о процедурах поиска и устранения неполадок применительно к Cisco Express Forwarding см. в следующих документах:


Дополнительные сведения

Document ID: 7603