أستكشاف أخطاء تحميل البطاقة وإصلاحها NCS6K

المقدمة

يوضح هذا المستند كيفية أستكشاف أخطاء تحميل بطاقة الخط وإصلاحها لنظام تقارب الشبكات طراز 6000 (NCS6K). وبالإضافة إلى ذلك، يقدم أيضا لمحة عامة عن البيانات التي يمكن جمعها والتي يمكن أن تساعد مركز المساعدة الفنية على إجراء تحقيق مفصل.

المتطلبات الأساسية

المتطلبات

cisco يوصي أن يتلقى أنت معرفة الأساسية من XR أمر خط قارن (CLI).

المكونات المستخدمة

تم إنشاء هذا المستند باستخدام إصدارات XR 5.0.1 و 5.2.1 و 5.2.3 و 5.2.4.

تم إنشاء المعلومات الواردة في هذا المستند من الأجهزة الموجودة في بيئة معملية خاصة. بدأت جميع الأجهزة المُستخدمة في هذا المستند بتكوين ممسوح (افتراضي). إذا كانت شبكتك مباشرة، فتأكد من فهمك للتأثير المحتمل لأي أمر.

معلومات أساسية

إذا لم يتم تمهيد معالج التوجيه (RP) أو بطاقة البنية (FC) أو بطاقة الخط (LC) وتعطل في مرحلة التمهيد، فيجب أن تكون الخطوة الأولى هي بدء جمع تتبع فني من الجهاز الظاهري (VM) ل Syadmin. يوفر هذا العرض الفني معلومات حول حالة النظام الحالي والتفاعل بين المكونات المختلفة. ومع ذلك، من المحتمل أن لا يكون Sysadmin المعروف أيضا باسم Calvados موجودا على البطاقة وأن show tech ctrace لن يتمكن من جمع المعلومات للبطاقة المتأثرة. سيحدث ذلك لأن البطاقة غير قابلة للوصول إليها عبر طبقة الأمان (SSH). في مثل هذه الحالات، سيكون إجراء وحدة التحكم ضروريا لمعرفة سبب توقف البطاقة في وقت عملية التمهيد.

استكشاف الأخطاء وإصلاحها

تحقق من حالة كل بطاقة على Sysadmin VM واكتشف حالتها الحالية. عليك أن تولي اهتماما خاصا لحالة س/ث و س/ث. لاحظ أن البطاقات التي توضح حالة الشاشة/الشاشة على أنها وحدة معالجة مركزية (CPU) هي بطاقات أقل (بطاقات القناة الليفية ودرج المروحة وما إلى ذلك) يتم التحكم فيها بشكل أساسي بواسطة وحدة المعالجة المركزية (CPU) الخاصة ببرنامج RP. البطاقات في حالة التشغيل هي بطاقات تستند إلى وحدة المعالجة المركزية (CPU) ومن ثم يتم تحميل البرنامج.

 sysadmin-vm:0_RP0# show platform

 Location  Card Type               HW State      SW State      Config State
 ----------------------------------------------------------------------------
 0/0       PROTO-CXP-1XPITA        OPERATIONAL   OPERATIONAL   NSHUT
 0/2       PROTO-CXP-2XPITA        POWERED_OFF   SW_INACTIVE   NSHUT 
 0/3       NC6-10X100G-M-K         OPERATIONAL   OPERATIONAL   NSHUT
 0/RP0     NC6-RP                  OPERATIONAL   OPERATIONAL   NSHUT
 0/RP1     NC6-RP                  POWERED_ON    SW_INACTIVE   NSHUT 
 0/FC0     NC6-FC                  POWERED_ON    N/A           NSHUT
 0/FC1     NC6-FC-MC               POWERED_ON    N/A           NSHUT
 0/FC2     UNKNOWN                 FAILED        N/A           NSHUT 
 0/FC3     NC6-FC                  POWERED_ON    N/A           NSHUT
 0/FC4     NC6-FC-B2B              POWERED_ON    N/A           NSHUT
 0/FC5     NC6-FC                  OPERATIONAL   N/A           NSHUT
 0/FT0     NC6-FANTRAY             OPERATIONAL   N/A           NSHUT
 0/FT1     NC6-FANTRAY             OPERATIONAL   N/A           NSHUT
 0/PT0     NCS-AC-PWRTRAY          OPERATIONAL   N/A           NSHUT
 0/PT1     NCS-AC-PWRTRAY          OPERATIONAL   N/A           NSHUT
 0/PT2     NCS-AC-PWRTRAY          OPERATIONAL   N/A           NSHUT
 

تتمثل الخطوة التالية في التحقق من أمر جرد وحدة تحكم رقاقة البطاقة (CCC) وتأكيد حالة البطاقة.

 sysadmin-vm:0_RP0# show controller ccc inventory summary

 CCC Inventory Summary :
                                  BP                   HW
 Location Card Type               ID    Serial Number  Ver   Card State
 --------------------------------------------------------------------------------
 0/RP0    NC6-RP (master)         0     SAD15270129    0.1   CARD_READY
 0/RP1    NC6-RP (slave)          1     SAD1527012P    0.1   CARD_READY
 0/FC0    NC6-FC                  8     SAD1618002F    0.2   WAIT_DEV_INIT
 0/FC1    NC6-FC                  9     SAD153901ZT    0.2   WAIT_DEV_INIT
 0/FC4    NC6-FC                  12    SAL1803KQEY    1.0   PON_POWERING_UP
 0/FC5    NC6-FC                  13    SAD16180043    0.2   WAIT_DEV_INIT
 0/0      NC6-10X100G-M-K         16    SAL1650UCN9    0.4   PXE_BOOTING
 0/4      NC6-10X100G-M-K         20    SAD154502XU    0.1   CARD_READY        

هنا السيناريوهات المختلفة التي يمكن أن تحدث.  كما ترد أدناه مخرجات متوقعة والخطوات التالية لاستكشاف الأخطاء وإصلاحها.

تم تمهيد Linecard كما هو متوقع

sysadmin-vm:F0_SC0# show platform detail location 0/0
 
 Platform Information for 0/0
  PID :               NC6-10X100G-M-P
  Description :       "NCS 6000 10x100G Multi-Service CXP"
  VID/SN :            V01
  HW Oper State :     OPERATIONAL
  SW Oper State :     OPERATIONAL
  Configuration :     "NSHUT RST"
  HW Version :        1.0
  Last Event :        HW_EVENT_OK
  Last Event Reason : "Initial discovered state:BOOTED (card ok)"

يظهر إخراج الحدث الأخير وسبب الحدث الأخير أن البطاقة على ما يرام. قم بتنفيذ الأمر show reboot history للتحقق من صحة ما إذا كانت هذه البطاقة المحددة بها مشاكل في الماضي وإذا كانت نعم، فما هي المشكلة.

 sysadmin-vm:F0_SC0# show reboot-history card location 0/0
 
 Card Reboot History for 0/0
  0
   Timestamp    "Fri Oct  2 15:15:26 2015"
   Reason Code  7
   Reason       "Install Activate System Reload"
   Src Location ""
   Src Name     INSTALL
   Timestamp    "Tue Sep  8 18:56:29 2015"
   Reason Code  7
   Reason       "ADMIN CLI RELOAD ROUTER GRACEFUL"
   Src Location ""
   Src Name     "CONFD USER"
 Aborted: by user

Linecard 0/0 قيد التشغيل وكان السبب وراء آخر إعادة تحميل تم تثبيته، وهو ما يعني بشكل أساسي إما تثبيت تحديث صيانة البرامج (SMU) أو إجراء ترقية للبرامج. هذا متوقع وبالتالي لم تكن هناك مشاكل في هذه البطاقة.

يتعذر على بطاقة البنية التمهيد بسبب خطأ في برنامج التشغيل

sysadmin-vm:0_RP0# show platform

 Location  Card Type               HW State      SW State      Config State
 ----------------------------------------------------------------------------
 0/FC2     UNKNOWN                 FAILED        N/A           NSHUT <-

sysadmin-vm:F0_SC0# show reboot-history card location 0/FC2

  Card Reboot History for 0/FC2 
  Timestamp    "Thu Oct  9 12:10:22 2014" 
  Reason Code  15  <--
 "Board reload as devices not up on Fabric Card"
  Src Location 0/FC0 
  Src Name     FAM_AGENT_CALV_DRIVER_SFE ß

في هذا المثال، لم يتم تمهيد بطاقة FC لأنه لم يتم تهيئة sfe_driver بشكل صحيح.

قم بتنفيذ المزيد من الأوامر لعرض محفوظات إعادة الضبط من وجهة نظر CCC. يمكن إستخدام واجهة سطر الأوامر (CLI) الخاصة ب reboot-history بالاقتران مع واجهة سطر الأوامر (CLI) الخاصة بإعادة تحميل بطاقة برنامج تشغيل CCC لتحديد مصدر وسبب إعادة تحميل البطاقة.

وقد يكون هناك خياران:

على اللوحة - أستخدم هذا الخيار للبحث عن معلومات حول ما إذا كانت البطاقة قد مرت بإعادة الضبط السريع (تم إعادة تحميل وحدة المعالجة المركزية فقط).

OnChip - أستخدم هذا الخيار للبحث عن معلومات إذا كانت البطاقة قد مرت بإعادة ضبط باردة (إعادة تحميل البطاقة بالكامل - إعادة ضبط صعبة).


على سبيل المثال:

 sysadmin-vm:F0_SC0# show controller ccc reset-history on
 Possible completions:
   onboard   CCC Reset history in onboard EEPROM detail information
   onchip    On-chip reset history entries since last CCC Cold Reset

 

sysadmin-vm:F0_SC0# show controller ccc reset-history onchip location 0/0

 
 ****************************************************
 ***   On Chip Reset History for location 0/0   ***
 ****************************************************
 TimeofDay    : Tue Oct 20 17:17:40 2015
 Uptime       : 18 days 02:01:59 <--
 Resets       : 2         
 
     Reset           Reset        Reset
 idx Source          Command      Time
 --- --------------- ------------ -------------------
 0   ColdRst         AssrtHR      2015/10/02 15:15:43 
 1   ColdRst         DeAssrtHR    2015/10/02 15:15:50 --> List reset source as "ColdRst" 

 sysadmin-vm:F0_SC0# show controller ccc reset-history onboard  location 0/0
 
 *****************************************************
 ***   On Board Reset History for location 0/0   ***
 *****************************************************
 Scratch EEPROM Magic   : PON 
 Scratch EEPROM Version : 0x00014000
 Reset History Magic    : HIST
 Number of Resets       : 102    <--- 
 
     Reset           Reset        Reset
 idx Source          Command      Time
 --- --------------- ------------ -------------------
 0   ColdRst         AssrtHR      1970/01/01  0:00:00 <-- ColdRst
 1   ColdRst         DeAssrtHR    1970/01/01  0:00:06
 2   ColdRst         AssrtHR      1970/01/01  0:00:00
 3   ColdRst         DeAssrtHR    1970/01/01  0:00:06
 4   WarmRst         AssrtHR      1970/05/03  7:21:55 <-- WarmRst
 <output omitted> 
 
ColdRst can either be initiated by Software or Hardware. WarmRst, is only initiated through Software. Other reset sources can be HRESET_L, SRESET_L, Wtchdog, SW_assgn or plain Rsrvd.

بالإضافة إلى ذلك، هناك إدخالان فريدان لكل عملية إعادة تعيين تم تنفيذها. عملية AssrtHR وعملية DeAssrtHR. وهذا يعني ضمنا أنه قد تم تأكيد إعادة تعيين الإشارة ثم لم يتم تأكيدها، وبالتالي فإن الشريحة سوف تكمل إعادة الضبط.

الإحاطة علما بالطوابع الزمنية لكل من هذه العمليات. يمكن دمج واجهة سطر الأوامر (CLI) هذه مع واجهة سطر الأوامر (CLI) الخاصة بحالة مخزون CCC لتحديد وقت حدوث إعادة الضبط ومدة بقاء البطاقة لأعلى أو لأسفل.

بعد ذلك، تحقق من مرحلة CCC أن البطاقة مرت خلال وقت عملية إعادة التحميل. يتم سرد أمثلة مختلفة للحالة هنا:

البطاقة التي تم تمهيد تشغيلها بشكل صحيح من وجهة نظر CCC:

sysadmin-vm:F0_SC0# show controller ccc event-history brief location 0/0

 CCC Card Event History for: 0/0
   
 Card Event History as seen by Master (0/RP1)
   Current State: CARD_READY 
 
   DATE   TIME (UTC)    STATE                   EVENT                           
   -----  ------------  ----------------------  ------------------------------
   10/02  15:16:55.234  WAIT_BOOT_IMAGE         ev_boot_ssd_image               
   10/02  15:16:54.233  BIOS_STARTED            if_wait_ssd_image_booting       
   10/02  15:16:54.233  CPU_READY               if_bios_started                 
   10/02  15:16:54.231  OIR_INSERT_NOTIF        if_cpu_is_ready                 
   10/02  15:16:54.217  CCC_DRIVER_INIT         if_oir_insert_notif_not_done    
   10/02  15:16:54.195  PON_POWERED_ON          to_ccc_driver_init              
   10/02  15:16:54.195  CHECK_CCC_STATUS        if_pon_powered_on               
   10/02  15:16:54.194  READ_IDPROM             ev_idprom_available             
   10/02  15:16:53.942  GET_CCC_INFO            ev_get_ccc_info_done            
   10/02  15:16:53.723  WAIT_ETH_READY          ev_eth_available                
   10/02  15:16:52.560  CHECK_UBLAZE_BOOT       ev_ublaze_boot_ok               
   10/02  15:16:52.539  WAIT_CCC_READY          ev_ccc_ready                    
   10/02  15:16:52.537  IDLE                    ev_presence_scan                

البطاقة الموجودة حاليا في مرحلة PXE_BOOING:

sysadmin-vm:0_RP0# show controller ccc event-history brief location 0/3
 
 CCC Card Event History for: 0/3
 
 Current State: PXE_BOOTING
 
   DATE   TIME (UTC)    STATE                   EVENT
   -----  ------------  ----------------------  ------------------------------
   08/07  19:50:40.607  BIOS_STARTED            if_internal_pxe_booting
   08/07  19:50:40.607  WAIT_BIOS_START         ev_bios_started
   08/07  19:50:18.605  CPU_READY               if_bios_not_started
   08/07  19:50:18.595  CCC_DRIVER_INIT         if_cpu_is_ready
   08/07  19:50:18.568  PON_POWERED_ON          to_ccc_driver_init
   08/07  19:50:18.568  CHECK_CCC_STATUS        if_pon_powered_on
   08/07  19:50:18.567  GET_CCC_INFO            ev_get_ccc_info_done
   08/07  19:50:18.550  WAIT_ETH_READY          ev_eth_ready
   08/07  19:50:18.550  CHECK_UBLAZE_BOOT       ev_ublaze_boot_ok
   08/07  19:50:18.517  PON_UP_WARM             ev_ccc_reset_done
   08/07  19:50:12.627  PON_DOWN_WARM           ev_pon_up_warm
   08/07  19:50:08.239  PON_DOWN_WARM           ev_warm_reset_req_ignored
   08/07  19:50:07.239  PON_DOWN_WARM           ev_warm_reset_req_ignored
   08/07  19:50:06.239  PON_DOWN_WARM           ev_warm_reset_req_ignored
   08/07  19:50:05.239  PON_DOWN_WARM           ev_warm_reset_req_ignored
   08/07  19:50:04.238  PON_DOWN_WARM           ev_warm_reset_req_ignored

يتعذر تحميل البطاقة بسبب وجود شريحة عالقة في GET_CCC_INFO:

sysadmin-vm:0_RP0# show controller ccc event-history brief location 3/6 
 
 CCC Card Event History for: 3/6
   
 Card Event History as seen by Master (3/RP0)
   Current State: GET_CCC_INFO
 
   DATE   TIME (UTC)    STATE                   EVENT                           
   -----  ------------  ----------------------  ------------------------------
   10/26  23:43:04.559  UBLAZE_NOT_READY        ev_timer_expired          
   10/26  23:42:34.559  CHECK_UBLAZE_BOOT       ev_timer_expired               
   10/26  23:42:24.528  WAIT_CCC_READY          ev_ccc_ready                    
   10/26  23:42:21.516  RECOVERY_RESET          ev_timer_expired                
   10/26  23:42:03.516  CHECK_UBLAZE_BOOT       ev_ublaze_pre_boot_failed       
   10/26  23:41:52.480  WAIT_CCC_READY          ev_ccc_ready                    
   10/26  23:41:49.468  RECOVERY_RESET          ev_timer_expired                
   10/26  23:41:32.467  WAIT_CCC_READY          ev_no_fpga_ok_signal            
   10/26  23:41:29.456  RECOVERY_RESET          ev_timer_expired                
   10/26  23:41:13.455  WAIT_CCC_READY          ev_no_fpga_ok_signal            
   10/26  23:41:10.444  RECOVERY_RESET          ev_timer_expired                
   10/26  23:40:55.444  CHECK_UBLAZE_BOOT       ev_ublaze_pre_boot_failed       
   10/26  23:40:55.439  WAIT_CCC_READY          ev_ccc_ready                    
   10/26  23:40:52.320  IDLE                    ev_presence_scan   

يتعذر تحميل البطاقة بسبب حالة POWER_UP_FAILED:

sysadmin-vm:0_RP0# show controller ccc event-history brief location 0/2

 CCC Card Event History for: 0/2
 
 Current State: POWER_UP_FAILED
 
   DATE   TIME (UTC)    STATE                   EVENT
   -----  ------------  ----------------------  ------------------------------
   08/05  14:55:17.449  POWER_UP_FAILED         ev_wdog_timeout
   08/05  14:45:31.265  CCC_DRIVER_INIT         if_pwr_up_failed
   08/05  14:45:31.260  CHECK_CCC_STATUS        if_pwr_up_failed_again
   08/05  14:45:31.258  GET_CCC_INFO            ev_get_ccc_info_done
   08/05  14:45:31.223  WAIT_ETH_READY          ev_eth_ready
   08/05  14:45:31.157  CHECK_UBLAZE_BOOT       ev_ublaze_boot_ok
   08/05  14:45:31.124  PON_UP_WARM             ev_ccc_reset_done
   08/05  14:45:17.489  CCC_IN_RESET            ev_pon_up_warm
   08/05  14:45:08.921  POWER_UP_FAILED         ev_pon_down_warm
   08/05  14:35:07.152  POWER_UP_FAILED         ev_wdog_timeout
   08/05  14:25:20.946  CCC_DRIVER_INIT         if_pwr_up_failed
   08/05  14:25:20.941  CHECK_CCC_STATUS        if_pwr_up_failed_again
   08/05  14:25:20.939  GET_CCC_INFO            ev_get_ccc_info_done
   08/05  14:25:20.923  WAIT_ETH_READY          ev_eth_ready
   08/05  14:25:20.887  CHECK_UBLAZE_BOOT       ev_ublaze_boot_ok
   08/05  14:25:20.830  PON_UP_WARM             ev_ccc_reset_done
 Aborted: by user

        

إذا كنت تستخدم هذا الأمر مع خيار موجز، فإنه لا يعطي بيانات كاملة متعلقة بالسبب الجذري للمشكلات. لتلك المعلومات، استبدل الكلمة الأساسية مختصرة بتفاصيل.

التركيز على إدارة الحدث و سبب الفشل في الحصول على تفسير أفضل للفشل.

sysadmin-vm:F0_SC0# show controller ccc event-history detail location 0/0
 
 CCC Card Event History for: 0/0
   
 Card Event History as seen by Master (0/RP1)
   Event buffer info:
         Total number of events recorded: 13
         Number of events available for display: 13
 
   Current State: CARD_READY
 
      EVENT #: 12 (record index = 12)
    TIMESTAMP: 2015/10/02 15:16:55.234814 UTC
        STATE: WAIT_BOOT_IMAGE
        EVENT: ev_boot_ssd_image
   EVENT DESC: SSD image is booting
    
      EVENT #: 11 (record index = 11)
    TIMESTAMP: 2015/10/02 15:16:54.233898 UTC
        STATE: BIOS_STARTED
        EVENT: if_wait_ssd_image_booting
    
      EVENT #: 10 (record index = 10)
    TIMESTAMP: 2015/10/02 15:16:54.233855 UTC
        STATE: CPU_READY
        EVENT: if_bios_started
    
      EVENT #: 9 (record index = 9)
    TIMESTAMP: 2015/10/02 15:16:54.231426 UTC
        STATE: OIR_INSERT_NOTIF
        EVENT: if_cpu_is_ready
         
      EVENT #: 8 (record index = 8)
    TIMESTAMP: 2015/10/02 15:16:54.217351 UTC
        STATE: CCC_DRIVER_INIT
        EVENT: if_oir_insert_notif_not_done
         
      EVENT #: 7 (record index = 7)
    TIMESTAMP: 2015/10/02 15:16:54.195808 UTC
        STATE: PON_POWERED_ON
        EVENT: to_ccc_driver_init
         
      EVENT #: 6 (record index = 6)
    TIMESTAMP: 2015/10/02 15:16:54.195786 UTC
        STATE: CHECK_CCC_STATUS

هنا مثال على مخرجات لسيناريوهات مختلفة.

البطاقة التي لم يتم تحميلها بسبب مشاكل الطاقة وتعطلت في POWER_UP_FAILED:

انتبه إلى ERROR_INFO للحصول على تفاصيل حول الفشل.

 sysadmin-vm:0_RP0# show controller ccc event-history detail location 0/2 
 
 CCC Card Event History for: 0/2
   Event buffer info:
         Total number of events recorded: 692
         Number of events available for display: 255
 
   Current State: POWER_UP_FAILED 
 
      EVENT #: 691 (record index = 179)
    TIMESTAMP: 2014/08/05 14:55:17.449979 UTC
        STATE: POWER_UP_FAILED
        EVENT: ev_wdog_timeout 
   EVENT DESC: CCC watchdog timeout event
   ERROR INFO: wdog__0 SysAdmin VM Watchdog stage1:0 
 
 <output omitted>

البطاقة التي لم يتم تحميلها وتعطلت في CCC_NOT_READY (مشكلة الشريحة):

 sysadmin-vm:0_RP0# show controller ccc event-history detail location 0/FC2
 
 CCC Card Event History for: 0/FC2
   Event buffer info:
         Total number of events recorded: 2
         Number of events available for display: 2
 
   Current State: CCC_NOT_READY
 
      EVENT #: 1 (record index = 1)
    TIMESTAMP: 2014/08/04 14:10:49.891845 UTC
        STATE: WAIT_CCC_READY
        EVENT: ev_ccc_ready_timeout
   EVENT DESC: Timeout waiting for CCC to be ready
   ERROR INFO: CCC READY Timeout - CLOCK_OK signal not being asserted (I/O Expander port0=0xf0, port1=0xff) ß
 
 <output omitted>

هناك مثيلات حيث يلزم إزالة/إعادة إدراج البطاقات. ولهذا الغرض، يوفر مكون CCC محفوظات OIR لإدراج/إزالة بطاقة تعقب الحامل المحددة. لاحظ أن الكلمة الأساسية عبد يتم إستخدامها. سيعطي ذلك معلومات حول RP الاحتياطي.

 sysadmin-vm:0_RP0# show controller ccc oir-history rack 0
 
 Cards OIR History of rack: 0
   
 OIR Events as seen by Master (0/RP0)-  View from the Active RP 
   DATE   TIME (UTC)     EVENT        LOC     CARD TYPE            SERIAL NO  
   -----  ------------   ----------   -----   ------------------   -----------
   10/09  16:59:14.280   INSERTED     0/0     NC6-10X100G-M-K     SAL1650UCN9
   10/09  16:58:49.064   REMOVED      0/0     NC6-10X100G-M-K     SAL1650UCN9

<output omitted>

 sysadmin-vm:0_RP1# show controller ccc slave oir-history rack 0 
 
 Cards OIR History of rack: 0
   
 OIR Events as seen by Slave (0/RP1)- <-- View from the standby RP 
   DATE   TIME (UTC)     EVENT        LOC     CARD TYPE            SERIAL NO  
   -----  ------------   ----------   -----   ------------------   -----------
   11/06  05:54:31.374   DISCOVERED   0/2     NC6-10X100G-M-K     SAD161300XK
   11/06  05:53:37.442   DISCOVERED   0/6     NC6-10X100G-M-K      SAL1649TN46

<output omitted>

يجب أن تكون المعلومات هي نفسها من وجهة نظر RP.

يساعد إستخدام هذه المجموعة من الأوامر في تحديد السبب الرئيسي وراء عدم قدرة بطاقة البنية على التمهيد.

البطاقة عالقة في حالة إيقاف التشغيل أو الحالة الحالية

إذا كانت البطاقة في حالة التشغيل/الحالية، فمن المحتمل جدا أنها مرت بعدة عمليات إعادة ضبط وتم إيقاف تشغيلها بواسطة shelf_mgr.

أصدرت هذا أمر in order to حددت الجذر سبب من الإصدار:

1. تجميع تتبع فني العرض من Sysadmin VM
2. إظهار موقع تفاصيل النظام الأساسي <>
3. إظهار موقع بطاقة محفوظات إعادة التشغيل <>(التعرف على عدد المرات التي مرت بها خلال عملية إعادة الضبط)
4. show controller ccc event-history detail موقع <>
5. show controller ccc reset-history on board location <>

يمكن إعادة ضبط البطاقة باستخدام الأمر hw-module reset ويمكن ملاحظة عملية التمهيد باستخدام إجراء وحدة التحكم الذي تم شرحه لاحقا في هذا المستند.

sysadmin-vm:F0_SC0# hw-module location 0/0 reload
Reload hardware module ? [no,yes] Yes

البطاقة عالقة في حالة POWER_ON

إذا كانت البطاقة عالقة في مشغل_ON، فإن ذلك يعني أن برنامج CCC قد قام بتشغيل مناطق الطاقة الأساسية اللازمة لكي يبدأ برامج التشغيل الأخرى عملها. وتقع على عاتق السائقين المعنيين مسؤولية نقل البطاقة إلى حالة التشغيل.

ينقل برنامج تشغيل SFE القنوات الليفية (FCs) إلى حالة التشغيل، بعد أن يكتشف ويبدأ جميع أجهزته الداخلية على تلك البطاقة المعروفة أيضا باسم ASICs.

يعمل برنامج تشغيل ESD على نقل بطاقات SC-SW وبطاقات LCs الخاصة ب SCAPA إلى حالة التشغيل (بشكل فوري تقريبا، لا يوجد شيء للتحقق/التهيئة بخلاف برنامج تشغيل SFE).

إذا كانت البطاقة في حالة تشغيل_ON، فهذا يعني أن أحد السائقين المذكورين أعلاه واجه مشكلة في نقل البطاقة إلى حالة التشغيل. تظهر المشكلة بشكل أكبر على البطاقات التي لا تحتوي على وحدة المعالجة المركزية (CPU). مثال: بطاقات البنية أو بطاقات المحولات SC (SC-SW).

الخطوة الأولى هي التحقق من أمر ccc event-history:

sysadmin-vm:F0_SC0# show controller ccc event-history detail location 0/0
 
 CCC Card Event History for: 0/0
   
 Card Event History as seen by Master (0/RP1)
   Event buffer info:
         Total number of events recorded: 13
         Number of events available for display: 13
 <output ommited>
         
      EVENT #: 7 (record index = 7)
    TIMESTAMP: 2015/10/02 15:16:54.195808 UTC
        STATE: PON_POWERED_ON
        EVENT: to_ccc_driver_init 

بعد ذلك، تحقق من صحة مناطق الطاقة الأساسية المطلوبة:    

 sysadmin-vm:0_RP0# show controller ccc register location 0/RP0 offset 0x4c

 Register    Register
 Address     Value
 ------------------------
 0x4C        0x3           - zones 0 and 1 OK

 sysadmin-vm:0_RP0# show controller ccc register location 0/RP0 offset 0x50

 Register    Register
 Address     Value
 ------------------------
 0x50        0x3           - zone 0 and 1 Enabled
 
 

 sysadmin-vm:0_RP0# show controller ccc power detail location 0/RP0
 
 Power detail : Zone information for 0/RP0:
 ---------------------------------------------------------
 | Power Zone | Power Status | Power Contrl | Power Fault |
 ---------------------------------------------------------
 |   0        |   OK         |   SET        |   --        |  - Power Status OK
 |   1        |   OK         |   SET        |   --        |  - Power Status OK

 sysadmin-vm:F0_SC0# show controller ccc i2c-dev ioexpander location 0/0
 
   CCC IO Expander information for location: 0/0
   ------------------------------------------------------
   Port 0: 0x3e
    Port Bit I/O Val Bit Name
    -------------------------------------
    P0   0   O   0   Power Cycle 
    P0   1   I   1   FPGA OK
    P0   2   I   1   uBlaze OK 
    P0   3   I   1   Clock OK
    P0   4   I   1   Core Volt OK
    P0   5   I   1   OTH Volt0 OK
    P0   6   I   0   OTH Volt1 NOT OK
    P0   7   I   0   OTH Volt2 NOT OK
    
   Port 1: 0x3
    Port Bit I/O Val Bit Name
    -------------------------------------
    P1   0   I   1   FPGA INIT OK

إذا لم يؤدي هذا التحقق من الصحة إلى سبب جذري، فستكون الخطوة التالية هي فتح طلب خدمة TAC.

البطاقة عالقة في حالة sw_inactive

sysadmin-vm:0_RP0# show platform

 Location  Card Type               HW State      SW State      Config State
 --------------------------------------------------------------------- -------
 0/1       P-L-10X100G-F-P         POWERED_OFF   SW_INACTIVE   SHUT 
 0/RP0     P-L-RP                  OPERATIONAL   OPERATIONAL   NSHUT
 0/RP1     P-L-RP                  OPERATIONAL   OPERATIONAL   NSHUT
 0/FC0     P-L-FC-S                OPERATIONAL   N/A           NSHUT
 0/FC1     P-L-FC-S                OPERATIONAL   N/A           NSHUT
 0/FT0     PANINI-SIM-FT           OPERATIONAL   N/A           NSHUT
 0/FT1     PANINI-SIM-FT           OPERATIONAL   N/A           NSHUT

الأسباب المحتملة للفشل هي:

• لم يتم تمهيد نظام التشغيل المضيف بسبب مشكلة في الوصول إلى محرك أقراص مزود بذاكرة مصنوعة من مكونات صلبة (SSD)
• تمهيد نظام التشغيل المضيف يعلق بسبب مشكلة الأجهزة
• فشل VM ل SysAdmin في التوليد
• التحكم في مشكلات اتصال إيثرنت
• لم تتم برمجة MAC/IP للبطاقة بسبب فشل البرامج
• لا تتم برمجة محولات الإيثرنت بشكل صحيح بواسطة مترجم تشغيل CCC Power-On
• فشل تحويل صورة ESD Color في البرمجة في ذاكرة CCC SPI Flash
  
  

السيناريو 1. SW_EVENT_FAILURE: SW_EVENT_ADMIN_VM_FAILURE الذي تم الإعلام عنه بواسطة syslogs ل shelf_mgr

sysadmin-vm:0_RP0# show platform

 Location  Card Type               HW State      SW State      Config State
 ----------------------------------------------------------------------------
 0/1       PROTO-CXP-2XPITA        OPERATIONAL   OPERATIONAL   NSHUT
 0/RP0     NC6-RP                  OPERATIONAL   OPERATIONAL   NSHUT
 0/RP1     NC6-RP                  OPERATIONAL   SW_INACTIVE   NSHUT        
 0/FC0     NC6-FC-MC               OPERATIONAL   N/A           NSHUT
 0/CI0     P-L-CRFT                OPERATIONAL   N/A           NSHUT
 0/FT0     P-L-FANTRAY             OPERATIONAL   N/A           NSHUT
 0/FT1     P-L-FANTRAY             OPERATIONAL   N/A           NSHUT
 

قد يكون هناك عدة أسباب مختلفة لعدم تمهيد RP1. أسهل طريقة للبحث عن المشكلة هي أن تقوم بالتدقيق على RP وتحقق من السجلات الموجودة (ارجع إلى إجراء وحدة التحكم الذي هو أسفل هذا المستند).

السيناريو 2. LC في حالة فشل، الحدث الأخير: HW_EVENT_FAILURE_CODE=LC_POWER_MAIN_FAULT

تأكد من فشل عرض حالة الأجهزة وعرض حالة البرامج SW_INACTIVE:

sysadmin-vm:0_RP0# show platform location 0/1

 Location  Card Type               HW State      SW State      Config State
 ----------------------------------------------------------------------------
 0/1       NC6-60X10GE-M-S         FAILED        SW_INACTIVE   NSHUT        

قم بتنفيذ هذا الأمر وتحقق من آخر سبب زوجي:

sysadmin-vm:0_RP0# show platform detail location 0/1
 
 Platform Information for 0/1
  PID :               NC6-60X10GE-M-S
  Description :       "NCS 6000 60x10G Multi-Service SFP+"
  VID/SN :            V01
  HW Oper State :     FAILED
  SW Oper State :     SW_INACTIVE
  Configuration :     "NSHUT RST"
  HW Version :        0.6
  Last Event :        HW_EVENT_FAILURE
  Last Event Reason : "pon exit  <-- UP_WARM_RESET cnt=123  fail_code=LC_POWER_MAIN_FAULT"
 sysadmin-vm:0_RP0#

تصفية syslog للبطاقة المتأثرة للتحقق من رسائل السجل:

 0/RP0/ADMIN0:Jun 21 00:33:13.487 : cm[1795]: %ROUTING-TOPO-5-OIR_ACTION : OIR card failed having serial number: SAD173501R7.
 0/RP0/ADMIN0:Jun 21 00:33:13.528 : shelf_mgr[1818]: %INFRA-SHELF_MGR-5-CARD_INSERTION : Location: 0/1, Serial #: SAD173501R7
 0/RP0/ADMIN0:Jun 21 00:33:13.528 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_FAILURE, event_reason_str 'Initial discovery FAIL: EXIT0, power request on , but not finish ccc-pon startup. power_control 0x00000001' for card 0/1
 0/RP0/ADMIN0:Jun 21 00:33:13.530 : shelf_mgr[1818]: %INFRA-SHELF_MGR-3-CARD_HW_FAILED : Card: 0/1 hardware state going to FAILED
 0/RP0/ADMIN0:Jun 21 00:34:06.734 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_RESET, event_reason_str 'pon enter --> DOWN_WARM_RESET cnt=3! ' for card 0/1
 0/RP0/ADMIN0:Jun 21 00:34:15.987 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_POWERED_OFF, event_reason_str 'CCC Warm Reset #8' for card 0/1
 0/RP0/ADMIN0:Jun 21 00:34:21.419 : cm[1795]: %ROUTING-TOPO-5-OIR_ACTION : OIR card failed having serial number: SAD173501R7.
 0/RP0/ADMIN0:Jun 21 00:34:21.459 : shelf_mgr[1818]: %INFRA-SHELF_MGR-3-CARD_HW_FAILED : Card: 0/1 hardware state going to FAILED
 0/RP0/ADMIN0:Jun 21 00:34:21.459 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_FAILURE, event_reason_str 'pon exit  <-- UP_WARM_RESET cnt=4  fail_code=LC_POWER_MAIN_FAULT' for card 0/1

قم بتنفيذ الأمر show reboot history وتحقق ما إذا كان هناك فرق زمني كبير بين رسائل AssrtHR و DeAssrtHR. قد يرجع السبب في ذلك إلى وجود مشكلة اتصال داخلي بين الأجهزة الافتراضية (VM).

sysadmin-vm:0_RP0#show reboot-history card location 0/1
 
 Reset history example: every 20 mins for 2 hours before it recovered:
 
 33  0    WarmRst      DeAssrtHR    0x00000F32 0x53A4D367 Sat Jun 21 00:35:51 2014
 34  0    WarmRst      AssrtHR      0x00000F10 0x53A4D81D Sat Jun 21 00:55:57 2014
 
 35  0    WarmRst      DeAssrtHR    0x00000F32 0x53A4D821 Sat Jun 21 00:56:01 2014
 36  0    WarmRst      AssrtHR      0x00000F10 0x53A4DCD7 Sat Jun 21 01:16:07 2014 

بطاقة عالقة في حالة غير معروفة

عندما تشير البطاقة إلى حالة Admin كغير معروفة، من المحتمل أن CCC لا يستطيع قراءة IDPROM من اللوحة، لذلك، البطاقة لن تكون قادرة على إكمال التمهيد. لمثل هذه الأمثلة، قم بتنفيذ هذه الأوامر على الموقع المحدد:

RP/0/RP0/CPU0:A41-PE1#show platform

 Node name         Node type             Node state       Admin state   Config state
 -----------------------------------------------------------------------------------
 0/RP1             NC6-RP                OPERATIONAL      UNKNOWN 
 0/FC1             NC6-FC                OPERATIONAL      UNKNOWN

 sysadmin-vm:F0_SC0# show controller ccc event-history brief location 0/0
 
 CCC Card Event History for: 0/0
   
 Card Event History as seen by Master (0/RP1)
   Current State: CARD_READY
 
   DATE   TIME (UTC)    STATE                   EVENT                           
   -----  ------------  ----------------------  ------------------------------
             
   10/02  15:16:54.194  READ_IDPROM             ev_idprom_available       
   10/02  15:16:53.942  GET_CCC_INFO            ev_get_ccc_info_done            
   10/02  15:16:53.723  WAIT_ETH_READY          ev_eth_available                
   10/02  15:16:52.560  CHECK_UBLAZE_BOOT       ev_ublaze_boot_ok               
   10/02  15:16:52.539  WAIT_CCC_READY          ev_ccc_ready                    
   10/02  15:16:52.537  IDLE                    ev_presence_scan                

الخطوة التالية أن يدقق إن يركض CCC على ال LC في وقت التمهيد عملية مع إستعمال وحدة طرفية للتحكم:

1. اجمع معرف العملية في SysadminVM:

sysadmin-vm:F0_SC0# show processes ccc_driver location 0/0

 ----------------------------------------------------------------------
                      PID: 2525 
          Executable path: /opt/cisco/calvados/packages/ncs6k-sysadmin-boot-5.2.4.CSCut24295  .all-1.0.0/sbin/ccc_driver
               Instance #: 0
                  Respawn: ON
            Respawn count: 1
   Max. spawns per 4 mins: 4
             Last started: 10/02/2015 15:17:23.000
            Process state: Run 
             startup_path: /opt/cisco/calvados/packages/ncs6k-sysadmin-boot-5.2.4.CSCut24295  .all-1.0.0/etc/startup/ccc_driver.startup
                    Ready: 5s

2. وحدة التحكم في الوصول إلى عنصر التحكم في الوصول (LC) باستخدام هذه الأوامر:

sysadmin-vm:F0_SC0# attach location 0/RP0 
 
 [sysadmin-vm:0_RP0:~]$ exec chvrf 2 bash
 [sysadmin-vm:0_RP0:~]$ chvrf 0 bash
 [sysadmin-vm:0_RP0:~]$ /opt/cisco/calvados/sbin/rconsole -l 0/0
 Connecting to location 0/0 (backplane-slotid 16, console 0)
 Escape sequence is "end"
 Waiting for card info from CCC-driver for slot 16
 Got card info from CCC-driver for slot 16
 IOS Build Date : 04/22/2015 by lchinnad
 System Memory Speed : 1334 MHz
 Processor Type : Intel(R) Xeon(R) CPU E5-2418L @ 2.00GHz
 
 Press F12 to goto Boot Manager..
 
 Booting System Host OS..
 Waiting For CCC Valid Time of Day..
 Waiting For CCC Valid Time of Day..
 CCC Time: Fri Oct 2 15:16:54 2015
 
 GNU GRUB version 2.00
 Press F2 to goto grub Menu..
 Booting from Disk..
 Loading Kernel..
 Loading initrd..
 [    1.949229] i8042: No controller found
 Starting udev: [  OK  ]
 Switching to new root and running init.
 Starting udev: [  OK  ]
 Actual changes:
 large-receive-offload: off [requested on]
 ntuple-filters: on
 Setting hostname host:  [  OK  ]
 Checking filesystems:[  OK  ]
 Entering non-interactive startup
 Bringing up loopback interface:  [  OK  ]
 Bringing up interface eth0:  Device eth0 does not seem to be present, delaying initialization.
 [FAILED]
 Starting system logger: [  OK  ]
 Starting kernel logger: [  OK  ]
 Starting kdump:[  OK  ]
 Starting system message bus: [  OK  ]
 Starting smartd: [  OK  ]
 Generating SSH1 RSA host key: [  OK  ]
 Generating SSH2 RSA host key: [  OK  ]
 Generating SSH2 DSA host key: [  OK  ]
 Starting sshd: [  OK  ]
 Starting xinetd: [  OK  ]
 Starting crond: [  OK  ]
 Starting libvirtd daemon: [  OK  ]
 Starting NCS6k programs for LC on hostos: [  OK  ]
 mcelog start/running, process 2637
 Creating default host password file
 serial (/dev/ttyserial (/dev/ttyS1) start/running, process 2649
 
 host login: root
 Password: 
 [host:~]$ 
 [host:~]$ 
 [host:~]$ telnet 0 50001 <-- to get to Calvados 
 Trying 0.0.0.0...
 Connected to 0.
 Escape character is '^]'.
 
 sysadmin-vm:0_0 login: 
 sysadmin-vm:0_0 login: root
 Password: 
 
 [sysadmin-vm:0_0:~]$ pgrep ccc  <- use pgrep to check if the process is running 
 2525 
 [sysadmin-vm:0_0:~]$ exit
 logout

إستخدام أداة وحدة التحكم RCONSOLE

عندما تكون البطاقات غير قادرة على التمهيد، فإن NCS6008 يوفر ميزة مضمنة تعطي القدرة على تنفيذ وحدة التحكم عن بعد على البطاقة ومعرفة سبب توقف البطاقة وعدم قدرتها على التمهيد. تسمى هذه الميزة RCONSOLE وهنا مثال على إستخدامها.

الإجراء إلى وحدة التحكم على LC معين:

1. انتقل إلى SysadminVM
2. إرفاق إلى RP النشط.
3. التغيير إلى VRF العالمي CHVRF 0 Bash
4. التنفيذ /opt/cisco/calvados/sbin/rconsole -l (بطاقة الخط)

مثال:

RP/1/RP1/CPU0:6008-B#admin
sysadmin-vm:F0_SC0#
 sysadmin-vm:F0_SC0# attach location 0/RP0 <-- You must be connected to the RP's to be able to rconsole 
 Tue Oct  20 18:23:54.740 UTC
 [sysadmin-vm:0_RP0:~]$ exec chvrf 2 bash
 [sysadmin-vm:0_RP0:~]$ chvrf 0 bash
 [sysadmin-vm:0_RP0:~]$ /opt/cisco/calvados/sbin/rconsole -l 0/0 ß This is LC 0/0 
 Connecting to location 0/0 (backplane-slotid 16, console 0)
 Escape sequence is "end"
 Waiting for card info from CCC-driver for slot 16

يستخدم هذا الإجراء بشكل واسع من قبل TAC لتحديد الحالة الحالية للبطاقة والتحقق من مكان تعطلها.

قائمة الأوامر التي سيتم تجميعها قبل فتح حالة مركز المساعدة الفنية

الطراز XR VM:

إظهار النظام الأساسي
إظهار التثبيت النشط
show version
إظهار موقع محفوظات إعادة التشغيل 0/0/cpu0
dir misc/disk1
إظهار تفاصيل محفوظات واجهة سطر الأوامر
إظهار السجل
show tech-support npu


SysAdmin VM:

إظهار تفاصيل النظام الأساسي
إظهار شرائح النظام الأساسي
إظهار التثبيت النشط
show sdr default-sdr reboot-history
إظهار موقع بطاقة محفوظات إعادة التشغيل <>
show controller ccc reset-history onbo loc <>
show controller ccc reset-history onch loc <>
show controller ccc event-history detail موقع <>
show tech-support ccc
إظهار مراكز الدعم الفني
show tech-support slice_manager
إظهار تتبع الدعم الفني
show tech-support sdr_mgr
إظهار السجل