أستكشاف أخطاء عمليات النسخ المتماثل بين الحوامل وإصلاحها مع رمز الخطأ "؛424-Geo-replication Checksum mismatch"؛

المقدمة

يصف هذا المستند طرق التحقيق المختلفة لاستكشاف أخطاء المجموع الاختباري للنسخ المتماثل الجغرافي وإصلاحها بين الحوامل المحلية والحوامل البعيدة.

المتطلبات الأساسية

المتطلبات

توصي Cisco بأن تكون لديك معرفة بالمواضيع التالية:

• تكرار جغرافي في وظيفة إدارة الجلسات (SMF)
• SMF
• إنهاء اتصال بروتوكول التحكم في الإرسال (TCP)

المكونات المستخدمة

لا يقتصر هذا المستند على إصدارات برامج ومكونات مادية معينة.

تم إنشاء المعلومات الواردة في هذا المستند من الأجهزة الموجودة في بيئة معملية خاصة. بدأت جميع الأجهزة المُستخدمة في هذا المستند بتكوين ممسوح (افتراضي). إذا كانت شبكتك قيد التشغيل، فتأكد من فهمك للتأثير المحتمل لأي أمر.

معلومات أساسية

ما هو التكرار الجغرافي في SMF؟

• تدعم الشركات صغيرة ومتوسطة الحجم (SMF) التكرار الجغرافي (GR) في الوضع النشط.

• كما أن إعداد GR مسؤول عن نسخ etcd/cache البيانات نسخا متماثلا إلى حامل الاستعداد.

• يدعم SMF التكرار الأساسي/الاحتياطي حيث يتم نسخ البيانات من المثيل الأساسي إلى الاحتياطي.

• في حالة فشل المثيل الأساسي، يصبح المثيل الاحتياطي هو المثيل الأساسي ويتولي العملية.

• ولتحقيق الاستجابة السريعة، يمكن إعداد إثنين من الأزواج الأساسية/الاحتياطية حيث يقوم كل موقع بمعالجة حركة مرور البيانات بشكل فعال ويعمل الاستعداد كنسخة إحتياطية للموقع البعيد.

Pod للنسخ المتماثل الجغرافي

• يتم إدخال POD للنسخ المتماثل الجغرافي للاتصال بين الحوامل/المواقع ولمراقبة POD/BFD داخل الحامل

• وجود وحدتين من GR-POD يتم تشغيلهما على كل حامل/موقع

• يعمل جهازا GR POD في وضع الاستعداد النشط

• يتم إنشاء GR PODs على عقدة Proto/VM

• يستخدم GR POD عنوانين ظاهريين لبروتوكول الإنترنت (IP)

• الشخصيات المهمة الداخلية للتواصل بين مجموعات توصيل المعلومات (داخل الحامل)

• شخصيات مهمة خارجية للتواصل بين الحوامل/المواقع عبر محرك الأقراص (GR)

• يمكن أن تكون الشخصيات المهمة التي تم تكوينها ل GR POD نشطة على إحدى عقدة Proto/VM

• عند إعادة التشغيل النشطة لمعرف فئة المورد (GR)، يتم تحويل ميزة "هام" إلى عقدة بروتو/جهاز افتراضي (VM) أخرى، كما يمكن أن يصبح تشغيل GR POD في وضع الاستعداد على عقدة بروتو/الجهاز الظاهري الأخرى نشطا

 تكوين مرجع GR POD:

smf# show running-config instance instance-id 1 endpoint geo
Thu Oct  20 06:25:25.319 UTC+00:00
instance instance-id 1
endpoint geo
replicas 1
nodes    2
interface geo-internal
vip-ip a.b.c.d vip-port 7001
exit
interface geo-external
vip-ip Y.Y.Y.Y vip-port 7002
exit
exit
exit

التعرف على نقطة الولوج النشطة في الموقع الجغرافي ومعرف نقطة الولوج في وضع الاستعداد

من أجل التعرف على Geo pod النشط، تحتاج إلى التحقق من الأخطاء أو الأحداث في سجلات Geo pod.

POD نشط:

user@smf-ims-master-1:~$ kubectl logs georeplication-pod-0 -n smf-smfix1|tail -3
[ERROR] [grcacachepod.go:339] [gr_deferred_sync.application.app] Periodic Sync: Total time taken to sync IPAM cache pod data: 500.563723ms”
[ERROR] [GeoAdminStreamClient.go:276] [gr_pod.geo_admin_client.app] no one waiting for received response for txnID:CP0XXXOKCP0XXX-SMF-IMS-smfix1111163550 of host=geo-admin-pod2

POD في وضع الاستعداد:

user@cp0xxx-smf-ims-master-1:~$ kubectl logs georeplication-pod-1  -n smf-smfix1|tail -3
 [ERROR] [gr_pod.geo_replication_client_stream] Counters =>  not an active geo pod
 [ERROR] [gr_pod.geo_replication_client_stream] Counters =>  not an active geo pod
 [ERROR] [gr_pod.geo_replication_client_stream] Counters =>  not an active geo pod

وظائف GR POD

GR PODS نسخة مماثلة من ETCD وذاكرة التخزين المؤقت Pod البيانات عبر الموقع

لعرض تفاصيل النسخ المتماثل لبيانات ETCD وذاكرة التخزين المؤقت-pod، أستخدم CLI (واجهة سطر الأوامر):

[cp0xxx-smf-ims/smfix1] smf# show georeplication checksum instance-id 1
Thu Oct  20 07:11:52.409 UTC+00:00
checksum-details
--    ----           --------
ID      Type        Checksum
--    ----           -------
1     ETCD            1666249907
      IPAM CACHE      1666249907
      NRFMgmt CACHE   1666249907

الاحتفاظ بأدوار المثيلات المحلية للموقع في ETCD

[ERROR] [gr_pod.gradmin] updateEntryInEtcd: Updating etcd entries for keys : Instance.2, with role as PRIMARY
[ERROR] [gr_pod.gradmin] updateEntryInEtcd: Updating etcd entries for keys : Instance.1, with role as STANDBY

مراقبة حالة الموقع المحلي (حالة POD/حالة BFD)

[cp0xxx-smf-ims/smfix1] smf# show running-config geomonitor podmonitor pods smf-service
Thu Oct  20 07:36:41.280 UTC+00:00
geomonitor podmonitor pods smf-service
retryCount            2
retryInterval         900
retryFailOverInterval 500
failedReplicaPercent  60

أدوار الموقع

PRIMARY : الموقع جاهز ويأخذ حركة مرور البيانات بشكل نشط للمثيل المحدد.

STANDBY: الموقع في وضع الاستعداد، جاهز لنقل حركة المرور ولكنه لا يأخذ حركة مرور لمثيل معين.

STANDBY_ERROR: الموقع في مشكلة، وغير نشط وغير جاهز لأخذ حركة مرور لمثيل معين.

FAILOVER_INIT: لقد بدأ الموقع في تجاوز الفشل وهو ليس في الحالة التي تسمح له بتلقي حركة مرور البيانات، وقت المخزن المؤقت لمرتين لإتمام التطبيق لنشاطه.

FAILOVER_COMPLETE: أكمل الموقع تجاوز الفشل وحاول إعلام موقع النظير بشأن تجاوز الفشل للمثيل المحدد. وقت المخزن المؤقت ل 2S.

FAILBACK_STARTED: يتم تشغيل تجاوز الأعطال اليدوي بتأخير من الموقع البعيد لمثيل معين.

ملاحظة: يمكن إجراء النسخ المتماثل لذاكرة التخزين المؤقت/ETCD والنسخ المتماثل ل CDL حتى في جميع الأدوار. إذا كانت إرتباطات GR معطلة/فشل نبضات القلب الدورية، يتم إيقاف مشغلات GR مؤقتا.

مشغلات GR

CLI للتحقق من أدوار مثيل GR على الحامل

Show role instance id 1
Show role instance id 2

CLI لإعادة تعيين الدور من خطأ في الاستعداد إلى إستعداد

Geo reset-role instance-id <1/2> role standby

CLI إلى تبديل دور من إستعداد إلى إستعداد خطأ

Geo switch-role instance-id <1/2>  role standby failback-interval 0

CLI إلى تبديل دور من إستعداد إلى أساسي

لبدء دور المحول هذا، يلزمك تشغيل CLI من الحامل الذي يحتوي على أحد المثيلات كأساسي.

Geo switch-role instance-id <1/2>  role standby failback-interval 0

ملاحظة: سيناريو يوم مشمس: Rack1-instance1-أساسي، Instance2-في وضع الاستعداد؛ الخادم المركب على حامل 2-Instance1-StandBy، المثيل 2-أساسي.
سيناريو اليوم الممطر: Rack1-instance 1 و Instance 2-Primary، Rack2-instance 1 and Instance 2-StandBy.

إنهاء اتصال TCP

بروتوكول TCP هو بروتوكول موجه نحو الاتصال، مما يعني إنشاء اتصال وصيانته حتى تنتهي برامج التطبيق في كل نهاية من تبادل الرسائل. يعمل بروتوكول TCP مع بروتوكول الإنترنت (IP).

تعرف مصافحة بروتوكول TCP أيضا باسم مصافحة ثلاثي الإتجاه. عند بدء اتصال من جهاز العميل إلى جهاز الخادم، يتم إرسال حزم SYN و ACK الخاصة بتبادل العميل والخادم قبل إرسال البيانات.

بروتوكول التحكم في الإرسال: حالات اتصال العميل والخادم

تتقدم الوصلة عبر سلسلة من الحالات طوال حياتها. الولايات هي: LISTEN، SYN-SENT SYN-RECEIVED، ESTABLISHED، FIN-WAIT-1FIN-WAIT-2،CLOSE-WAITCLOSING، LAST-ACK، TIME-WAIT، والحالة CLOSEDالخيالية.

• عند فتح اتصال TCP جديد، يرسل العميل (البادئ) SYN حزمة إلى الخادم (المتلقي) ويحدث حالته إلى SYN-SENT.
• يرسل الخادم بعد ذلك ردا SYN-ACK على العميل الذي يغير حالة إتصاله إلى SYN-RECEIVED.

• فيرد العميل ACK ويوضع علامة على الاتصال كنقطة ESTABLISHED نهاية على حد سواء، والآن أصبح العميل والخادم جاهزين لنقل البيانات.

• يرسل العميل FIN حزمة إلى الخادم ويحدث حالته إلى FIN-WAIT-1.
• يتلقى الخادم طلب الإنهاء من العميل ويستجيب مع ACK. بعد الرد، يدخل الخادم في حالة CLOSE-WAIT ما.
• بمجرد أن يتلقى العميل الرد من الخادم، ينتقل بعد ذلك إلى FIN-WAIT-2 الحالة.
• الخادم لا يزال في CLOSE-WAIT الحالة وهو يتعامل بشكل مستقل مع FIN، الذي يقوم بتحديث الحالة إلى LAST-ACK.
• والآن، يتلقى العميل طلب الإنهاء ويرد على الطلب ACKالذي يؤدي إلى ظهور TIME-WAIT حالة.
• انتهى الخادم الآن ويقوم بتعيين الاتصال على CLOSED الفور.
• يبقى العميل في TIME-WAIT الولاية لمدة أقصاها أربع دقائق، قبل الاتصال، CLOSED.

المشكلة 

السيناريو 1. يحتوي المجموع الاختباري للنسخ المتماثل الجغرافي للمعرف المثيل 1 على ذاكرة تخزين مؤقت لذاكرة التخزين المؤقت لذاكرة التخزين المؤقت ل IPAM وذاكرة تخزين مؤقت ل NRFMgmt غير متطابق

فشلت حالة النسخ المتماثل الجغرافي ل smfix1/smfix2 (فشل النسخ المتماثل بين الحوامل إلى الموقع البعيد).

الخطأ : فشل الأمر admin [pod internal-gr-pod-1، url http://X.X.0.0:15290/commands] مع الرمز 424، فشل الرسالة: عدم تطابق المجموع الاختباري للنسخ المتماثل.

ولوحظت هذه المسألة في 23 آب/أغسطس في الساعة 00:36:19 نظرا لفشل النسخ المتماثل بين الحوامل.

From CEE alerts:
Inter_Rack_Replication  9ca45362a049  critical  08-23T00:36:19  System 
Inter rack replication to Remote Site failed  

من إخراج واجهة سطر الأوامر (CLI) هذا، يمكنك أن ترى معرف المثيل 1 لديه عدم تطابق المجموع الاختباري لإدارة عنوان IP (IPAM) وذاكرة التخزين المؤقت ل NRF.

[cp0xxx-smf-ims/smfix1] smf# show georeplication checksum instance-id 1
Mon Sep  5  08:38:27.762 UTC+00:00
checksum-details
--   ---               --------                 
ID    Type              Checksum
--   ----               --------
1       ETCD            1662367102
        IPAM   CACHE    1662367102
        NRFMgmtCACHE    1662367102

[cp0xxx-smf-ims/smfix2] smf# show georeplication checksum instance-id 1
Mon Sep  5  08:38:30.767 UTC+00:00
checksum-details
--    ----              --------
ID     Type             Checksum
--     ----             --------
1      ETCD             1662367102
       IPAM   CACHE     1661214831
       NRFMgmtCACHE     1661214831

السيناريو 2. يحتوي المجموع الاختباري للنسخ المتماثل الجغرافي لمعرف المثيل 2 على عدم تطابق المجموع الاختباري ل ETCD

[cp0xxx-smf-ims/smfix1] smf# show georeplication checksum instance-id 2
Mon Sep  5  08:38:37.852 UTC+00:00
checksum-details
--     ----         --------
ID     Type             Checksum
--     ----           --------
2      ETCD           1661214828
       IPAM   CACHE   1662367107
       NRFMgmtCACHE   1662367107

[cp0xxx-smf-ims/smfix2] smf# show georeplication checksum instance-id 2
Mon Sep  5  08:38:39.118 UTC+00:00
checksum-details
--      ----          -------
ID     Type           Checksum
--     ----           --------
2      ETCD           1662367107
       IPAM   CACHE   1662367107
       NRFMgmtCACHE   1662367107

السيناريو 3. فشل إنشاء اتصال TCP مع الموقع البعيد

الحامل 1-smfix1-log:

من سجلات GR Pod، يمكنك ملاحظة إيقاف التحقق من Update Cache Pod Checkpoint، فشل النسخ المتماثل الفوري ولا يتوفر أي مضيف بعيد. 

2022/08/23 00:34:00.035  [ERROR] [grreplicationclient.go:201] [gr_pod.geo_replication_client_stream.app] HandleImmediateReplication failed: [RPCNoRemoteHostAvailable] No remote host available for this request
2022/08/23 00:34:02.086  [ERROR] [grreplicationclient.go:466] [gr_pod.geo_replication_client_stream.app] Stream disconnected, closing logQueueCounter=0xc0093b08b0
2022/08/23 00:34:04.124  [ERROR] [GeoAdminStreamClient.go:215] [gr_pod.geo_admin_client.app] ADMIN(geo-admin-pod2) : exit outgoing request loop stream closed
2022/08/23 00:34:43.623  [ERROR] [grreplicationclient.go:270] [gr_pod.geo_replication_client_stream.app] Update etcd checkpointing stopped for grinstance: 1

2-smfix2-log للحامل:

 من سجلات GR Pod، يمكنك ملاحظة خطأ قطع اتصال الدفق وفرق المجموع الاختباري لذاكرة التخزين المؤقت أكثر من المتوقع.

2022/08/23 00:34:06.497  [ERROR] [grreplicationserver.go:62] [gr_pod.geo_replication_server_stream.app] Stream disconnected, closing logQueueCounter=0xc001b85d08
2022/08/23 00:34:06.497  [ERROR] [grreplicationserver.go:314] [gr_pod.geo_replication_server_stream.app] handleCachePodSyncRequests : Stream closed of connection=0xc002ee08f0
2022/08/23 00:34:56.751  [ERROR] [grpodcommands.go:455] [gr_pod.cli_command.app] compareChecksumData: CACHE checksum difference is more then expected, local checksum [1661214831] remote checksum [1661214892]
2022/08/23 00:34:56.678  [ERROR] [etcdAuditReplHandler.go:196] [gr_pod.application.app] SyncETCDData periodic sync : For ETCD [C.GR.1.] key, the remote site data size is: [10833]
2022/08/23 00:36:56.757  [ERROR] [grpodcommands.go:455] [gr_pod.cli_command.app] compareChecksumData: CACHE checksum difference is more then expected, local checksum [1661214831] remote checksum [1661215012]

السيناريو 4. تم ملاحظة خطأ DIMM على الخادم الذي يستضيف العقدة الرئيسية

يظهر خطأ ECC على العقدة master-1 التي تستضيف Geo-replication-pod-0 في نفس وقت خطأ فصل الدفق.

CP0XXX-Server9-02# scope sel
CP0XXX-Server9-02 /sel # show entries
Time                    Severity      Description                             
----------------------- ------------- ----------------------------------------
2022-08-23 00:33:59 UTC Informational "DDR4_P1_E1_ECC: Memory sensor, read 1 correctable ECC errors on CPU1 DIMM E1 was asserted" 
2022-08-22 22:59:45 UTC Informational "DDR4_P1_E1_ECC: Memory sensor, read 1 correctable ECC errors on CPU1 DIMM E1 was asserted"

• تم قطع الاتصال بين Geo-replication-pod الموجود على الحامل 1 و Geo-replication-pod الموجود على الحامل 2.

• يحدث خطأ DIMM في إحدى العقد الرئيسية مما أدى إلى تعطل اتصال الدفق بين الحامل 1 والحامل 2.

• من Rack1 لم يتمكن Geo-replication-pod من النسخ المتماثل أو إرسال أي طلب إلى Rack2، وينتج عن ذلك خطأ عدم توفر Remote Host (المضيف البعيد).

• من مخرجات الأمر NetStat على الحامل1 والحامل 2 لمنفذ 7002، وجد أن مأخذ Rack1 معلق في حالة FIN_WAIT1 وأن مأخذ Rack2 معلق في حالة SYN_RECV.

• وعلى جانب الخادم، أي على الحامل 2، فإن مأخذ التوصيل يعلق في حالة SYNC_RECV، كما أن الاتصال الذي تم إنشاؤه حديثا يدخل أيضا في حالة SYNC_RECV ولا يمكنه الاتصال ببعضهما البعض.

• الاتصال في حالة SYN_RECV لأن kernel قد تلقى حزمة SYN لمنفذ ما، أي في وضع "الاستماع"، ولكن الطرف الآخر لم يرد باستخدام ACK.

تم تثبيت SMFIX2-Master-2 على VIP الخارجي (Y.Y.Y:7002) ولكن حالة اتصال TCP للمضيف البعيد (SMFIX1) عالقة في حالة SYN_RECV بدلا من الحالة التي تم إنشاؤها. A.b.c.d و a.b.c.e هما Master-1 و 2 ip's من smfix1 (rack1). 

user@cp0xxx-smf-ims-master-2:~$ netstat -anp | grep 7002
tcp        0      0 Y.Y.Y.Y:7002       0.0.0.0:*            LISTEN      -                  
tcp        0      0 Y.Y.Y.Y:7002       a.b.c.e:35542        SYN_RECV    -               
tcp        0      0 Y.Y.Y.Y:7002       a.b.c.d:47046        SYN_RECV    -                
tcp        0      0 Y.Y.Y.Y:7002       a.b.c.e:36248        SYN_RECV    -               
tcp        0      0 Y.Y.Y.Y:7002       a.b.c.d:42686        SYN_RECV    -                   
tcp        0      0 Y.Y.Y.Y:7002       a.b.c.e:38248        SYN_RECV    -     

حالة اتصال VIP TCP الخارجي ب GEO على smfix1 (Rack1) للنظير البعيد في حالة FIN-WAIT1:

user@cp0xxx-smf-ims-master-1:~$ netstat -anp | grep 7002
tcp        0      0 a.b.c.d              0.0.0.0:*          LISTEN      -                  
tcp        0      1 a.b.c.d:60866        Y.Y.Y.Y:7002       FIN_WAIT1   -                  
tcp        0      1 a.b.c.d:52274        Y.Y.Y.Y:7002       FIN_WAIT1   -                   
tcp        0      1 a.b.c.d:59674        Y.Y.Y.Y:7002       FIN_WAIT1   -                   
tcp        0      1 a.b.c.d:47926        Y.Y.Y.Y:7002       FIN_WAIT1   -     

الحل

 الحامل 1: 

• قم أولا بحذف Geo pod من وضع الاستعداد، وانتظر أن يسترد Pod وضعه، ثم احذف Active Geo Pod. سجل الدخول إلى الشخصية المهمة الرئيسية واحذف GR Pod:

kubectl delete pod  -n 

الحامل 2: 

• أولا، احذف Geo pod الاحتياطي، وانتظر حتى يسترد Pod، ثم احذف Active Geo Pod.

• تحقق من حالة النسخ الجغرافي من واجهة سطر الأوامر (CLI)، ثم بعد حذف نقاط وصول Geo.

show georeplication-status

• بعد حذف Geo Pod على الحامل1 والحامل 2، يمكنك مشاهدة IP الخارجي الخاص بمؤشر GEO VIP: ينتقل منفذ TCP إلى الحالة المحددة.
• حالة الاستنساخ الجغرافي "Pass".
• لم يتم ملاحظة عدم تطابق المجموع الاختباري في حالة النسخ المماثل عبر الحوامل.

smfix2 (حامل 2):

user@cp0xxx-smf-ims-master-1:~$ sudo netstat -anp | grep 7002 | grep -v aa
tcp        0      0 Y.Y.Y.Y:7002       0.0.0.0:*            LISTEN      36854       
tcp        0      0 Y.Y.Y.Y:7002       a.b.c.d:46402        ESTABLISHED 36854/grpod        
tcp        0      0 Y.Y.Y.Y:7002       1a.b.c.e:54708       ESTABLISHED 36854/grpod        
tcp        0      0 Y.Y.Y.Y:7002       a.b.c.d:55152        ESTABLISHED 36854/grpod        
tcp        0      0 Y.Y.Y.Y:7002       a.b.c.e:46530        ESTABLISHED 36854/grpod        
tcp        0      0 10.59.0.0:7002       10.59.0.0:46532    ESTABLISHED 36854/grpod        

smfix1 (حامل 1):

user@cp0xxx-smf-ims-master-1:~$ sudo netstat -anp | grep 7002 | grep -v aa
tcp        0      0 a.b.c.d              0.0.0.0:*          LISTEN      53932/grpod        
tcp        0      0 a.b.c.d:46530        Y.Y.Y.Y:7002       ESTABLISHED 53932/grpod        
tcp        0      0 a.b.c.d:46402        Y.Y.Y.Y:7002       ESTABLISHED 53932/grpod        
tcp        0     17 a.b.c.d:46532        Y.Y.Y.Y:7002       ESTABLISHED 53932/grpod             

2. حالة النسخ الجغرافي:

[okcp0xx-smf-ims/smfix1] smf# show georeplication-status             
result "pass"
[okcp0xx-smf-ims/smfix2] smf# show georeplication-status
result "pass"