Probleemoplossing voor hardwareproblemen in 5G SMI CNDP-cluster en onderhoud uitvoeren

Downloadopties

  • PDF     (129.7 KB)
    Met Adobe Reader op diverse apparaten bekijken
  • ePub     (90.8 KB)
    Bekijken in diverse apps op iPhone, iPad, Android, Sony Reader of Windows Phone
  • Mobi (Kindle)     (82.8 KB)
    Op Kindle-apparaat of via Kindle-app op meerdere apparaten bekijken
Bijgewerkt:13 januari 2022
Document-id:217633

Inclusief taalgebruik

De documentatie van dit product is waar mogelijk geschreven met inclusief taalgebruik. Inclusief taalgebruik wordt in deze documentatie gedefinieerd als taal die geen discriminatie op basis van leeftijd, handicap, gender, etniciteit, seksuele oriëntatie, sociaaleconomische status of combinaties hiervan weerspiegelt. In deze documentatie kunnen uitzonderingen voorkomen vanwege bewoordingen die in de gebruikersinterfaces van de productsoftware zijn gecodeerd, die op het taalgebruik in de RFP-documentatie zijn gebaseerd of die worden gebruikt in een product van een externe partij waarnaar wordt verwezen. Lees meer over hoe Cisco gebruikmaakt van inclusief taalgebruik.

Over deze vertaling

Cisco heeft dit document vertaald via een combinatie van machine- en menselijke technologie om onze gebruikers wereldwijd ondersteuningscontent te bieden in hun eigen taal. Houd er rekening mee dat zelfs de beste machinevertaling niet net zo nauwkeurig is als die van een professionele vertaler. Cisco Systems, Inc. is niet aansprakelijk voor de nauwkeurigheid van deze vertalingen en raadt aan altijd het oorspronkelijke Engelstalige document (link) te raadplegen.

    Inleiding


    Dit document beschrijft de procedure voor het uitvoeren van onderhoud (hardwarevervanging of onderhoud), zoals een upgrade van firmware (FW), enzovoort, in 5G Subscriber Microservices Infrastructuur (SMI) Cloud Native Deployment Platform (CNDP) Pool of Devices (POD).

    Voorwaarden

    Vereisten

    Cisco raadt kennis van de volgende onderwerpen aan:

    • Cisco SMI
    • 5G CNDPA of SMI-Bare-metal (BM) architectuur
    • Dockers en kubernetes
    • Cisco UCS C220 Series-servers

    Gebruikte componenten

    De informatie in dit document is gebaseerd op de volgende software- en hardware-versies:

    • SMI 2020.02.2.35
    • Kubernetes v1.21.0
    • Cisco UCS C220-M5 SX-CM

    De informatie in dit document is gebaseerd op de apparaten in een specifieke laboratoriumomgeving. Alle apparaten die in dit document worden beschreven, hadden een opgeschoonde (standaard)configuratie. Als uw netwerk levend is, zorg er dan voor dat u de mogelijke impact van om het even welke opdracht begrijpt.

    Achtergrondinformatie

    Wat is SMI?

    Cisco SMI is een gelaagde stapel cloudtechnologieën en standaarden die op microservices gebaseerde toepassingen mogelijk maken van Cisco Mobility, Cable en BNG-bedrijfseenheden - die allemaal vergelijkbare functies voor abonneebeheer en soortgelijke datastore-vereisten hebben.

    Kenmerken:

    • Layer Cloud Stack (technologieën en standaarden) om top-to-bottom implementaties te bieden en ook bestaande cloudinfrastructuur van de klant aan te passen.
    • Gemeenschappelijk Uitvoeringsmilieu gedeeld door alle toepassingen voor niet-toepassingsfuncties (gegevensopslag, opstellen, configureren, telemetrie, alarm). Dit biedt een consistente interactie en ervaring voor alle klanten aanraakpunten en integratiepunten.
    • Toepassingen en Common Executive Environment worden ingezet in microservice containers en aangesloten op een intelligente servicemateriaal.
    • Gemengde API voor plaatsing, configuratie en beheer, om automatisering mogelijk te maken.

    Wat is SMI-BM of CNDP?

    Cisco SMI-Bare Metaal of CNDP is een beveiligd metalen platform dat de infrastructuur biedt om Virtual Network Functions (VPN) en Cloud-Native Functions (CNF) te implementeren, Cisco Mobility, Cable en BNG-eenheden mogelijk maakt.

    Kenmerken:

    • Bare metalen apparatuur die de VIM-gerelateerde overhead elimineert
    • Verbeterde prestaties
      • Meer cores voor de toepassing
      • Snellere uitvoering van toepassing
    • Geautomatiseerde implementatiewerktuigen; geïntegreerd met NSO-GVB
    • Curated Stack om Cisco 5G NF’s te implementeren 
    • Vereenvoudigde order- en implementatiehandleiding

    Wat is SMI Cluster Manager?

    Een clusterbeheerder is een gesloten cluster met twee knooppunten die als beginpunt wordt gebruikt voor zowel de toepassing van het besturingsplane als de toepassing van het gebruikerspatroon. Er wordt één knooppunt-kubernetes-cluster en een reeks POD's uitgevoerd die verantwoordelijk zijn voor de gehele clusterinstelling. Alleen de primaire clusterbeheerder is actief en de secundaire beheerder neemt alleen over in geval van een storing of wordt handmatig naar beneden gebracht voor onderhoud.

    Wat is SMI Cluster Deployment?

    SMI Deployer is een service in Cluster Manager die VM's kan maken, host OS kan aanpassen, K8s-cluster kan maken, K8s Master kan starten, cluster kan configureren en Apps kan lanceren, enz.

    Probleem 

    Het onderhoud van hardware, zoals hardware-uitval of software/fw-upgrade, enz., moet in de servers worden uitgesteld. Welke procedure moet worden gevolgd voor onderhoud dat in de POD moet worden uitgevoerd. Hoe de diensten op elegante wijze te stoppen om ongewenste downtime in de toepassing te voorkomen.

    Onderhoudsprocedure

    Verkrijg de clustermanager VIP, Kubernetes master VIP (voor de respectieve toepassing), UCS CIMC IP, UCS CIMC Name, en de server hostname (OS hostname) waarin onderhoud moet worden uitgevoerd.

    Aanmelden bij de kubernetes-master komt overeen met de service en controleer of alle POD's in bedrijf zijn.

    Uitvoer van monster:

    cloud-user@pod-name-smf-data-master-1:~$ kubectl get pods -A | grep -v Running
    NAMESPACE NAME READY STATUS RESTARTS AGE

    2. Meld u aan bij de clustermanager en richt u op het midden van de SMI-cluster (hier is de procedure om het IP-centrum van het OPS-centrum te vinden).

    kubectl get svc -n $(kubectl get ns | grep -i smi-cm | awk '{print $1}') | grep ^ops-center  
    (Here "smi-cm" is the namespace in which cluster deployer is hosted and the "ops-center" is the starting name of the cluster deployer service name which is "ops-center-smi-cluster-deployer" these names can vary based on the environment setup)

    Uitvoer van monster:

    cloud-user@tp-tam-deployer-cm-primary:~$ kubectl get svc -n $(kubectl get ns | grep smi-cm | awk '{print $1}') | grep ^ops-center
    ops-center-smi-cluster-deployer ClusterIP 10.100.x.x <none> 8008/TCP,2024/TCP,2022/TCP,7681/TCP,3000/TCP,3001/TCP 154d

    3. Meld u aan bij deze opdracht.

    ssh -p 2024 admin@10.100.x.x
    (2024 is the port used to connect to cluster deployer)

    4. Controleer of de diensten overeenkomen met de toepassing met de opdracht show clusters.

    Uitvoer van monster:


    Welcome to the Cisco SMI Cluster Deployer on tp-tam-deployer-cm-primary
    Copyright © 2016-2020, Cisco Systems, Inc.
    All rights reserved.

    admin connected from 192.x.x.x using ssh on ops-center-smi-cluster-deployer-5cdc5f94db-bnxqt
    [tp-tam-deployer-cm-primary] SMI Cluster Deployer# show clusters
    LOCK TO 
    NAME VERSION 
    ----------------------------
    pod-name-smf-data - 
    pod-name-smf-ims - 
    pod1-name-smf-data - 
    pod1-name-smf-ims - 
    pod2-name-aio-1 - 
    pod2-name-aio-2 - 
    pod2-name-upf-data - 
    pod2-name-upf-ims -

    5. Pomp het knooppunt af waarin u onderhoud met deze opdrachten uitvoert en type Ja (dit evacueert u de POD's elegant en herstart u indien nodig in andere knooppunten).

    Uitvoer van monster:

    [cluster-name-cm-1] SMI Cluster Deployer# clusters cluster-name  nodes worker-11 actions sync drain remove-node true

    This will run drain on the node, disrupting pods running on the node. Are you sure? [no,yes] yes
    message accepted

    6. Verplaats het knooppunt naar de onderhoudsmodus met deze opdrachten (dit kan maximaal 30 minuten duren).

    Uitvoer van monster:

    [cluster-name-cm-1] SMI Cluster Deployer# config 
    Entering configuration mode terminal
    [cluster-name-cm-1] SMI Cluster Deployer(config)# clusters cluster-name 
    [cluster-name-cm-1] SMI Cluster Deployer(config-clusters-cluster-name)# nodes worker-11
    [cluster-name-cm-1] SMI Cluster Deployer(config-nodes-worker1)# maintenance true 
    [cluster-name-cm-1] SMI Cluster Deployer(config-nodes-worker1)# commit
    Commit complete.
    [cluster-name-cm-1] SMI Cluster Deployer(config-nodes-worker1)# end

    7. Controleer de bestanden op de status.

    clusters cluster-name nodes worker-11 actions sync logs 
    (In this we are dealing with the worker-11 node)

    Afvoer van monster (ingekort):

    logs 2022-01-03 06:04:02.755 DEBUG cluster_sync.cluster-name.worker-11: Cluster name: cluster-name

    2022-01-03 06:04:02.755 DEBUG cluster_sync.cluster-name.worker-11: Node name: worker-11

    2022-01-03 06:04:02.755 DEBUG cluster_sync.cluster-name.worker-11: debug: false

    2022-01-03 06:04:02.755 DEBUG cluster_sync.cluster-name.worker-11: remove_node: false


    PLAY [Check required variables] ************************************************

    TASK [Gathering Facts] *********************************************************

    Monday 03 January 2022  06:04:06 +0000 (0:00:00.014)       0:00:00.014 ********

    ok: [worker-11]

    ok: [worker-13]

    ok: [worker-11]

    ok: [worker-16]

    ok: [worker-18]

    ok: [worker-17]

    ok: [worker-12]

    ok: [worker-10]

    ok: [worker-19]

    ok: [worker-2]

    ok: [master-1]

    ok: [worker-11]

    ok: [worker-15]

    ok: [master-3]

    ok: [worker-20]

    ok: [worker-22]

    ok: [worker-21]

    ....


    TASK [Check node_name] *********************************************************

    Monday 03 January 2022  06:04:13 +0000 (0:00:07.086)       0:00:07.101 ********

    skipping: [master-1]

    skipping: [master-2]

    skipping: [master-3]

    skipping: [worker-1]

    skipping: [worker-10]

    skipping: [worker-11]

    skipping: [worker-12]

    skipping: [worker-13]

    skipping: [worker-11]

    skipping: [worker-15]

    skipping: [worker-16]

    skipping: [worker-17]

    skipping: [worker-18]

    skipping: [worker-19]

    skipping: [worker-2]

    skipping: [worker-20]

    skipping: [worker-21]

    skipping: [worker-22]

    .....


    PLAY [Wait for ready and ensure uncordoned] ************************************


    TASK [Cordon and drain node] ***************************************************

    Monday 03 January 2022  06:04:15 +0000 (0:00:01.116)       0:00:08.217 ********

    skipping: [master-1]

    skipping: [master-2]

    skipping: [master-3]

    skipping: [worker-11]

    skipping: [worker-10]

    skipping: [worker-12]

    skipping: [worker-13]

    skipping: [worker-1]

    skipping: [worker-15]

    skipping: [worker-16]

    skipping: [worker-17]

    skipping: [worker-18]

    skipping: [worker-19]

    skipping: [worker-2]

    skipping: [worker-20]

    skipping: [worker-21]

    skipping: [worker-22]

    .....




    TASK [upgrade/cordon : Cordon/Drain/Delete node] *******************************

    Monday 03 January 2022  06:04:16 +0000 (0:00:01.430)       0:00:09.647 ********

    changed: [worker-11 -> 10.192.x.x]




    PLAY RECAP *********************************************************************

    master-1                   : ok=1    changed=0    unreachable=0    failed=0    skipped=2    rescued=0    ignored=0   

    master-2                   : ok=1    changed=0    unreachable=0    failed=0    skipped=2    rescued=0    ignored=0   

    master-3                   : ok=1    changed=0    unreachable=0    failed=0    skipped=2    rescued=0    ignored=0   

    worker-11                   : ok=1    changed=0    unreachable=0    failed=0    skipped=2    rescued=0    ignored=0   

    worker-10                  : ok=1    changed=0    unreachable=0    failed=0    skipped=2    rescued=0    ignored=0   

    worker-11                  : ok=2    changed=1    unreachable=0    failed=0    skipped=1    rescued=0    ignored=0   

    worker-12                  : ok=1    changed=0    unreachable=0    failed=0    skipped=2    rescued=0    ignored=0   

    worker-13                  : ok=1    changed=0    unreachable=0    failed=0    skipped=2    rescued=0    ignored=0   

    worker-1                  : ok=1    changed=0    unreachable=0    failed=0    skipped=2    rescued=0    ignored=0   

    worker-15                  : ok=1    changed=0    unreachable=0    failed=0    skipped=2    rescued=0    ignored=0   

    worker-16                  : ok=1    changed=0    unreachable=0    failed=0    skipped=2    rescued=0    ignored=0   

    worker-17                  : ok=1    changed=0    unreachable=0    failed=0    skipped=2    rescued=0    ignored=0   

    worker-18                  : ok=1    changed=0    unreachable=0    failed=0    skipped=2    rescued=0    ignored=0   

    worker-19                  : ok=1    changed=0    unreachable=0    failed=0    skipped=2    rescued=0    ignored=0   

    worker-2                   : ok=1    changed=0    unreachable=0    failed=0    skipped=2    rescued=0    ignored=0   

    worker-20                  : ok=1    changed=0    unreachable=0    failed=0    skipped=2    rescued=0    ignored=0   

    worker-21                  : ok=1    changed=0    unreachable=0    failed=0    skipped=2    rescued=0    ignored=0   

    worker-22                  : ok=1    changed=0    unreachable=0    failed=0    skipped=2    rescued=0    ignored=0   

    .....  




    Monday 03 January 2022  06:04:17 +0000 (0:00:01.168)       0:00:10.815 ********

    ===============================================================================

    2022-01-03 06:04:17.957 DEBUG cluster_sync.cluster-name.worker-11: Cluster sync successful

    2022-01-03 06:04:17.958 DEBUG cluster_sync.cluster-name.worker-11: Ansible sync done

    2022-01-03 06:04:17.961 INFO cluster_sync.cluster-name.worker-11: _sync finished.  Opening lock

    8. Controleer het kubernetes hoofdknooppunt en controleer of de status van het werkknooppunt is gewijzigd.

    Uitvoer van monster:

    cloud-user@cluster-name-master-1:~$ kubectl get nodes

    NAME                 STATUS                     ROLES                  AGE    VERSION

    cluster-name-master-1    Ready                      control-plane,master   213d   v1.21.0

    cluster-name-master-2    Ready                      control-plane,master   213d   v1.21.0

    cluster-name-master-3    Ready                      control-plane,master   213d   v1.21.0

    cluster-name-worker-11    Ready                      <none>                 213d   v1.21.0

    cluster-name-worker-10   Ready                      <none>                 213d   v1.21.0

    cluster-name-worker-11   Ready,SchedulingDisabled   
     
      
                      213d 
        v1.21.0 
     

    cluster-name-worker-12   Ready                      <none>                 213d   v1.21.0

    cluster-name-worker-13   Ready                      <none>                 213d   v1.21.0

    cluster-name-worker-11   Ready                      <none>                 213d   v1.21.0

    9. In deze fase moet het knooppunt gereed zijn voor onderhoud (alle POD's moeten zijn verwijderd, behalve de pods die worden beheerd door daemonset/replicaset, enz. die kunnen worden genegeerd).

    10. Sluit de server van Cisco Integrated Management Console (CIMC) of een soortgelijke beheerconsole als de server tot een andere verkoper behoort en voer het hardwareonderhoud uit.

    Wanneer de server na het onderhoud weer online is en wanneer alle gezondheidscontroles groen zijn, voert u deze uit.

    11. Stel het werkknooppunt in op Onderhoud = "Faal" om terug te worden toegevoegd en voer een sync uit.

    Uitvoer van monster:

    [cluster-name-cm-1] SMI Cluster Deployer# config 
    Entering configuration mode terminal
    [cluster-name-cm-1] SMI Cluster Deployer(config)# clusters cluster-name 
    [cluster-name-cm-1] SMI Cluster Deployer(config-clusters-cluster-name)# nodes worker-11
    [cluster-name-cm-1] SMI Cluster Deployer(config-nodes-worker1)# maintenance false
    [cluster-name-cm-1] SMI Cluster Deployer(config-nodes-worker1)# commit
    Commit complete.
    [cluster-name-cm-1] SMI Cluster Deployer(config-nodes-worker1)# end

    12. Start de clustersync om het knooppunt op draaiing terug te brengen en klaar om te serveren.

    Monsteruitvoer (getrunkeerd):

    [cluster-name-cm-1] SMI Cluster Deployer# clusters cluster-name nodes worker-11 actions sync run debug true 
    This will run sync. Are you sure? [no,yes] yes
    message accepted

    PLAY [Wait for ready and ensure uncordoned] ************************************

    TASK [Wait for ready and ensure uncordoned] ************************************

    Monday 03 January 2022  07:12:35 +0000 (0:00:01.151)       0:09:42.974 ********

    skipping: [master-1] => (item=upgrade/wait-for-cluster-ready)

    skipping: [master-1] => (item=upgrade/uncordon)

    skipping: [master-2] => (item=upgrade/wait-for-cluster-ready)

    skipping: [master-2] => (item=upgrade/uncordon)

    skipping: [master-3] => (item=upgrade/wait-for-cluster-ready)

    skipping: [master-3] => (item=upgrade/uncordon)

    skipping: [worker-11] => (item=upgrade/wait-for-cluster-ready)

    skipping: [worker-11] => (item=upgrade/uncordon)

    skipping: [worker-10] => (item=upgrade/wait-for-cluster-ready)

    skipping: [worker-10] => (item=upgrade/uncordon)

    skipping: [worker-12] => (item=upgrade/wait-for-cluster-ready)

    skipping: [worker-12] => (item=upgrade/uncordon)

    skipping: [worker-13] => (item=upgrade/wait-for-cluster-ready)

    skipping: [worker-13] => (item=upgrade/uncordon)

    skipping: [worker-1] => (item=upgrade/wait-for-cluster-ready)

    skipping: [worker-1] => (item=upgrade/uncordon)

    ......

    skipping: [worker-3] => (item=upgrade/wait-for-cluster-ready)

    skipping: [worker-3] => (item=upgrade/uncordon)

    skipping: [worker-4] => (item=upgrade/wait-for-cluster-ready)

    skipping: [worker-4] => (item=upgrade/uncordon)

    skipping: [worker-5] => (item=upgrade/wait-for-cluster-ready)

    skipping: [worker-5] => (item=upgrade/uncordon)

    skipping: [worker-6] => (item=upgrade/wait-for-cluster-ready)

    skipping: [worker-6] => (item=upgrade/uncordon)

    skipping: [worker-7] => (item=upgrade/wait-for-cluster-ready)

    skipping: [worker-7] => (item=upgrade/uncordon)

    skipping: [worker-8] => (item=upgrade/wait-for-cluster-ready)

    skipping: [worker-8] => (item=upgrade/uncordon)

    skipping: [worker-9] => (item=upgrade/wait-for-cluster-ready)

    skipping: [worker-9] => (item=upgrade/uncordon)


    TASK [upgrade/uncordon : Restore cordoned node] ********************************

    Monday 03 January 2022  07:12:37 +0000 (0:00:01.539)       0:09:44.513 ********

    changed: [worker-11 -> 10.192.x.x]

    PLAY RECAP *********************************************************************

    master-1                   : ok=38   changed=4    unreachable=0    failed=0    skipped=73   rescued=0    ignored=0   

    master-2                   : ok=35   changed=3    unreachable=0    failed=0    skipped=73   rescued=0    ignored=0   

    master-3                   : ok=35   changed=3    unreachable=0    failed=0    skipped=73   rescued=0    ignored=0   

    worker-1                  : ok=64   changed=3    unreachable=0    failed=0    skipped=83   rescued=0    ignored=0   

    worker-10                  : ok=63   changed=3    unreachable=0    failed=0    skipped=83   rescued=0    ignored=0   

    worker-11                  : ok=218  changed=30   unreachable=0    failed=0    skipped=306  rescued=0    ignored=0   

    worker-12                  : ok=63   changed=3    unreachable=0    failed=0    skipped=83   rescued=0    ignored=0   

    worker-13                  : ok=63   changed=3    unreachable=0    failed=0    skipped=83   rescued=0    ignored=0   

    worker-11                  : ok=63   changed=3    unreachable=0    failed=0    skipped=83   rescued=0    ignored=0   

    ........ 

    worker-3                   : ok=63   changed=3    unreachable=0    failed=0    skipped=83   rescued=0    ignored=0   

    worker-4                   : ok=63   changed=3    unreachable=0    failed=0    skipped=83   rescued=0    ignored=0   

    worker-5                   : ok=63   changed=3    unreachable=0    failed=0    skipped=83   rescued=0    ignored=0   

    worker-6                   : ok=63   changed=3    unreachable=0    failed=0    skipped=83   rescued=0    ignored=0   

    worker-7                   : ok=63   changed=3    unreachable=0    failed=0    skipped=83   rescued=0    ignored=0   

    worker-8                   : ok=63   changed=3    unreachable=0    failed=0    skipped=83   rescued=0    ignored=0   

    worker-9                   : ok=63   changed=3    unreachable=0    failed=0    skipped=83   rescued=0    ignored=0   


    Monday 03 January 2022  07:12:38 +0000 (0:00:00.967)       0:09:45.481 ********

    ===============================================================================

    2022-01-03 07:12:38.854 DEBUG cluster_sync.cluster-name.worker-11: Cluster sync successful

    2022-01-03 07:12:38.858 DEBUG cluster_sync.cluster-name.worker-11: Ansible sync done

    2022-01-03 07:12:38.860 INFO cluster_sync.cluster-name.worker-11: _sync finished.  Opening lock

    13. Controleer de status van het cluster. Het gewenste aantal pods moet overeenkomen met het aantal gereed te tellen.

    [cluster-name-cm-1] SMI Cluster Deployer# clusters cluster-name actions k8s cluster-status

    pods-desired-count 678

    pods-ready-count 678

    pods-desired-are-ready true

    etcd-healthy true

    all-ok true

    Revisiegeschiedenis

    Revisie Publicatiedatum Opmerkingen
    1.0
    13-Jan-2022
    Eerste vrijgave
    TAC Authored

    Bijgedragen door Cisco-engineers

    • Adithian Arathi
      Cisco TAC-ingenieur

    Was dit document nuttig?

    FeedbackFeedback

    Contact Cisco

    Dit document is van toepassing op deze producten