Catalyst-AP's valideren en herstellen op 12 .12 die zijn beïnvloed door een upgradefout

Inleiding

In dit document wordt de herstelprocedure beschreven wanneer toegangspunten worden beïnvloed door Cisco-bug-ID CSCwf25731 en CSCwf37271.

context

Upgrades of APSP's die worden toegepast op systemen waarop 17.12.4/5/6/6a momenteel wordt uitgevoerd of die deze versies al geruime tijd hebben uitgevoerd, kunnen ertoe leiden dat de betreffende AP-modellen (raadpleeg de lijst met getroffen toegangspunten hieronder) onder bepaalde omstandigheden in de opstartlus terechtkomen, als gevolg van een storing in de installatie van het image als gevolg van onvoldoende schijfruimte op de AP-opslag. Hoewel dit geen invloed heeft op dagelijkse activiteiten of SMU's, is het een kritiek risico tijdens ISSU, upgrades van de volledige controllercode of APSP-installaties, omdat deze procedures gepaard gaan met upgrades van het Access Points-image.

Er moet een extra proces worden gevolgd waarvoor verplichte stappen voor het vooraf controleren van upgrades nodig zijn die in dit document worden vermeld, omdat er geen configuratie-oplossing bestaat.

Om dit op te lossen, moet u de specifieke APSP-versiefix (weergegeven in de tabel Vaste codes hieronder) in de WLC installeren voordat de AP's proberen te upgraden, of de opruimings-APSP gebruiken (beschikbaar voor 17.15.4d en 17.18.2) als u al naar een latere release bent verhuisd maar een van de getroffen versies hebt uitgevoerd. Zelfs als u niet zeker bent van de geschiedenis van uw systeem, wordt het ten zeerste aanbevolen om opslagcontroles uit te voeren voordat een upgrade of APSP-installatie wordt uitgevoerd als de getroffen versies ooit in uw omgeving aanwezig waren.

Root Cause Details

AP's die lopen van 17.12.4 tot en met 17.12.6a worden beïnvloed door een bibliotheekbug die een persistent logbestand genereert: /storage/cnssdaemon.log. Dit bestand groeit dagelijks met 5 MB en wordt niet gewist door opnieuw op te starten, waardoor de opslagruimte van het apparaat uiteindelijk wordt uitgeput. Als het toegangspunt wordt uitgevoerd vanaf opstartpartitie 1 (deel 1) en opstartpartitie 2 (deel 2) vol is vanwege het logbestand, zal het upgradeproces mislukken omdat het nieuwe image niet kan worden opgeslagen in opstartpartitie 2, wat mogelijk leidt tot een opstartlus. Om dit te voorkomen, moet u de opslag wissen of ervoor zorgen dat het toegangspunt is opgestart vanaf partitie 2 voordat u verdere upgrades probeert door de instructies in dit document te volgen.

Betrokken codes en toegangspunten

Betrokken toegangspunten

De volgende Access Point-modellen zijn de enige die gevoelig zijn voor dit probleem. Als uw netwerk geen gebruik maakt van een van deze specifieke modellen, wordt uw omgeving niet beïnvloed en is er geen verdere actie vereist.

• Katalysator 9124 (I/D/E)
• Katalysator 9130 (I/E)
• Katalysator 9136I
• Katalysator 9162I
• Katalysator 9163E
• Katalysator 9164I
• Katalysator 9166 (I/D1)
• Katalysator IW9167 (I/E)

Betrokken codes

Als u dit in uw netwerk wilt verifiëren, voert u de volgende opdracht uit vanuit alle WLC's en controleert u of de code die in uw WLC's aanwezig is, in de onderstaande tabel wordt vermeld.

#show version | in Version

Als alternatief kunt u hetzelfde doen vanuit de toegangspunten. Controleer de uitvoer om te zien of op het primaire image of het back-upimage een beïnvloed image wordt uitgevoerd van de images die in de tabel worden vermeld.

#show version | in Image

Opmerking: Als het netwerk in het algemeen niet actief is en in het verleden niet 17.12.4, 17.12.5 of 17.12.6/6a heeft uitgevoerd, is het probleem niet van toepassing.

Vaste codes

In de volgende tabel staan de WLC-softwareversies en de bijbehorende APSP's (Access Point Service Packs) die de oplossing voor deze bug bevatten. Houd er rekening mee dat voor de onderstaande versies de oplossing momenteel alleen beschikbaar is via APSP-installatie op het moment van schrijven.

Upgradepad en toepasselijkheid van bugs

Gebruik de onderstaande tabel om te bepalen of uw huidige WLC's en AP's-softwareversies van toepassing zijn op deze bug en welke upgradestappen u moet nemen. Als uw huidige implementatie overeenkomt met een van deze versies in de tabel Bug en toepasselijk upgradepad, moet u de voorcontroles voor opslag uitvoeren die worden uitgelegd in de sectie Voorcontroles voor upgrade voordat u verdere upgrades probeert.

Bug niet van toepassing en upgradepad

De volgende tabel laat zien of uw WLC's en toegangspunten niet van toepassing zijn voor deze bug:

Toepasselijk bug- en upgradepad

De volgende tabel laat zien of uw WLC's en AP's wel van toepassing zijn voor deze bug:

Upgrade voorcontroles

Als uw omgeving wordt beïnvloed door deze bug, volgt u deze verplichte stappen om een veilig herstel en upgrade te garanderen:

1. Identificeren: Voer de handmatige of geautomatiseerde voorcontroles uit om te bepalen welke specifieke toegangspunten van toepassing zijn op de bug. Automatische precheck wordt sterk aanbevolen.
2. Herstellen: Voor alle AP's die zijn gemarkeerd, volgt u de herstelprocedures die worden vermeld in het gedeelte Herstel.
3. Verifiëren: Voer de voorcontroles opnieuw uit om te bevestigen dat alle apparaten gezond zijn en dat het opslagprobleem is opgelost.
4. Upgrade: ga verder met de upgrade naar de vaste APSP's die worden vermeld in de tabel met vaste versies.

Handmatige voorcontrole

1. Vanuit de WLC kunt u de kolommen Primaire back-up en Image Backup controleren om te bevestigen of uw toegangspunten een van de getroffen releases uitvoeren (raadpleeg het gedeelte Affected Codes hierboven).

9800-l#show ap image
Total number of APs  : 4

Number of APs
        Initiated                  : 0
        Downloading                : 0
        Predownloading             : 0
        Completed downloading      : 0
        Completed predownloading   : 0
        Not Supported              : 0
        Failed to Predownload      : 0
        Predownload in progress    : No

AP Name             Primary Image          Backup Image            Predownload Status   Predownload Version  Next Retry Time   Retry Count   Method
------------------------------------------------------------------------------------------------------------------------------------------------------------------
Ap117.12.5.41        17.12.4.201                None                  0.0.0.0             N/A                 0           N/A
Ap217.12.5.41        17.12.4.201                None                  0.0.0.0             N/A                 0           N/A
Ap317.12.5.41        17.12.4.201                None                  0.0.0.0             N/A                 0           N/A
Ap417.12.5.41        17.12.4.201                None                  0.0.0.0             N/A                 0           N/A

U kunt een soortgelijke verificatie ook rechtstreeks op AP-niveau uitvoeren door de volgende opdracht uit te voeren om beide afbeeldingspartities te controleren:

AP# show version
AP Running Image     :17.12.5.41
Primary Boot Image   : 17.12.5.41
Backup Boot Image    : 17.12.5.209
Primary Boot Image Hash: 93ef1e703a5e7c5a4f97b8f59b220f52d94dd17c527868582c0048caad6397a9f3526c644f94a52bb70a104385690065ad0d652aa3fed607f24920d7e5ed5b5c
Backup Boot Image Hash: 4bbe4a0d9edc3cad938a7de399d3c2e08634643a2623bae65973ef00deb154b8eb7c7917eeecdd46e3e2ddc7be80139475e19fb3040b08aa715de196a733252b
1 Multigigabit Ethernet interfaces

Controleer de actieve opstartpartitie om te controleren of het back-upimage op deel 2 staat. Gebruik de opdracht "show boot" en bevestig dat de "BOOT path-list" naar deel 1 verwijst; dit geeft aan dat het toegangspunt momenteel wordt uitgevoerd vanaf de primaire partitie en probeert te upgraden naar het secundaire deel dat het probleem zou kunnen veroorzaken.

AP# show boot
--- Boot Variable Table ---
BOOT path-list: part1
Console Baudrate: 9600 Enable Break:

2. Controleer het huidige bestandssysteemgebruik door de partitie /dev/ubivol/part2 te controleren. Als de "Use%" bijna 100% is, is de partitie uitgeput, waardoor de upgrade mislukt en mogelijk een opstartlus wordt geactiveerd.

AP# show filesystems
Filesystem                Size      Used Available Use% Mounted on
devtmpfs                880.9M         0    880.9M   0% /dev
/sysroot                883.8M    219.6M    664.1M  25% /
tmpfs                     1.0M     56.0K    968.0K   5% /dev/shm
tmpfs                   883.8M         0    883.8M   0% /run
tmpfs                   883.8M         0    883.8M   0% /sys/fs/cgroup
/dev/ubivol/part1       372.1M     79.7M    292.4M  21% /part1
/dev/ubivol/part2       520.1M    291.3M    228.9M  56% /part2

3. Controleer de integriteit van het image voor beide partities om te controleren of deze niet beschadigd zijn. In alle velden voor zowel primaire images als back-upimages moet de status "Goed" worden weergegeven. Als in een veld anders wordt aangegeven, moet u het proces stoppen en onmiddellijk een TAC-kwestie openen.

AP# show image integrity
/part1(Backup) 17.12.5.209
    part.bin : Good
    ramfs_data_cisco.squashfs : Good
    iox.tar.gz : Good
/part2(primary) 17.12.5.41
    part.bin : Good
    ramfs_data_cisco.squashfs : Good
    iox.tar.gz : Good

Automatische voorcontrole

Gebruik voor de automatische voorcontrole de WLAN Poller-tool. Met deze tool kunt u de benodigde opdrachten tegelijkertijd uitvoeren op al uw toegangspunten om de getroffen toegangspunten te identificeren; u kunt deze rechtstreeks downloaden via de volgende link: https://developer.cisco.com/docs/wireless-troubleshooting-tools/wlan-poller-wlan-poller/#wlan-poller

Stappen:

1. Extractie – Extracteer de WLAN Poller-bestanden naar uw voorkeursmap.

2. Configuratie – Werk het bestand "config.ini" bij met de volgende parameters, zodat u uw specifieke referenties en het IP-adres van de controller kunt invoeren.

wlc_type: 2
mode: ssh
ap_mode: ssh

; set global WLC credentials
wlc_user: 
wlc_pasw: 
wlc_enable: 

; set global AP credentials
ap_user: 
ap_pasw: 
ap_enable: 

[WLC-1]
active: True
ipaddr: 
mode: ssh

3. Opdrachtenlijstvoorbereiding – Geef commentaar (voeg het hashsymbool "#" toe) op de standaardinhoud in "cmdlist_cos" en "cmdlist_cos_qca" en voeg vervolgens de volgende opdrachten toe aan beide bestanden.

# snippet to download the Debug image on COS APs
# show version | in Compiled
# archive download-sw /reload tftp:///
# 
show clock
show version
show flash
show flash | i cnssdaemon.log
show boot
show filesystems
show image integrity

4. Uitvoering – Voer de tool uit met ".\wlanpoller.exe". De tool zal SSH in alle toegangspunten opnemen en de opdrachtuitgangen verzamelen.

5. Data Retrieval – Navigeer naar de nieuw gemaakte /data map. Volg de submappen naar de uiteindelijke map met de afzonderlijke uitvoerbestanden van het toegangspunt.

6. Analyse – Download de "ap_detection_script.py" van de officiële Box link, plaats het in de "data" map, en voer het uit.

7. Resultaten bekijken – Open de gegenereerde "Status_check_results.log" om de lijst met toegangspunten in een problematische staat weer te geven. Deze apparaten vereisen herstelstappen (uitgelegd in het gedeelte Herstel hieronder) voordat u doorgaat met de upgrade, hier een uitleg over hoe u de resultaten kunt interpreteren:

AP's kunnen standaard opstarten vanaf partitie 1 of partitie 2. Wanneer de ene partitie actief is, wordt de andere gebruikt voor het downloaden van images of APSP's. De logische opslagpartitie is permanent toegewezen aan partitie 2 en kan niet worden gewijzigd. Dit probleem heeft alleen gevolgen voor toegangspunten die momenteel opstarten vanaf partitie 1. U kunt dit controleren door de kolom "current_boot_partition_check" aan te vinken om te controleren wat de huidige partitie is die door de toegangspunten wordt gebruikt. Voorbeeld:

Uit het bovenstaande voorbeeld kunnen we concluderen dat uit de 3 AP's:

• AP-naam: Test AP1 (Actie vereist): Als een AP deel 1 "True Susceptible" in de kolom "current_boot_partition_check" weergeeft, moet u de kolom "part2_mem_utilization_check" controleren. Als in die kolom ook "True Susceptible" wordt weergegeven, wordt het toegangspunt beïnvloed.

  • Voorbeeld: test AP1 is beïnvloed (opstarten in deel 1 en deel 2 beschikbare ruimte: 51,9 MB) en vereist herstel.

• AP-naam: Test AP2 (partitie 1): Als een AP deel1 "True Susceptible" weergeeft, maar de "part2_mem_utilization_check" "False Not Susceptible" weergeeft, is het AP veilig.

  • Voorbeeld: Test AP2 wordt niet beïnvloed omdat er voldoende ruimte is in partitie 2 (deel 2), maar het wordt aanbevolen om de APSP te installeren om toekomstige problemen op te lossen, omdat het bestand ccdaemon.log in het AP blijft bestaan.

• AP-naam: Test AP3 (partitie 2): Als een AP deel 2 "False Not Susceptible" toont in de kolom "current_boot_partition_check", wordt dit niet beïnvloed. Verdere controles zijn niet nodig.

Opmerking: De numerieke waarde in de kolom "part2_mem_utilization_check" naast de status "Waar/vals gevoelig" vertegenwoordigt de hoeveelheid beschikbare ruimte in partitie 2.

• Elk toegangspunt: als een toegangspunt "Image Integrity Check: Failed" toont onder de kolom "image_integrity_check", gaat u verder met het openen van een TAC-case.

herstel

Op basis van de specifieke status van elk toegangspunt zal het script de meest efficiënte herstelmethode aanbevelen. Volg de onderstaande gedetailleerde stappen voor de geïdentificeerde getroffen toegangspunten:

AP Image-partitieswap

1. AP's isoleren – zorg ervoor dat de AP's geen verbinding hebben met de WLC:
   1. Zorg ervoor dat SSH is ingeschakeld in het profiel van de toegangspunten en dat de toegangspunten SSH-toegankelijk zijn (of console gebruiken)
   2. Zorg ervoor dat de toegangspunten geen verbinding hebben met de WLC, maar dat u wel SSH-toegang hebt tot de toegangspunten. Dit kan worden bereikt door een ACL in de gateway te hebben of de AP's naar een geïsoleerd VLAN te verplaatsen. Als de toegangspunten toegang krijgen tot de WLC, kan het toegangspunt terugkeren naar het opstarten van deel 1 en teruggaan naar de betreffende status.

2. Opstartpad configureren – Stel op de getroffen toegangspunten het opstartpad in op partitie 2:

AP# config boot path 2

3. Opnieuw opstarten – Start het toegangspunt opnieuw op om de afbeelding vanaf partitie 2 te laden:

AP# reload

4. Upgrade – Installeer in de WLC de benodigde APSP in uw huidige code, of, als u de code wilt upgraden, verplaats dan naar een nieuwe code en zorg ervoor dat APSP ook is geïnstalleerd.

5. Opnieuw verbinden – Verwijder de communicatiestop tussen het toegangspunt en de WLC zodra de upgrade van de controller is voltooid. Het toegangspunt wordt lid van de WLC en downloadt automatisch het nieuwe, vaste image in opstartdeel 1.

6. Dubbelcontrole – Controleer na het upgraden naar een vaste release beide partities van de toegangspunten om er zeker van te zijn dat de back-upsleuf niet nog steeds het buggy-image bevat.

7. Onderhoud – Om de stabiliteit op lange termijn te handhaven en toekomstige opstartlussen te voorkomen, raden we aan de back-uppartitie te overschrijven met een bekend goed image. Gebruik voor kleinere groepen de optie "download-sw" in het archief rechtstreeks op het toegangspunt; voer voor grotere implementaties een voordownload van het toegangspunt uit om de back-uppartitie bij te werken zonder de activering van het toegangspunt te activeren.

AP shell access recovery

Het Technical Assistance Center (TAC) kan handmatig herstel uitvoeren door het bestand censdaemon.log rechtstreeks van shell op getroffen toegangspunten te wissen. Afhankelijk van de omvang van de impact zijn er twee methoden die hieronder worden genoemd:

• Klein aantal getroffen AP's: voor een klein aantal getroffen AP's kan de TAC worden voortgezet met behulp van een van de volgende twee benaderingen:

  • Handmatige shell-toegang: Toegang tot elk toegangspunt afzonderlijk via shell om het logbestand handmatig te wissen.

  • Geautomatiseerde (bulk) shell-toegang: gebruik de RADKit-tool om het opruimproces voor alle getroffen toegangspunten te automatiseren.

• Groot aantal getroffen AP's: TAC's moeten gebruikmaken van het Radkit-instrument, waardoor bulktoegang tot alle getroffen AP's tegelijkertijd mogelijk is om het opruimingsproces efficiënt uit te voeren.

Opmerking: We raden aan om RADKit te gebruiken voor de toegangsherstelprocedure voor de AP-shell om de efficiëntie en consistentie te garanderen.

Opmerking: om Radkit te downloaden, gebruikt u deze link: Radkit Download en download de nieuwste versie. Volg deze video om Radkit te installeren: Radkit Installation

Wanneer een TAC-zaak openen

Open onmiddellijk een TAC-geval als een van de volgende omstandigheden zich voordoet:

• Mislukt herstel: de AP Image AP Image Partition Swap-procedure is mislukt of kan niet worden geïmplementeerd in uw omgeving.
• Integriteitsproblemen: handmatige of geautomatiseerde voorcontroles geven voor elk toegangspunt de status "Image Integrity Check: Failed" (Controle integriteit image: mislukt) weer.
• Uitputting van opslagcapaciteit: als na de upgrade/APSP-installatie de partitie "/dev/ubivol/part2" nog steeds een kritiek hoog gebruik vertoont.

Cisco TAC kan toegang krijgen tot de AP-shell om het bestand cnsdaemon.log handmatig te wissen en geavanceerde herstelacties uit te voeren om uw apparaten te herstellen.

Veelgestelde vragen

Vraag: Geldt dit probleem alleen voor upgrades van volledige code of heeft het ook invloed op APSP-installaties?

A: Dit probleem heeft gevolgen voor beide scenario's. Als uw omgeving voldoet aan de criteria voor deze bug, kan het probleem optreden tijdens een volledige code-upgrade of APSP-installatie (inclusief de APSP met de bugfix). Vul het gedeelte Voorcontroles bijwerken in om te bepalen of u de herstelstappen moet volgen voordat u updates of APSP's toepast.

V: Mijn WLC en toegangspunten staan op 17.9.x (of eerder) en ik moet upgraden naar 17.12.x, wat moet ik doen?

A: U kunt een directe upgrade uitvoeren van 17.9.x naar 17.12.x. Als uw AP-modellen echter gevoelig zijn voor deze bug, moet u ervoor zorgen dat u de aanbevolen APSP onmiddellijk na de upgrade installeert.

V: Mijn WLC en toegangspunten staan op 17.9.x (of eerder) en ik moet upgraden naar 17.15.x of hoger.

A: Er zijn twee mogelijke scenario’s:

• Directe upgrade: als uw omgeving een directe upgrade toestaat (controleer dit via de Release Notes voor uw doelcode), gaat u verder met de upgrade en installeert u de APSP voor die doelcode.
• Tussentijdse upgrade: Als u een upgradepad moet volgen (bijv. 17.9.x → 17.12.x → 17.15.x), raden we u aan de volledige reeks binnen dezelfde dag tot 17.15.x te voltooien. Omdat het bestand cndaemon.log dagelijks met 5 MB groeit, voorkomt het voltooien van de upgrade snel dat het bestand een kritieke grootte bereikt. Als een upgrade op dezelfde dag niet mogelijk is, moet u de APSP installeren in de 17.12.x-fase voordat u uiteindelijk doorgaat naar 17.15.x en de bijbehorende APSP installeert.

V: Ik ben al op 17.15.x. Betekent dit dat ik geen last heb van deze bug?

A: Niet noodzakelijk. Als uw toegangspunten eerder versie 17.12.4, 17.12.5 of 17.12.6/6a (op 9800-L/40/80/CL) hebben uitgevoerd, is het problematische logbestand mogelijk al gegenereerd en blijft het opgeslagen. We raden u ten zeerste aan om de sectie Upgrade Prechecks te volgen om ervoor te zorgen dat alle resterende bestanden worden opgeruimd.

Vraag: Ik gebruik de 9800-M-, 9800-H1- of 9800-H2-platforms, die voor het eerst werden ondersteund in 17.15, ben ik getroffen?

A: Er zijn twee mogelijke scenario’s:

• Eerste ooit lid geworden van WLC: Als uw toegangspunten zich bij een 9800-M/H1/H2 als hun eerste controller ooit hebben aangesloten, wordt u niet beïnvloed.
• Vorige WLC's zijn toegevoegd: Als deze toegangspunten eerder waren gekoppeld aan een andere controller waarop een getroffen versie (17.12.4/5/6/6a) wordt uitgevoerd voordat ze naar de 9800-M/H1/H2 worden verplaatst, kunnen ze nog steeds het problematische bestand bevatten. Volg in dat geval de sectie Voorcontroles bijwerken.

V: We hebben afzonderlijke WLC's voor laboratoriumtests en gespreide upgrades, hoe moeten we ermee omgaan?

A: Zorg ervoor dat alle WLC's in uw omgeving de juiste APSP uitvoeren. Omdat het bestand cnsdaemon.log dagelijks met 5 MB groeit, wordt elk AP dat zich aansluit bij een WLC met getroffen code, zelfs tijdelijk voor testen, mogelijk vatbaar voor deze bug.