Inleiding
Dit document bevat details over verbindingsfouten bij IOS-toegangspunten (AP's), die na 4 december 2022 zijn waargenomen bij zowel AireOS- als C9800 Wireless LAN Controllers (WLC's). Dit probleem wordt gevolgd door Cisco-bug CSCwd80290 en de Field Notice FN72524 en wordt veroorzaakt door een fout in de validatie van het certificaat voor het ondertekenen van het AP-image.
Betrokken producten
Dit probleem is van invloed op alle lichtgewicht toegangspunten waarop IOS wordt uitgevoerd: 802.11ac Wave 1 AP's (IW3702/3700/2700/1700/1570-reeks) en eerdere AP's, waaronder 700/1530/1550/3600/2600/1600/3500/AP802/AP803-reeks. De betreffende lichtgewicht IOS-images zijn gebouwd van december 2012 tot november 2022. De controllers AireOS, Catalyst 9800 en Converged Access worden beïnvloed. AP's waarop AP-COS (802.11ac Wave 2, Wi-Fi 6, Wi-Fi 6E AP's) wordt uitgevoerd, worden niet beïnvloed en IOS AP's bevinden zich niet in de autonome modus.
Probleem
Wanneer IOS-toegangspunten na 4 december 2022 via CAPWAP worden bijgewerkt of gedowngraded, kunnen ze vastlopen in een downloadlus voor afbeeldingen en daardoor niet deelnemen aan de WLC, omdat het ondertekeningscertificaat in het gedownloade image niet is gevalideerd.
Hoofdoorzaak
De certificaten voor het ondertekenen van afbeeldingen die in de AP IOS-afbeeldingen zijn gebundeld, zijn uitgegeven op 4 december 2012 en zijn verlopen op 4 december 2022. IOS-toegangspunten gebruiken dit certificaat om de image te valideren die van de WLC is gedownload voordat de software op het toegangspunt wordt geïnstalleerd. Dus, na 4 december 2022, wanneer een toegangspunt code downloadt vanwege een software-upgrade / -downgrade of vanwege het verplaatsen tussen WLC's met verschillende versies, zal het toegangspunt het image niet valideren en voor onbepaalde tijd in een downloadafbeeldingslus blijven. Het probleem wordt gezien voor alle AireOS- en IOS-XE-versies.
Symptomen
Om te controleren of u dit probleem ondervindt, controleert u eerst de WLC voor toegangspunten die vastzitten in de status Downloaden. Vervolgens kunt u het probleem positief identificeren door ssh, telnet of console in de betreffende toegangspunten te plaatsen en hun logs te bekijken (of te zoeken naar toegangspunten op uw syslog-server).
Op een AireOS WLC
Op de WLC wordt de imagestatus van het toegangspunt weergeven (AireOS 8.10) de betreffende toegangspunten in de status "Downloaden".
In 8.5 gebruikt u afbeelding van toegangspunt tonen, die een niet-nul aantal toegangspunten in "Downloaden" toont.
(AireOS WLC-8.5) >show ap image all
Total number of APs.............................. 1
Number of APs
Initiated....................................... 0
Downloading..................................... 1
Predownloading.................................. 0
Completed predownloading........................ 0
Not Supported................................... 0
Failed to Predownload........................... 0
Predownload Predownload Flexconnect
AP Name Primary Image Backup Image Status Version Next Retry Time Retry Count Predownload
------------------ -------------- -------------- --------------- -------------- ---------------- ------------ --------------
AP1700 8.5.182.0 0.0.0.0 None None NA NA
(AireOS WLC-8.10) >show ap image status
Total number of APs.............................. X
Total AP's Downloading........................... 1
AP Name Primary Image Download Status
------------------ -------------- ----------------
CAP3702E.4CD4 17.3.6.76 Downloading
Op een IOS-XE C9800 WLC
C9800#overzicht toegangspunt tonen
9800-L#show ap summary
AP Name Slots AP Model Ethernet MAC Radio MAC Location Country IP Address State
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
AP2702E 2 2702E 0081.c4fb.2e74 843d.c673.10d0 default location 192.168.202.105 Downloading
De logboeken van het toegangspunt geven fouten weer die vergelijkbaar zijn met de volgende fouten wanneer u dit probleem tegenkomt:
Op een SHA-1 AP (vervaardigd vóór medio 2014):
*Dec 6 21:35:24.259: Using SHA-1 signed certificate for image signing validation.
*Dec 6 21:35:24.327: %PKI-3-CERTIFICATE_INVALID_EXPIRED: Certificate chain validation has failed. The certificate (SN: XX) has expired. Validity period ended on 21:37:36 UTC Dec 4 2022
*Dec 6 21:35:24.327: Image signing certificate validation failed (1A).
*Dec 6 21:35:24.327: Failed to validate signature
*Dec 6 21:35:24.327: Digital Signature Failed Validation (flash:/update/ap3g2-k9w8-mx.153-3.JPJ9/final_hash)
*Dec 6 21:35:24.327: AP image integrity check FAILED
Op een SHA-2 AP (vervaardigd na medio 2014):
*Dec 6 08:47:20.159: Using SHA-2 signed certificate for image signing validation.
*Dec 6 08:47:20.223: DTLS_CLIENT_ERROR: ../capwap/base_capwap/dtls/base_capwap_dtls_record.c:169 Pkt too old last_seq_num : 11116,Received sequence num: 1 distance: -11115
*Dec 6 08:47:20.227: %PKI-3-CERTIFICATE_INVALID_EXPIRED: Certificate chain validation has failed. The certificate (SN: XX) has expired. Validity period ended on 21:43:46 UTC Dec 4 2022
*Dec 6 08:47:20.227: Image signing certificate validation failed (1A).
*Dec 6 08:47:20.231: Failed to validate signature
*Dec 6 08:47:20.231: Digital Signature Failed Validation (flash:/update/ap3g2-k9w8-mx.153-3.JPJ7c/final_hash)
*Dec 6 08:47:20.231: AP image integrity check FAILED
Tijdelijke oplossing
Als u geen vaste software gebruikt, volgt u deze stappen om de IOS-toegangspunten toe te laten.
- Schakel NTP uit om te voorkomen dat de controller automatisch de tijd vooruit zet.
AireOS:
(AireOS WLC)>show time
make a note of all configured NTP servers, and delete each one:
(AireOS WLC)>config time ntp delete
IOS-XE:
C9800#show run | i ntp
ntp server ip
C9800#config terminal
(config)#no ntp server ip ! for each configured NTP server
2. Verander de datum op de WLC in iets vóór 4 december 2022, maar niet vóór 1 november 2022, omdat dit het certificaat in de controller of in nieuwere AP's ongeldig kan maken.
(AireOS WLC)> config time manual 12/02/22 00:00:00
C9800#clock set 00:00:00 2 Dec 2022
3. Controleer of de tijd op de WLC is gewijzigd
(AireOS WLC)> show time
Time............................................. Fri Dec 2 00:00:02 2022
C9800#show clock
00:00:02.573 Fri Dec 2 2022
4. Wacht totdat alle toegangspunten in de geregistreerde staat met de nieuwe afbeelding zijn weergegeven.
Opmerking: in sommige gevallen kan het nodig zijn het toegangspunt na de datumwijziging opnieuw op te starten om lid te worden van het toegangspunt. Maar zorg ervoor dat u ten minste 30 minuten wacht voordat AP weer kan deelnemen voordat u AP's opnieuw start
5. NTP opnieuw inschakelen
(AireOS WLC)>config time ntp server 1
C9800#configure terminal
(config)#ntp server ip
6. De configuratie opslaan
(AireOS WLC)>save config
Are you sure you want to save? (y/n) y
C9800#write memory
7. Klok opnieuw controleren op de WLC
(AireOS WLC)>show time
C9800# show clock
Upgraden naar vaste software
Op een AireOS WLC
- Als er AP's vastzitten in het downloaden, stelt u de controllertijd in zodat AP's het downloaden kunnen voltooien en in geregistreerde staat kunnen verschijnen voordat ze naar de software upgraden.
- Zie het gedeelte met de tijdelijke oplossing hierboven voor meer informatie over het instellen van de tijd terug
-
Als u om operationele redenen de tijd niet kunt terugzetten, blokkeert u de getroffen IOS-toegangspunten om te proberen lid te worden van de controller, bijvoorbeeld door hun switchpoorten af te sluiten of een ACL te installeren om CAPWAP te blokkeren.
- Nu er geen toegangspunten in de status Downloaden zijn, moet u ervoor zorgen dat de tijd van de WLC is ingesteld op de huidige tijd (NTP opnieuw inschakelen).
- Installeer de vaste software op de AireOS WLC (8.10.183.0 of hoger; of, als u niet kunt upgraden van 8.5, gebruik 8.5.182.7, als u 8.5 mainline of 8.5.182.105 gebruikt voor 8.5 IRCM.). Raadpleeg de onderstaande links om de vaste software te downloaden.
8540: https://software.cisco.com/download/home/286284728/type/280926587/release/8.10.183.0
5520: https://software.cisco.com/download/home/286284738/type/280926587/release/8.10.183.0
3504: https://software.cisco.com/download/home/286312601/type/280926587/release/8.10.183.0
vWLC: https://software.cisco.com/download/home/284464214/type/280926587/release/8.10.183.0
- 8.5 (Verborgen berichten)
8.5.182.7 (hoofdlijn 8.5): https://software.cisco.com/download/specialrelease/8f166c6d88b9f77aabb63f78affa9749.
8.5.182.105 (8.5 IRCM): https://software.cisco.com/download/specialrelease/bc334964055fbd9440834f008e5aca34.
- (Optioneel) Voordat u opnieuw opstart, downloadt u de vaste software vooraf naar de aangesloten toegangspunten.
- Start de WLC opnieuw op.
- Als u de AP-switchpoorten uitschakelt of CAPWAP blokkeert, verwijdert u de blokken zodat de IOS-toegangspunten opnieuw kunnen deelnemen en kunnen upgraden.
Op een IOS-XE 9800 WLC
1. Download de 17.3.6, 17.6.4, 17.9.2 IOS-XE software naar 9800 flash. Raadpleeg de aanbevolen IOS-XE-versies voor C9800 WLC's om de versie te kiezen die het meest geschikt is voor uw omgeving op basis van AP-modellen in uw omgeving en functies in gebruik.
2. Download het 17.3.6 APSP7- of 17.6.4 APSP1- of 17.9.2 APSP1-bestand (met IOS AP-fix) naar 9800-flitser.
- 17.3.6: 17.3.6 APSP7 via CSCwd83653/CSCwe10047 (fix ook inbegrepen in APSP2 en APSP5)
9800-40: https://software.cisco.com/download/home/286316412/type/286325254/release/17.3.6
9800-80: https://software.cisco.com/download/home/286321396/type/286325254/release/17.3.6
9800-CL: https://software.cisco.com/download/home/286322605/type/286325254/release/17.3.6
9800-L: https://software.cisco.com/download/home/286323430/type/286325254/release/17.3.6
9800-40: https://software.cisco.com/download/home/286316412/type/286325254/release/17.6.4
9800-80: https://software.cisco.com/download/home/286321396/type/286325254/release/17.6.4
9800-CL: https://software.cisco.com/download/home/286322605/type/286325254/release/17.6.4
9800-L: https://software.cisco.com/download/home/286323430/type/286325254/release/17.6.4
9800-40: https://software.cisco.com/download/home/286322605/type/286325254/release/17.9.2
9800-80: https://software.cisco.com/download/home/286321396/type/286325254/release/17.9.2
9800-CL: https://software.cisco.com/download/home/286322605/type/286325254/release/17.9.2
9800-L: https://software.cisco.com/download/home/286323430/type/286325254/release/17.9.2
Opmerking:
1) 17.3.6 APSP7 bevat oplossingen voor meerdere bugs (CSCvx32806, CSCwc32182, CSCvz99036, CSCwd37092, CSCwc78435, CSCwc88148) naast CSCwd80290
2) 17.6.4 APSP1 bevat oplossingen voor meerdere bugs (CSCwc73090, CSCwc71198, CSCwc78435, CSCwd40731, CSCvx32806) naast CSCwd80290 (voor IW3700).
3. Installeer 17.3.6 IOS-XE nu en laad opnieuw, tenzij 17.3.6 al is geïnstalleerd.
C9800#install add file bootflash:/C9800-L-universalk9_wlc.17.03.06.SPA.bin activate commit
4. Na de 9800 reboots - als de controllertijd was teruggezet in de tijd, stelt u nu de tijd in op de huidige (NTP opnieuw inschakelen).
5 Installeer APSP7 om de IOS-toegangspunten te herstellen:
C9800#install add file bootflash:/C9800-universalk9_wlc.17.03.06.CSCwe10047 .SPA.apsp.bin
C9800#install activate file bootflash:/C9800-universalk9_wlc.17.03.06.CSCwe10047 .SPA.apsp.bin
C9800#install commit
Veelgestelde vragen (FAQ)
- Wordt de verbinding met mijn huidige geregistreerde toegangspunten verbroken of wordt de verbinding niet verbroken vanwege dit probleem?
AP's met dezelfde versie als de WLC blijven probleemloos werken en worden normaal opgestart en aangesloten. Dit probleem is alleen van invloed op het proces voor de validatie van images dat wordt uitgevoerd als onderdeel van een upgrade van het image.
- Heeft predownload van AP gevolgen?
Ja. Aangezien de predownload van het toegangspunt het downloaden van een image naar het toegangspunt en de validering van het image door het toegangspunt inhoudt, worden dezelfde verlopen certificaat- en imagevalideringsfout aangetroffen.
- Welke impact heeft de verandering van tijd? Kan een klant dit 's middags doen, of moeten ze een onderhoudsvenster plannen met enige downtime en impact op services?
Het wijzigen van de controllertijd heeft geen operationele invloed op AP-verbindingen en draadloze clientconnectiviteit. DNA Center Assurance, CMX en Cisco (DNA) Spaces kunnen echter worden beïnvloed. Zodra AP's zijn aangesloten en de tijd is teruggezet naar de huidige tijd, zullen deze services naar verwachting herstellen.
- Wat als ik de tijd niet kan terugzetten op mijn productiecontroller?
Het opzetten van een enscenering WLC (vWLC of 9800-CL werkt ook) met dezelfde codeversie als de productie WLC. Keer de tijd terug op de WLC en voeg AP's toe aan de WLC. Zodra de AP's code hebben gedownload en naar de status Geregistreerd zijn gegaan op de WLC, verplaatst u de AP's naar de productie-WLC.
- Moet ik de tijd wijzigen om de vaste versie te installeren?
Alleen met AirOS, als de toegangspunten vastzitten in de downloadstatus. Raadpleeg het gedeelte Upgraden naar vaste software voor meer informatie.
- Wat gebeurt er als ik een nieuwe AP toevoeg?
Als het nieuwe toegangspunt op dezelfde versie als de controller is geïnstalleerd, moet het toegangspunt zonder problemen worden aangesloten.
Aan de andere kant, als de versie niet overeenkomt, zal het toegangspunt proberen de bijbehorende afbeelding te downloaden. Als de code op de controller niet beschikt over de vaste AP-gebundelde images, zal het toegangspunt de upgrade zoals beschreven niet uitvoeren en is een tijdelijke oplossing nodig.
Als de controller is bijgewerkt naar een van de vaste versies, kunnen nieuwe toegangspunten normaal worden toegevoegd en het upgradeproces worden voltooid.
- Wat gebeurt er met de eenheden die van RMA worden ontvangen?
Dit komt overeen met het toevoegen van een nieuw toegangspunt: als u een controllerversie uitvoert met de oplossing voor het image van het toegangspunt, zullen ze zich aansluiten en normaal upgraden.
Pas anders de tijdelijke oplossing toe.
- Moet ik de tijd voor de operatie aanpassen?
Nee, zodra de toegangspunten het upgradeproces hebben voltooid, kunt u de controller weer instellen op de huidige tijd en NTP opnieuw inschakelen.
- Ik zie deze fout in het AP-log %PKI-3-CERTIFICATE_INVALID_NOT_YET_VALID: Certificaatketenvalidatie is mislukt. Het certificaat (SN: xx) is nog niet geldig Geldigheidsduur begint op HH: MM: SS UTC Mar 1 2022". Is dit hetzelfde symptoom of nieuw symptoom?
Deze fout geeft aan dat de klok op de WLC is ingesteld achter 1 maart 2022, wat de startdatum is van het certificaat (in dit geval). Deze datum is afhankelijk van het moment waarop de WLC is gemaakt of het moment waarop het zelfondertekende certificaat op de virtuele WLC is gegenereerd.
Wijzig de klok op de WLC om het certificaat geldig te maken.
- Wat doet Cisco om te voorkomen dat dit probleem zich opnieuw voordoet?
We voltooien een volledige audit van alle Enterprise-producten om een vergelijkbaar probleem te identificeren dat mogelijk niet is gedetecteerd en corrigerende maatregelen uit te voeren
Bovendien zijn er wijzigingen aangebracht in het IOS AP-beeldbundelproces om dit probleem te verhelpen.
Feedback