Se protéger

L’intelligence artificielle au cœur des événements récents en matière de cybersécurité

Avant même Mythos et GPT-5.5, les acteurs malveillants ont intégré l’intelligence artificielle à leurs flux d’attaques. Au début de l’année 2024, Microsoft et OpenAI ont chacun publié des travaux de recherche sur l’utilisation malveillante des grands modèles de langage (GML). À l’époque, Microsoft a déclaré « ne pas avoir encore observé de techniques d’attaque ou d’utilisation abusive particulièrement nouvelles ou uniques optimisées par l’intelligence artificielle ». Leur documentation montre en grande partie des acteurs de menaces persistantes avancées (MPA) qui utilisent les grands modèles de langage pour effectuer des recherches dans des domaines comme les communications par satellite, la traduction de documents techniques, l’assistance au codage et l’élaboration d’attaques d’ingénierie sociale.

Les acteurs ne sont pas demeurés inactifs depuis la publication de ce rapport. Proofpoint a publié un document sur TA547, où ils soupçonnaient cet acteur d’utiliser un GML pour générer des scripts PowerShell. De même, Cisco a identifié un cadre modulaire appelé VoidLink, un outil qui offre des capacités étendues comme le contrôle des accès basé sur les rôles, des capacités de routage entre pairs et de type files d’attente des messages non remis, ainsi que la capacité de gestion des implants. Un certain nombre d’indicateurs ont été trouvés dans la base de code, ce qui suggère qu’elle a probablement été développée avec l’aide d’un GML.

L’ingénierie sociale, en particulier, a profité de l’utilisation de l’intelligence artificielle. De nombreux rapports montrant des acteurs utilisant les GML pour améliorer les leurres par courriel ont été rédigés. Cependant, certains acteurs sont allés bien plus loin : Mandiant a ainsi signalé l’utilisation potentielle, par UNC1069, d’outils vidéo fondés sur l’intelligence artificielle pour créer une vidéo hypertruquée présentée comme provenant du président-directeur général de l’entreprise ciblée

Cela ne représente certainement pas toute l’utilisation de l’intelligence artificielle par les adversaires qui ont été observés, mais cela est illustratif du type de capacités que nous supposons que les acteurs avaient lorsque nous avons discuté de la manière de contrer les acteurs utilisant l’intelligence artificielle. Les capacités qu’apportent les modèles exploratoires changent nécessairement la façon dont nous évaluons le cadre des menaces.

Le nouveau paysage des menaces alimentées par l’intelligence artificielle 

Fort de notre expérience de travail avec les modèles d’intelligence artificielle exploratoire, Cisco est en train de changer la manière dont nous modélisons nos adversaires. Si elles étaient largement accessibles, les fonctionnalités de ces modèles entraîneraient probablement une baisse drastique des compétences pour certains types d’activités d’exploitation. Cela entraînerait un plus grand nombre de vulnérabilités et d’exploits connexes ainsi qu’un ensemble plus large d’acteurs susceptibles de tirer parti de ces vulnérabilités.

Bien que la portée potentielle de ce changement de cadre concerne tous les défenseurs, ceux qui utilisent des appareils ou des logiciels en fin de vie ou en fin de soutien seraient particulièrement vulnérables. Les vulnérabilités découvertes dans ces produits rendraient les défenseurs particulièrement vulnérables et sans bonnes options de correctifs.

Ces modèles avancés offriront un renforcement des capacités pour tous les niveaux d’acteurs. Les acteurs du secteur des produits de base, tout en restant grandement opportunistes, auront la possibilité de faire évoluer des opérations qui étaient auparavant limitées en matière de ressources. Les acteurs de niveau supérieur avec un ciblage plus précis auront plus de facilité à découvrir les vulnérabilités de la pile technologique cible. Cela se traduira par une réduction du temps d’arrêt entre les tentatives d’exploit sur les cibles de préférence.

Ces modèles, lorsqu’ils sont utilisés comme base pour les agents d’intelligence artificielle, représentent une nouvelle capacité pour les agresseurs si ces derniers peuvent compromettre cet agent. Les modèles d’intelligence artificielle exploratrice doivent être exploités dans des environnements étroitement contrôlés et en bac de sable avec un confinement solide. Comme Cisco l’a observé et Anthropic l’a confirmé dans le rapport technique sur les capacités de sécurité de Mythos Preview, le modèle présente un niveau élevé d’alignement de base, mais aussi des défaillances rares, de gravité élevée, classées comme suit : :

• Le raisonnement stratégique orienté sur les objectifs
• Le découplage partiel entre la cognition interne et les résultats
• L’optimisation vers des objectifs implicites ou mal précisés
• La « connaissance de la situation » qui influence le comportement

Ces comportements sont conformes à un profil cognitif émergent semblable à celui d’un agent, plutôt qu’à un modèle de langage purement réactif. Ce comportement de « connaissance de la situation » n’est pas ce à quoi nous nous attendons généralement d’un GML standard. Les grands modèles de langage traditionnels sont considérés comme des prédicteurs du jeton suivant opérant sur des modèles locaux dans le texte, et non comme des systèmes qui maintiennent un modèle cohérent de leur environnement, de leur contexte ou de leur rôle dans un processus plus large. Un GML ne « sait » pas s’il est évalué, déployé, limité ou observé. Il répond simplement en fonction des corrélations statistiques dans l’entrée. Mais les comportements observés et confirmés par Anthropic impliquent que le modèle forme des représentations latentes du contexte d’interaction lui-même (par exemple, en reconnaissant les paramètres d’évaluation, les contraintes ou l’intention de l’utilisateur) et ajuste son comportement en conséquence.

Il s’agit certainement d’un virage d’une exécution de modèle purement réactive à un raisonnement contextuel et autoréférentiel, dans lequel le modèle suit implicitement les aspects de la situation au-delà de l’invite immédiate. Ces capacités ressemblent à des éléments de la cognition agentive (y compris la modélisation de l’environnement et la sélection de stratégies conditionnelles), qui vont au-delà du comportement attendu d’un système formé uniquement pour prédire le texte et représentent donc une classe de comportements de modèle qualitativement différente et plus complexe.

Les modèles émergents permettent aux agresseurs d’agir au-delà de leur niveau de sophistication. Les agresseurs pourront agir plus rapidement et découvrir de nouvelles vulnérabilités du jour zéro, même dans les piles complexes. La manière dont nous priorisons et construisons des mesures préventives doit changer pour faire face à cette menace.

L’adaptation de Cisco pour sécuriser ses produits

Cisco relève le défi de la cyberdéfense de l’ère de l’intelligence artificielle en utilisant ces modèles d’intelligence artificielle avancés pour trouver et corriger les vulnérabilités à une vitesse et à une échelle qui étaient auparavant impossibles, tout en accélérant le développement de produits de sécurité qui peuvent se défendre contre des adversaires utilisant l’intelligence artificielle. Au-delà de la découverte des vulnérabilités et du développement de produits, nous évoluons aussi dans la manière de créer et de valider les logiciels. 

Cela comprend la mise à jour de nos modèles de menace pour tenir compte des adversaires assistés par l’intelligence artificielle, l’intégration de scénarios de l’ère de l’intelligence artificielle dans nos exercices d’équipe rouge et, au bout du compte, le dépassement des tactiques, des techniques et des procédures traditionnelles pour soumettre nos produits à des tests de contrainte par rapport aux performances réelles de ces modèles.

Cisco relève le défi de la cyberdéfense de l’ère de l’intelligence artificielle en utilisant ces modèles d’intelligence artificielle avancés pour trouver et corriger les vulnérabilités à une vitesse et à une échelle qui étaient auparavant impossibles, tout en accélérant le développement de produits de sécurité qui peuvent se défendre contre des adversaires utilisant l’intelligence artificielle. Au-delà de la découverte des vulnérabilités et du développement de produits, nous évoluons aussi dans la manière de créer et de valider les logiciels. 

Cela comprend la mise à jour de nos modèles de menace pour tenir compte des adversaires assistés par l’intelligence artificielle, l’intégration de scénarios de l’ère de l’intelligence artificielle dans nos exercices d’équipe rouge et, au bout du compte, le dépassement des tactiques, des techniques et des procédures traditionnelles pour soumettre nos produits à des tests de contrainte par rapport aux performances réelles de ces modèles.

Alors que les agents de codage de l’intelligence artificielle font partie intégrante des flux de travail du développement de logiciels, il est essentiel de s’assurer que ces agents produisent un code sécurisé par défaut. Cisco a récemment cédé le projet CodeGuard à la Coalition for Secure AI (CoSAI). Le projet CodeGuard fournit un cadre de sécurité à code source ouvert et indépendant du modèle qui intègre des pratiques de sécurité par défaut directement dans les flux de travail des agents de codage de l’intelligence artificielle. CodeGuard intègre des compétences et des règles de sécurité qui guident les agents d’intelligence artificielle afin de prévenir les vulnérabilités courantes lors de la génération et de la vérification du code. Cisco recommande aux entreprises d’adopter des cadres comme CodeGuard pour s’assurer que la même accélération de l’intelligence artificielle utilisée pour écrire du code n’introduise pas involontairement des vulnérabilités que des agresseurs utilisant l’intelligence artificielle exploiteront.

Pour renforcer ses capacités défensives, Cisco a lancé Foundry Security Spec, un banc d’essai à code source ouvert conçu pour aider les entreprises à mettre en place un système agentique d’évaluation de la sécurité. Cette caractéristique éprouvée permet aux équipes de créer un système d’intelligence artificielle qui répond à leurs besoins uniques en matière d’environnement et de sécurité. En fournissant un cadre commun pour l’évaluation de la sécurité, nous aidons le secteur à créer des systèmes plus fiables et plus sécurisés à grande vitesse.

En parallèle, nous mettons ces capacités en œuvre dans le cadre de notre initiative d’infrastructure résiliente, qui met l’accent sur les principes de sécurité par défaut et de sécurité dès la conception, le renforcement proactif de l’infrastructure, l’application rigoureuse de correctifs et la gestion du cycle de vie, ainsi que la suppression systématique des fonctionnalités et des protocoles non sécurisés dans l’ensemble des produits Cisco. 

Cela comprend le renforcement des configurations par défaut, l’amélioration de la journalisation et de la surveillance pour une télémétrie de sécurité plus riche, et la modernisation de l’authentification des appareils grâce à des protocoles et un chiffrement plus solides, le tout dans le but de réduire la surface d’attaque et d’aider les clients à anticiper les menaces de demain et à y résister. Ces efforts combinés témoignent de l’engagement de Cisco non seulement pour réagir aux menaces émergentes de l’ère de l’intelligence artificielle, mais aussi pour les garder à l’esprit et aider nos clients à bâtir une base numérique plus résiliente.

Notre utilisation précoce des modèles d’intelligence artificielle exploratrice indique que l’ancien modèle d’« une CVE par vulnérabilité » atteint un point de rupture. Étant donné que la découverte automatisée entraîne une augmentation exponentielle des bogues identifiés, le traitement de chaque faille mineure comme un dossier de divulgation individuel engorge l’écosystème de sécurité et retarde activement la mise à jour des logiciels. Notre étoile polaire est de fournir aux clients des renseignements exploitables et non des données volumineuses. En évoluant vers un modèle de divulgation consolidé, selon lequel les vulnérabilités graves sont hiérarchisées et les correctifs mineurs sont intégrés aux cycles de versions standard, nous pouvons accélérer les décisions en matière de correctifs. Cette approche simplifiée refuse aux auteurs de menaces les feuilles de route détaillées dont ils ont besoin pour militariser l’intelligence artificielle contre notre infrastructure.

Pour nous défendre contre les menaces modernes, nous devons privilégier l’action plutôt que l’administration. L’approche traditionnelle qui consiste à attribuer une CVE individuelle à chaque problème mineur crée une « taxe sur les vulnérabilités » qui ralentit les mises à niveau et épuise les équipes de sécurité. Nous croyons que l’avenir de la divulgation doit se concentrer sur les résultats : guider les clients vers des mesures rapides d’atténuation et de mise à niveau. Le secteur a besoin d’un programme de CVE solide qui peut passer à ce nouveau niveau de découverte et de divulgation des failles de sécurité.

Défendre notre entreprise

Nous appliquons aussi ces principes à notre propre environnement d’entreprise. Les recommandations décrites ci-dessous ne sont pas conceptuelles. Elles reflètent la même approche que Cisco adopte à l’interne pour se défendre contre les menaces à l’ère de l’intelligence artificielle. Qu’il s’agisse d’accélérer les cycles de correctifs ou d’éliminer les systèmes en fin de vie, de déployer la recherche de menaces assistée par l’intelligence artificielle et d’appliquer le privilège minimal pour les agents d’intelligence artificielle, nous mettons en œuvre ces conseils dans notre propre infrastructure.

Nos recommandations

Pour répondre efficacement aux capacités croissantes rendues possibles par les modèles d’intelligence artificielle avancés, les entreprises doivent adopter une approche équilibrée qui consolide les pratiques de sécurité fondamentales tout en modernisant leur architecture défensive. Si le cadre des menaces évolue rapidement, de nombreuses attaques réussies exploitent encore des faiblesses bien connues. Le renforcement des contrôles principaux demeure l’une des actions les plus percutantes que les responsables de la sécurité puissent prendre.

Les entreprises doivent accorder la priorité aux mesures fondamentales, comme l’authentification résistante à l’hameçonnage, la vérification renforcée de l’identité, l’accès assorti de privilèges minimaux (y compris pour les agents d’intelligence artificielle) et les architectures fondées sur la vérification systématique. ». Une gestion cohérente des correctifs, une visibilité complète des ressources et une gestion disciplinée de la configuration sont essentielles afin de réduire les vulnérabilités exploitables. Ces contrôles constituent la référence pour la résilience et sont essentiels pour limiter la portée et la propagation des attaques traditionnelles et de l’ère de l’intelligence artificielle. Dans bien des cas, l’amélioration de l’exécution de ces principes fondamentaux permettra de réduire les risques plus immédiatement que le déploiement seul de nouvelles technologies.

Dans le même temps, les organisations doivent adopter une position agressive afin d’éliminer les risques structuraux. Les appareils ou les logiciels qui ne peuvent pas faire l’objet d’un correctif, d’une mise à niveau ou d’une prise en charge doivent être systématiquement retirés et remplacés par des plateformes modernes. Les systèmes modernes intègrent des protections avancées comme des mécanismes de sécurité de la mémoire et des mesures d’atténuation des exploits qui augmentent considérablement la difficulté d’exploiter les vulnérabilités. Même lorsque des vulnérabilités existent, ces protections ralentissent les agresseurs et réduisent la probabilité d’une exploitation réussie. La création d’environnements flexibles, évolutifs en continu et conçus pour une correction rapide est désormais une exigence critique, particulièrement pour les services Internet, où il y aura très peu de temps entre la divulgation et l’exploitation de masse.

Mais il ne suffit pas de renforcer les bases et de moderniser les infrastructures. La vitesse des attaques fondées sur l’intelligence artificielle réduira l’espace entre la découverte et l’exploitation des vulnérabilités en quelques minutes ou en quelques secondes. Les modèles traditionnels fondés uniquement sur la détection et l’intervention ne sont plus adéquats lorsqu’ils sont utilisés seuls. Les défenseurs doivent faire évoluer leur modèle opérationnel afin qu’il corresponde à la vitesse, à l’échelle et à l’adaptabilité des menaces de l’ère de l’intelligence artificielle. Cela comprend un investissement dans la détection de la vitesse de la machine, le triage et le confinement automatisés, ainsi que la surveillance continue de l’identité et de l’activité des données. Le but est de réduire la dépendance à l’égard des interventions manuelles et de permettre de répondre plus rapidement et de manière plus cohérente aux menaces à niveau de confiance élevé.

Cette évolution exige également une transition vers une défense active intégrée. Plutôt que de se fier exclusivement à la collecte de données télémétriques et à l’analyse après les événements, les organisations devraient placer des protections directement dans la charge de travail, l’appareil et le chemin du trafic, afin de permettre aux contrôles de sécurité d’agir en temps réel. Par exemple, il peut s’agir de mécanismes d’application en ligne, de protections du temps d’exécution utilisant des technologies comme eBPF pour une visibilité et un contrôle de bas niveau, et de boucliers contre les exploits pouvant être mis à jour indépendamment qui peuvent répondre aux menaces émergentes sans nécessiter de mises à niveau complètes du système. Ces capacités doivent être conçues pour évoluer rapidement, avec la possibilité de mettre à jour les protections indépendamment des grands cycles d’actualisation logiciel ou matériel.

Les entreprises devraient également mettre à profit les capacités de l’intelligence artificielle pour leur propre défense. La recherche constante des menaces internes, aidée par les mêmes modèles efficaces que ceux utilisés par les adversaires, sera une capacité clé pour les défenseurs performants. Les tests de conformité et d’acceptation basés sur l’intelligence artificielle peuvent remplacer la vérification manuelle qui exige beaucoup de travail par des renseignements automatisés à haute vitesse, générant ainsi des scénarios de tests complexes qui couvrent des cas périphériques souvent omis par les testeurs humains. Dans les environnements à enjeux élevés, les jumeaux numériques optimisés par l’intelligence artificielle peuvent simuler les réseaux de production à grande échelle, vérifiant ainsi que les mises à jour respectent des protocoles de sécurité rigoureux et des références en matière de performance, sans compromettre la stabilité des environnements en direct. L’intégration de l’intelligence artificielle dans les phases d’acceptation et de validation réduit considérablement le goulot d’étranglement du déploiement et raccourcit la transition entre la fin du développement du code et son déploiement sur le terrain, la faisant passer de plusieurs mois à quelques jours.

En fin de compte, la réussite dans ce nouvel environnement nécessite un double objectif : exécuter des contrôles de base avec discipline tout en progressant vers des capacités de sécurité adaptatives, en temps réel et intégrées. Les entreprises qui réduisent de manière dynamique les risques existants, modernisent leur infrastructure, adoptent un état d’esprit fondé sur la présomption et adoptent des modèles de prévention active seront les mieux placées pour gérer la vitesse et l’échelle des menaces générées par l’intelligence artificielle.

Conclusion

Le changement arrive. Les défenseurs doivent examiner de manière consciente l’environnement qu’ils défendent aujourd’hui et commencer à façonner cet environnement afin qu’il puisse croître dans un monde antagoniste à l’ère de l’intelligence artificielle. La sagesse d’hier est toujours importante, mais elle doit être combinée à des capacités préventives modernes et de pointe, des réseaux avec une visibilité exceptionnelle et une utilisation appropriée des agents d’intelligence artificielle pour aider les humains à sécuriser les environnements qu’ils défendent.