Cisco AI Defense:AI 模型和应用验证

借助 AI 验证识别模型漏洞

自动测试 AI 模型,识别各种安全风险。

确保模型安全无虞

AI 模型和应用验证可对模型进行自动化算法评估,精准识别模型的安全漏洞,并由 AI 威胁研究团队持续更新。此组件可助您了解应用面临的新兴威胁风险,并通过 AI Runtime 时防护措施进行有效防御。

防范 AI 供应链攻击

开发人员从 Hugging Face 和 GitHub 等公共存储库下载模型和数据,会在不经意间给企业带来巨大风险。AI 验证会自动扫描开源模型、数据和文件,以拦截供应链威胁,例如可能导致在环境中执行任意代码的恶意模型文件。只需一个简单的 API 调用,即可在模型注册入库时触发自动安全评估。

发现模型漏洞

为应用提供支持的模型,其选择关乎整个系统的安全与防护效果。AI 验证可通过算法生成覆盖 200 个类别的提示词来对模型进行测试,发现其是否易受提示词注入、数据投毒等恶意行为的影响或是否会产生非预期结果。这一优势同样适用于生产环境中的模型,可自动发现并修复现有模型中的新漏洞。

创建模型专属防护措施

第三方防护措施可防止 AI 应用学习错误数据、响应恶意请求以及共享非预期信息。AI 验证可针对在每个模型中发现的特定漏洞,自动生成量身定制的防护措施,进而提升防护效果。相关规则可根据行业属性、使用案例或企业偏好进行灵活调整。

在整个企业范围内自动实施 AI 安全标准

识别模型的验证状态

AI 云可视性可自动发现环境中需要验证的模型,支持直接通过控制面板启动 AI 验证。

在模型生命周期中自动执行 AI 安全流程

完成初步模型评估后,AI 验证还会执行其他流程,确保模型后续使用过程中的安全性。

自动生成报告,轻松满足合规需求

自动生成清晰易懂的漏洞报告,直观呈现测试结果,并指明每个漏洞所对应的行业与监管标准。

助力企业打造卓越的 AI 安全体系

借助 AI Defense,轻松遵循各项 AI 安全标准,包括面向大语言模型 (LLM) 应用的 OWASP Top 10。如需详细了解各类 AI 风险及其与 MITRE、NIST 和 OWASP 等标准之间的对应关系,请参阅我们的 AI 安全分类。

测试为应用提供支持的模型

基础模型

无论是经过微调,还是专门构建,基础模型都是当今大多数 AI 应用的核心。了解保障模型安全无虞所面临的挑战。

RAG 应用

检索增强生成 (RAG) 正迅速成为一种为大语言模型 (LLM) 应用增添丰富情景信息的标准方法。了解 RAG 所带来的具体安全风险。

AI 聊天机器人和代理

聊天机器人是当前大热的 LLM 应用,与此同时,能够代表用户执行操作的自主代理也正崭露头角。了解 AI 聊天机器人和代理所带来的安全风险。


更多资源

AI 安全分类

全面了解生成式 AI 所面临的威胁形势,掌握相关定义、缓解措施和标准分类。

对 LLM 进行微调可能会破坏其原有的安全设置

研究表明,微调后的模型遭受越狱攻击的可能性会增加 3 倍,而生成有害响应的几率则高出 22 倍以上。

AI 安全参考架构

面向 LLM 应用开发团队的安全设计模式与实践。

思科的负责任 AI 原则

思科致力于为 AI 及其他新兴技术提供安全保障。

企业 AI 安全的理想之选

弥合 AI 安全短板,为企业 AI 转型之路扫清障碍,获得覆盖整个环境的周全防护。