自动测试 AI 模型,识别各种安全风险。
AI 模型和应用验证可对模型进行自动化算法评估,精准识别模型的安全漏洞,并由 AI 威胁研究团队持续更新。此组件可助您了解应用面临的新兴威胁风险,并通过 AI Runtime 时防护措施进行有效防御。
开发人员从 Hugging Face 和 GitHub 等公共存储库下载模型和数据,会在不经意间给企业带来巨大风险。AI 验证会自动扫描开源模型、数据和文件,以拦截供应链威胁,例如可能导致在环境中执行任意代码的恶意模型文件。只需一个简单的 API 调用,即可在模型注册入库时触发自动安全评估。
为应用提供支持的模型,其选择关乎整个系统的安全与防护效果。AI 验证可通过算法生成覆盖 200 个类别的提示词来对模型进行测试,发现其是否易受提示词注入、数据投毒等恶意行为的影响或是否会产生非预期结果。这一优势同样适用于生产环境中的模型,可自动发现并修复现有模型中的新漏洞。
第三方防护措施可防止 AI 应用学习错误数据、响应恶意请求以及共享非预期信息。AI 验证可针对在每个模型中发现的特定漏洞,自动生成量身定制的防护措施,进而提升防护效果。相关规则可根据行业属性、使用案例或企业偏好进行灵活调整。
AI 云可视性可自动发现环境中需要验证的模型,支持直接通过控制面板启动 AI 验证。
完成初步模型评估后,AI 验证还会执行其他流程,确保模型后续使用过程中的安全性。
自动生成清晰易懂的漏洞报告,直观呈现测试结果,并指明每个漏洞所对应的行业与监管标准。
借助 AI Defense,轻松遵循各项 AI 安全标准,包括面向大语言模型 (LLM) 应用的 OWASP Top 10。如需详细了解各类 AI 风险及其与 MITRE、NIST 和 OWASP 等标准之间的对应关系,请参阅我们的 AI 安全分类。
无论是经过微调,还是专门构建,基础模型都是当今大多数 AI 应用的核心。了解保障模型安全无虞所面临的挑战。
检索增强生成 (RAG) 正迅速成为一种为大语言模型 (LLM) 应用增添丰富情景信息的标准方法。了解 RAG 所带来的具体安全风险。
聊天机器人是当前大热的 LLM 应用,与此同时,能够代表用户执行操作的自主代理也正崭露头角。了解 AI 聊天机器人和代理所带来的安全风险。
全面了解生成式 AI 所面临的威胁形势,掌握相关定义、缓解措施和标准分类。
研究表明,微调后的模型遭受越狱攻击的可能性会增加 3 倍,而生成有害响应的几率则高出 22 倍以上。
面向 LLM 应用开发团队的安全设计模式与实践。
思科致力于为 AI 及其他新兴技术提供安全保障。
弥合 AI 安全短板,为企业 AI 转型之路扫清障碍,获得覆盖整个环境的周全防护。