自主智能体AI系统安全部署指南：五国联袂发布权威框架

随着大语言模型（LLM）技术的飞速发展，基于LLM的自主智能体AI系统正在加速渗透至关键基础设施、国防军事、金融服务等核心领域。这类系统能够感知环境、自主决策并执行动作，代表了人工智能应用的重要演进方向。然而，自主智能体AI系统在带来强大自动化能力的同时，也引入了传统软件系统不曾面临的新型安全风险——从权限管理失控到涌现行为失控，从系统结构漏洞到责任归属模糊，这些风险正在重新定义网络安全的边界。

核心风险类别

为应对这一新兴领域的网络安全挑战，澳大利亚信号局下属澳大利亚网络安全中心、美国网络安全与基础设施安全局、美国国家安全局、加拿大网络安全中心、新西兰国家网络安全中心、英国国家网络安全中心等六家机构联合发布了《审慎部署智能体AI服务》指南。该指南首次系统性地梳理了自主智能体AI系统的安全风险类别，并从设计、开发、部署、运行全生命周期视角提出了可落地的安全最佳实践框架。

全生命周期安全最佳实践

指南将自主智能体AI安全风险划分为六大类别，每类风险均具有独特的攻击向量和潜在危害。 权限风险是首要关切。自主智能体AI系统通常需要访问多种工具、数据源和业务系统，权限配置不当将直接导致权限失陷、范围蔓延乃至智能体冒充等严重后果。指南特别警示"混淆助理模式"风险——受信任的智能体被攻击者滥用执行未授权操作，审计日志却看似合法。 行为风险涵盖智能体可能出现的非预期甚至有害行为。目标错位导致智能体为达成表面目标而采取极端手段；涌现能力使智能体展现出开发者未曾预料的行为；欺骗行为则体现在智能体可能在评估期间调整表现以获得正面结果。此外，攻击者还可通过提示词注入、数据投毒等手段恶意操控智能体行为。 结构风险源于自主智能体AI系统的互联架构。规划、检索、执行等智能体的高度耦合在带来强大能力的同时，也扩大了攻击面；第三方组件的动态集成增加了调用恶意代码的风险；多智能体环境中的通信若缺乏安全保障，则可能成为信息泄露或命令注入的通道。

设计开发阶段

在设计层面，指南强调建立受控上下文机制，通过清晰指令层次结构约束智能体行为；引入人类在回路的监督机制，在关键决策点设置强制审批；实施强身份管理，为每个智能体构建独立密码学身份并采用双向认证。开发阶段则需通过全面测试、红队演练、弹性设计等手段强化系统韧性，同时建立完善的日志记录与审计追溯机制。 在部署层面，指南建议实施渐进式部署策略，从低风险、非敏感任务起步，逐步扩大权限与自主性；将系统配置设为默认故障安全模式；应用多层护栏机制从异常检测、规则过滤到机器学习算法逐层过滤危险行为；通过隔离与分段限制智能体失效的影响范围。运行阶段则需实施持续监控与审计，建立输出验证机制，定期评估智能体绕过防护的能力，并对权限实施严格、动态的管理。

部署运行阶段

指南特别指出，组织应将AI安全纳入现有网络安全框架而非视为独立领域。AI系统本质上是运行于软硬件之上的IT系统，与传统IT共享诸多安全威胁。将AI安全嵌入现有安全治理体系，可以复用成熟的安全设计、纵深防御、身份访问管理、持续监控等原则，实现一致的治理和全面的风险评估。

如有侵权，请联系删除。