重磅|《人工智能安全治理框架3.0》正式发布!进入智能体Agent治理时代
当AI不再只是对话聊天机器人,而是能自主规划任务、调用插件、跨系统执行操作的智能体Agent,AI安全的治理逻辑,必须全面升级。
在2026国家网络安全宣传周开幕式上,全国网络安全标准化技术委员会正式发布《人工智能安全治理框架3.0》。继1.0搭建基础底座、2.0完善全生命周期管控之后,3.0版本直面智能体、多智能体协同、具身智能、规模化深度伪造等新一代AI风险,标志我国AI安全治理正式迈入智能体时代。
一、从1.0→2.0→3.0:治理思路迭代
- ✅1.0(2024):搭建基础安全框架,识别模型、数据、系统基础风险,确立AI安全的基本概念。
- ✅2.0(2025):覆盖模型从研发、部署、运行到下线的完整生命周期,重点管控开源模型、深度伪造带来的社会衍生风险。
- ✅3.0(2026):治理对象从单一模型,升级到智能体、多智能体系统、具身智能机器人。核心挑战不再只是“模型输出内容合规”,而是AI自主决策、跨工具调用、多Agent联动带来的链式失控风险。
整套框架延续风险分类、技术应对、综合治理核心逻辑,秉持以人为本、向上向善总理念 。
二、四大顶层治理原则
1. 包容审慎、确保安全
鼓励AI技术创新,用沙箱监管预留创新容错空间;同时守住安全底线,对危害国家安全、公共利益、公民权益的AI风险及时处置。
2. 风险导向、敏捷治理
对AI风险分级分类,动态感知风险变化,随行伴跑、快速响应,用分级管控平衡创新发展与安全底线。
3. 技管结合、协同应对
技术防护手段和制度监管配套落地;厘清研发方、运营方、使用者、插件服务商、智能体调用方等多方责任,形成政府监管、行业自律、社会监督协同治理。
4. 开放合作、共治共享
落实《全球人工智能治理倡议》,开展国际AI治理交流协作,共享治理经验,共建可信AI生态。
配套8项可信AI底线准则:可信、可控、可追溯、可解释、稳健性、隐私保护、公平无歧视、防范失控,核心强调人类最终控制权,专门针对智能体自主决策场景。
三、3.0最大亮点:专门针对智能体(Agent)立规矩
这是3.0最核心的升级。当智能体可以自主调用插件、访问外部接口、执行复杂任务,一旦被提示注入劫持、权限过大,极易造成数据泄露、越权操作。框架明确提出智能体防护要求:
1. 智能体分配唯一身份标识,遵循最小权限原则,不赋予超出任务所需权限;
2. 关键节点设置强制人工审批,完整留存全部操作日志,行为全程可审计;
3. 严格校验插件、外部工具安全性,阻断异常调用,防范供应链投毒;
4. 运行实时监测,一旦发现异常行为触发预警、熔断暂停。
同时新增具身智能安全管控,对机器人、物理交互类AI,要求传感器抗干扰、配备紧急停机、故障熔断保护,防止AI在物理世界带来安全事故。
除此之外,新版框架还强化算力供应链安全、合成数据规范、深度伪造溯源鉴别,覆盖从底层芯片算力、训练数据、模型、智能体到行业落地的完整链路。
四、对行业与普通人意味着什么?
👉 对AI企业:合规不再是可选项。从大模型、垂直行业模型,到智能体插件服务商,都需要把安全前置到架构设计阶段,而不是上线后再补救。
👉 对开发者:开发Agent应用,权限最小化、日志审计、异常熔断将成为标配,不能再随意给AI开放高权限接口。
👉 对普通大众:AI换脸、语音伪造、AI冒充他人等深度伪造内容会被更严格管控;AI智能体不能在无授权情况下替我们做高风险决策,人类拥有最终控制权。
AI不是洪水猛兽,但技术越强大,越需要“刹车”。《人工智能安全治理框架3.0》,就是给智能时代装上安全刹车,让AI真正向善、可控,赋能千行百业。
《人工智能安全治理框架》1.0 / 2.0 /3.0 版本核心差异对比
官方原文查阅渠道
中国网信网:https://www.cac.gov.cn/2026-09/14/c_1791137092283345.htm
TC260网安标委官网:https://www.tc260.org.cn/tc260/xwdt1/202609/e879077a3caa4722b2206d1bcaed5a6c.shtml
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐



所有评论(0)