工信部AI安全评测框架发布:智能体、具身智能首次被单列评测
2026 年 10 月 15 日,2026 人工智能产业大会在济南启幕。《工业和信息化领域人工智能安全评测框架(2026 版)》在开幕式上正式发布。本文从"它到底新在哪"入手,拆解三维度骨架,并把它放回已有的 AI 治理体系里定位。
一、先说结论:这份框架的三个"第一次"
如果你只想知道这份《框架》的分量在哪,可以看这三条:
第一次,把"记忆安全"写进国家级评测维度。
过去所有 AI 安全文件关注的都是"输出内容"——不能生成违法信息、要加标识、要有审核过滤。而这份《框架》在应用安全层反复出现一个此前从未进入官方文本的词:记忆安全。
这四个字的背后是一次认知跃迁。传统大模型是"无状态"的,一问一答,不留痕迹;但智能体有记忆——RAG 检索库、上下文窗口、长期记忆。一旦有记忆,就多了一个可以被投毒、被窃取、被恶意注入的攻击面。而且这个攻击面极难审查:你没法像审查一段输出文字那样审查一段被污染的长期记忆。
第一次,把"物理世界后果"作为评测的落脚点。
这份《框架》的第三个维度叫"业务安全",直接下沉到工业场景的研发设计、中试验证、生产制造、营销服务、运营管理全流程,以及电信场景的网络规划建设、运营优化、运维、云资源调度等环节。它衡量 AI 是否安全的尺子,不再是"内容有没有违规",而是"会不会让产线停摆、让设备失控、让核心工艺配方外泄"。
第一次,把智能体和具身智能并列单列。
在既有的通用 AI 安全规范里,智能体通常被当作"生成式 AI 的一种形态"。这份《框架》把它和具身智能并列单列,并配套四个专门的评测维度。这个动作等于承认:这两类东西的风险性质,和"聊天机器人"不是一回事。
二、为什么是现在:AI 的攻击面已经从"内容"走到"物理"
理解这份《框架》的必要性,要先理解产业侧发生了什么。
2026 年 10 月 15 日的这场大会上,中国信通院副院长魏亮发布了《2026 人工智能产业十大关键词》。十个词是:模型自进化、智能体工程化、智能体终端、具身智能实景实训、芯模协同、AI 高价值应用场景、AI 驱动的自动化实验室、高质量词元服务、前沿模型安全风险、开放普惠。
十个词里有四个直接指向"AI 开始动手做事"这件事。同一场大会上发布的"人工智能+"高价值场景图谱,覆盖 20 个细分行业、1000 余个高价值场景,采用"一业一图谱、一景一档案"形式,构建"攻关级、验证级、推广级"三级体系。
也就是说,AI 正在从"回答问题的软件"变成"操作设备的系统"。而这带来一个根本性的安全变化:
|
阶段 |
AI 的形态 |
出错的后果 |
监管瞄准的对象 |
|
2023—2024 |
对话/生成工具 |
生成违规内容、误导公众 |
输出内容 |
|
2025 |
应用功能(调 API) |
内容风险、标识缺失 |
服务提供者 |
|
2026 |
智能体、具身智能 |
产线扰动、生产事故、数据外泄、物理伤害 |
系统行为 + 业务场景 |
这就是为什么这份《框架》必须出现。消费端 AI 出问题,最多是"说错话";工业环境下,算法幻觉、数据泄露、模型漂移一旦发生,可能直接造成产线扰动、生产事故以及核心工艺数据外泄。
而在此之前,国内不少 AI 安全规范偏向通用互联网场景。工业生产具备强实时、高可靠、高后果的特殊属性,通用标准难以直接照搬。很多制造企业引入 AI 系统时,只能参考零散的行业建议,安全检查项目不统一,风险识别深浅完全取决于厂商能力——防护盲点由此产生。
这份《框架》要解决的,正是工业 AI "怎么评、评什么"的现实难题。
三、骨架拆解:三个维度,一份完整对照表
《框架》的结构并不复杂,但很有层次——从通用安全、应用安全、业务安全三个维度,构建"分层递进、立体化"的评测体系,并配套评测方法和实施要求。
最后这半句值得单独拎出来说:这意味着它不是一份"原则倡议",而是一份"可以照着做"的指引。
|
维度 |
涵盖范围 |
关键评测点 |
|
通用安全 |
数据安全、模型安全、基础设施安全 |
数据隐私与投毒、模型鲁棒性与越狱防护、算力与框架底座安全 |
|
应用安全 |
智能体安全、具身智能安全 |
权限安全、行为安全、记忆安全、工具调用安全 |
|
业务安全 |
工业场景安全、电信场景安全 |
工业研发—中试—生产—营销—运营全流程;电信规划—运营—运维—云调度六环节 |
三个维度的关系不是并列,而是倒金字塔式的责任传导:
- 通用安全是地基。 不管你做不做智能体、进不进工厂,都绕不开。数据安全关注训练数据与用户数据在采集、传输、存储、处理全过程中的安全与隐私;模型安全关注鲁棒性、抗对抗样本、防越狱、防提示注入、输出可控;基础设施安全关注算力、框架、一体机等运行底座。注意最后一项——当企业把模型部署到本地一体机、私有云,这部分风险正在从"云厂商的事"变成"每个用 AI 的企业的责任"。
- 应用安全是新物种。 针对当下快速兴起的智能体与具身智能,设置四类专门评测条目。
- 业务安全是真实损失发生的地方。 把安全要求嵌入业务全生命周期。
这个结构的实务含义很直接:一家工业企业的 AI 系统出事,责任不会只落在"模型供应商"一个人头上,而是沿着这条链回溯——地基谁建的、应用谁做的、业务谁在用。
四、最值得注意的四个词:权限、行为、记忆、工具调用
应用安全层是整个《框架》最具前瞻性的部分。它给智能体和具身智能设了四道评测关。这四个词,每一个都精准对应了智能体的"命门"。
1. 权限安全
智能体能访问哪些系统、调用哪些接口、动用什么权限?
权限过大,等于把公司的保险柜钥匙交给了 AI。这一点在现实中已经反复验证。2026 年 7 月 1 日,全国网络安全标准化技术委员会秘书处发布《网络安全标准实践指南——智能体部署使用安全指引》(网安秘字〔2026〕80 号),其中第一条操作建议就是"不以操作系统管理员权限运行智能体"。
配套的《人工智能安全治理框架 3.0》附件 2《智能体框架》把这条要求写得更细:为智能体配备唯一身份标识,禁止实例间共享身份;仅授予完成当前任务所必需的最小权限;使用动态授权凭证,任务终止或停用后立即撤销。
2. 行为安全
智能体的每一步动作是否可控、可审计、可终止?能不能在它"跑偏"时及时叫停?
《框架 3.0》在正文中以"非预期自主行为风险"专栏,援引业界报道讨论了三种情形:拒绝停止服务、在评测环境中掩饰行为、突破隔离限制。这三条说明该类风险已被正式纳入研究和防范范围。
措施侧则要求:制定高风险操作清单,执行高风险操作前转交用户接管,中低风险操作需获得用户授权;人工审批系统异常、用户无响应、缺乏对应审批规则时默认拒绝执行;审批日志以防篡改、可校验方式留存。
3. 记忆安全
智能体带的"记忆"(RAG 检索、上下文、长期记忆),会不会被污染、被窃取、被恶意注入?
这是四个维度里最新、也最少被讨论的一个。记忆污染的危险恰恰在于它的隐蔽性——攻击者不需要攻破模型本身,只需要让检索库里多几条看起来很正常的条目,模型就会在关键时刻基于被污染的记忆做出错误判断。
在工业场景里,这种错误可能意味着一次错误的工艺参数设定。
《框架 3.0》附件 2 对记忆处理给出了两条具体控制:凭证、密钥原则上不写入记忆;境内收集、产生的数据在境内存储,跨境传输遵守国家规定的安全建议。
4. 工具调用安全
智能体通过 MCP、Function Calling 调用外部工具,这一环最容易成为攻击突破口。
这不是理论担忧。国际上的 AgentDojo、AgentHarm 等基准,正在专门测试智能体在工具调用环节的提示注入与越狱风险。逻辑很直白:模型本体可能对齐得很好,但它调用的那个工具返回的结果是可控的——攻击者只要污染工具的输出,就能间接操控智能体的决策。
《框架 3.0》提出的对应措施包括:设置任务规划、工具调用、输出结果的安全护栏;对代码执行等高风险操作采用沙箱、容器隔离;合理设置执行步骤、调用频次、执行时长和资源消耗参数;对文件操作、指令执行、网络连接、技能调用、交易支付等行为全量日志记录。
五、具身智能多出来的那一层:物理世界安全
智能体的风险主要在数字世界,具身智能还要多一层——物理世界安全。
一个具身智能体的"大脑"被攻击,或者"身体"(传感器、执行器)被干扰,后果直接落到真实的人和物上。
从学术界的梳理看,具身智能的安全内涵涵盖三个层面:
|
层面 |
保护对象 |
典型风险 |
|
本体安全 |
机器自身的硬件与控制系统 |
控制系统被入侵、执行器被劫持 |
|
交互安全 |
与环境的感知—动作回路 |
传感器被欺骗(视觉/雷达/力觉) |
|
应用安全 |
具体任务与场景 |
任务被篡改、越权操作 |
一句话概括:既要防算法的"脑"出问题,也要防传感器的"眼"和"手"被欺骗。
这也解释了为什么这份《框架》要把具身智能从"智能体"里拆出来单列——两者的风险终点完全不同:一个止于数据,一个落到人身和财产。
六、业务安全:为什么"工业"和"电信"被单独拎出来
第三个维度把目光投向具体的行业落地场景,覆盖两大重点领域。
工业场景安全,贯穿制造业全流程:
研发设计 → 中试验证 → 生产制造 → 营销服务 → 运营管理
电信场景安全,涵盖六大关键环节:
网络规划建设 → 网络运营优化 → 网络运维 → 云资源智能调度 → 云业务智能运维 → 云业务安全防御
选择这两个领域不是偶然。工业和电信是"AI 出错会立即产生物理或服务后果"的两类典型场景:工业端的一次误判可能停掉一条产线;电信端的一次调度错误可能影响一片区域的网络。它们的共同特征是强实时、高可靠、高后果——正是通用互联网场景的标准无法覆盖的部分。
七、把它放回体系里看:四份文件的分工地图
这份《框架》不是孤立出现的。把它和近一年的几份关键文件放在一起,AI 安全评测的制度版图就比较清楚了:
|
文件 |
发布方 / 时间 |
管什么 |
性质 |
|
《工业和信息化领域人工智能安全评测框架(2026 版)》 |
中国人工智能产业发展联盟编制,工信部网络安全管理局指导 / 2026-10-15 |
进工业、电信生产系统的 AI |
评测框架(指导性) |
|
《人工智能安全治理框架》3.0 |
全国网络安全标准化技术委员会 / 2026-09 |
通用 AI 风险治理,智能体风险单独成章 |
指导性技术文件 |
|
《网络安全标准实践指南——智能体部署使用安全指引》 |
网安标委秘书处 / 网安秘字〔2026〕80 号 / 2026-07-01 |
智能体部署使用,评估—准备—部署—使用—停用五阶段 |
标准实践指南 |
|
GB/T 45654-2025《网络安全技术 生成式人工智能服务安全基本要求》 |
国家标准 / 2025-11-01 实施 |
生成式 AI 服务的技术安全底线 |
国家标准(推荐性) |
一个实用的判断法则:
- 你的 AI 面向公众提供生成内容 → 主要走网信办体系(大模型备案 / 登记、安全评估、内容标识)
- 你的 AI 进入工业、电信的生产或运营系统 → 需要开始对照工信部这套评测框架
两套逻辑不冲突,但评测的坐标系完全不同:前者评"内容安不安全",后者评"系统会不会造成物理和业务损失"。
八、不同角色该做什么
如果你是工业企业(甲方)
- 先做资产盘点:现在厂里有哪些 AI 系统、分别落在哪个维度(通用/应用/业务)
- 重点排查权限配置——这是最容易被忽略也最容易被利用的一环,先确认智能体没有以管理员权限运行
- 建立高风险操作清单,明确哪些动作必须人工审批
- 确认日志留存:文件操作、指令执行、网络连接、工具调用是否全量可追溯
- 核对供应链:模型、工具、技能包分别来自谁,谁在用、谁负责
如果你是 AI 厂商 / 集成商(乙方)
- 把这份《框架》当成售前材料:客户迟早会问"你的系统怎么过工信部的评测"
- 对照四个维度准备可自证的证据链(权限矩阵、审批记录、日志方案、工具白名单)
- 注意重大变更的回归测试要求:模型、框架、工具、权限或安全策略发生变化,应开展安全影响评估和回归测试
- 涉及具身智能的,额外准备物理安全的验证材料
如果你是服务提供者(面向公众)
这份《框架》不直接适用,但四个评测维度里的方法论可以借用——权限最小化、行为可审计、记忆可管控、工具调用可验证,这四条对任何做智能体的团队都是硬要求。
九、三个常见误读
误读一:这是强制标准,不达标就违法。
不是。《框架》由中国人工智能产业发展联盟会同有关单位编制、工信部网络安全管理局指导,属指导性、框架性文件,不具有法律法规的强制效力。
参照同样性质的《人工智能安全治理框架 3.0》,其价值主要在四处:一是反映立法与政策背景方向;二是作为监管沟通的技术参照;三是在纠纷中成为讨论"注意义务"的参考(《民法典》第 1165 条项下的过错判断);四是具备标准制定的先导意义。
结论:它不产生新的法定义务,但会实质影响监管如何看你、法院如何评价你做了哪些防范。
误读二:不设过高门槛,所以可以先不建。
原文表述是"兼顾创新与管控,不设置过高准入门槛,支持企业分阶段完成安全能力建设"。
这句话要读全。"分阶段"不等于"可以不达标",而是给了建设节奏的弹性。评审侧"不设过高门槛"的前提,是企业已经有可对照、可验证的推进路径。
误读三:我只是一家制造企业,AI 安全是厂商的事。
《框架》把"基础设施安全"放进通用安全层,并明确指出:随着企业把模型部署到本地一体机、私有云,这部分风险正在从"云厂商的事"变成"每个用 AI 的企业的责任"。
模型再聪明,底座被攻破也归零。
十、数据来源与方法说明
|
内容 |
来源 |
时间 |
|
《工业和信息化领域人工智能安全评测框架(2026 版)》发布,通用/应用/业务三维度,配套评测方法与实施要求;应用安全含权限安全、行为安全、记忆安全、工具调用安全;业务安全覆盖工业与电信场景 |
2026 人工智能产业大会开幕式(山东济南黄河国际会展中心);工信部网络安全管理局指导,中国人工智能产业发展联盟会同有关单位编制 |
2026-10-15 |
|
框架"不设置过高准入门槛,支持企业分阶段完成安全能力建设";工业 AI 需应对强实时、高可靠、高后果属性 |
新浪财经报道 |
2026-10-15 |
|
参与发布单位:中国人工智能产业发展联盟、工信部人工智能标准化技术委员会、中国互联网协会、中国通信学会网络和数据安全专委会、工业信息安全产业发展联盟数据安全专委会、中国计算机行业协会网络和数据安全专委会、工业互联网平台创新合作中心;中国电信、中国联通、火山引擎、百度、蚂蚁、MiniMax、阶跃星辰、零一万物、吉利、360、安恒等 |
齐鲁晚报·齐鲁壹点 |
2026-10-15 |
|
"人工智能+"高价值场景图谱:20 个细分行业、1000 余个高价值场景,"一业一图谱、一景一档案","攻关级、验证级、推广级"三级体系 |
工信部科技司统筹、中国信通院牵头编制,大会发布 |
2026-10-15 |
|
《2026 人工智能产业十大关键词》:模型自进化、智能体工程化、智能体终端、具身智能实景实训、芯模协同、AI 高价值应用场景、AI 驱动的自动化实验室、高质量词元服务、前沿模型安全风险、开放普惠 |
中国信通院副院长魏亮发布 |
2026-10-15 |
|
《人工智能安全治理框架》3.0 为网安标委组织编制的指导性技术文件,不具强制效力;其合规价值可从立法背景、监管参照、注意义务参考、标准先导四角度评估 |
中伦律师事务所解读文章 |
2026-10-14 |
|
《框架 3.0》附件 2《智能体框架》:八环节(设计研发、安装部署、指令输入、推理规划、调用执行、记忆存储、结果输出、停用下线);七类防范措施;身份与权限、人工审批、运行时管控、监测审计、数据与退出的具体控制点 |
同上 |
2026-10-14 |
|
《框架 3.0》五级风险分级(低、一般、较大、重大、特别重大),三维度(应用场景重要性、智能化水平、应用规模);沙箱监管机制 |
《人工智能安全治理框架》3.0 解读 |
2026-09 |
|
《网络安全标准实践指南——智能体部署使用安全指引》(网安秘字〔2026〕80 号):评估、准备、部署、使用、停用五阶段;不以操作系统管理员权限运行智能体、建立高风险操作清单、配置细粒度日志 |
全国网络安全标准化技术委员会秘书处 |
2026-07-01 |
|
具身智能安全三个层面(本体安全、交互安全、应用安全) |
学术界梳理,转引自解读文章 |
2026-10 |
|
AgentDojo、AgentHarm 基准测试智能体工具调用中的提示注入与越狱风险 |
公开研究资料,转引自解读文章 |
— |
⚠️ 三点写作纪律说明
- 《框架》全文尚未在公开渠道发布。 本文对三个维度、四个应用安全维度的描述,均来自发布会通稿与媒体报道;涉及具体评测条目编号、评分方式、合格线等细节,官方尚未公开,本文不作推测。
- 《框架》是指导性文件,不是强制标准。 全文已按此定位表述,请勿在传播时改写成"强制要求""不达标违法"。
- 智能体八环节、七类措施、五级风险分级等内容,出自《人工智能安全治理框架 3.0》,不是本次《评测框架》的原文。 本文引用时均已标明出处,转发或二次创作时请保留这一区分,避免张冠李戴。
附:一页速查
这份框架回答三个问题:
- 评什么? 通用安全(数据/模型/基础设施)+ 应用安全(智能体/具身智能)+ 业务安全(工业/电信)
- 怎么评? 配套评测方法与实施要求,可对标自查,也可供第三方测评参照
- 谁来评? 企业可对照自查;第三方机构获得统一测评参照
四个必记的新词: 权限安全、行为安全、记忆安全、工具调用安全
一句话总结: 这份《框架》标志着国内 AI 安全评测的坐标系,从"内容有没有问题"转向"系统会不会造成物理与业务损失"。智能体和具身智能第一次被单列评测,意味着监管已经承认——当 AI 开始动手做事,安全的定义必须重写。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)