面向长程任务的安全具身智能:机器人操作的跨层分析(下)
26年6月来自韩国UNIST和首尔大学的论文“Safe Embodied AI for Long-horizon Tasks: A Cross-layer Analysis of Robotic Manipulation”。
人们日益期望具身人工智能(Embodied AI)系统能够在物理环境中进行长时程(long-horizon)的推理与行动。这种能力的提升使得安全性问题变得至关重要,因为物理世界中的故障可能导致人员受伤、物体损坏及工作场所秩序混乱。尽管安全具身人工智能已备受关注,但相关研究在规划、策略设计和运行时执行等层面仍显得较为分散。长时程机器人操作是探讨这一问题的典型领域,因为语义映射偏差、子任务层面的错误传播、执行偏差以及涉及复杂接触的物理风险,都可能在同一个闭环系统中累积。因此,本文从具身人工智能的视角,对长时程机器人操作中的安全性问题进行系统性综述。
其根据干预发生的阶段(规划阶段、策略阶段及执行阶段)对现有文献进行分类,并分析各类研究所提供的证据强度,区分形式化保证、统计学支持以及经验性安全启发式方法。该框架明确基础能力研究、直接安全机制以及基准测试或评估研究各自的角色,同时也揭示哪些安全主张有充分依据,而哪些仍缺乏直接支持。其指出当前存在的若干缺口,包括策略阶段安全性的证据不足、针对复杂接触长时程操作的形式化支持薄弱、由不确定性触发的干预机制尚不成熟,以及缺乏针对操作任务的专用安全基准测试。最后,展望未来的研究方向,重点关注跨层级安全保障、评估体系设计以及长时程机器人智体在现实世界中的更安全部署。
。。。。。。继续。。。。。。
如果说策略运行时安全侧重于防止提出不安全的操作,那么下面探讨当这些操作付诸物理世界实施时的情况。在执行阶段,系统不再仅仅基于理想化的规划、静态约束或既定目标进行推理,而是必须应对观测噪声、动态场景变化、接触不确定性以及仅在实际运行中才会出现的各种故障。因此,执行阶段的安全性是抽象的安全主张转化为实际操作层面的关键环节。
执行阶段的安全干预涉及如何在操作开始后对行为进行监控、诊断和修正。本节将围绕三个核心阶段展开论述(如图5所示)。所以必要的分析包括:1)探讨运行时风险评估,分析系统如何监控执行过程、推断潜在故障并防范迫在眉睫的危险。一旦检测到故障,2)研究相应的应对措施,详细阐述如何通过人工接管、交互式修正或自主重新规划来恢复任务进程。3)鉴于执行过程发生在物理世界中,探讨物理接触相关的安全需求。在此背景下,语义层面的正确性必须与动态的、具备力感知能力的自适应机制相结合,以规范执行过程中的底层交互行为。

执行阶段的安全性是操作安全与物理安全成为直接干预对象的环节。语义或程序层面的故障可能源于上游环节,但在执行阶段,它们之所以至关重要,是因为它们可能导致不安全的后续操作、丧失恢复能力、干预延迟,或在实际交互过程中造成物理伤害。
1 运行时风险评估
执行阶段的安全性取决于一个关键问题:系统能否足够早地检测到不安全的执行过程,从而防止故障进一步恶化?在长时程操作任务中,风险往往并非源于单一的灾难性事件,而是通过分布偏移、前提条件未满足、语义不匹配或环境的渐进式变化逐渐累积而成的。在系统偏离预定轨迹达到危险程度之前,此类风险往往处于局部模糊的状态。
因此,运行时风险评估构成了第一道防线。一个从识别风险到采取应对措施的全过程,首先具备用于识别执行偏差的监控与异常检测技术,随后做旨在阐明偏差根本原因的诊断分析。最后,提供校准、防护机制(shielding)及预测性引导(predictive steering)等手段,在故障完全发生之前阻断或重定向不安全行为。
执行阶段安全性的第一层保障在于检测当前的执行过程是否偏离了安全且与任务要求相符的运行范畴。鉴于长时程操作任务中的故障往往是渐进式显现的,将运行时监控理解为“早期偏差检测”,要比将其视为事后的成功与否判定更为恰当。
运行时监控用于判断部署过程是否偏离了安全运行区间,而故障诊断则负责识别具体的故障类型及其根本原因。这种区分对于长时程操作任务至关重要,因为在此类任务中,语义映射错误、执行偏差或接触引发的扰动等故障往往性质迥异,不可混为一谈。尽管这些错误可能都会触发通用的“故障”信号,但它们需要截然不同的后续应对措施。因此,故障诊断构成了关键的语义桥梁,使系统能够超越单纯的故障检测,进而实现基于充分信息的针对性干预。
故障监测与诊断旨在识别潜在风险,而“屏蔽”(shielding)机制则将这些风险信号转化为可付诸实施的干预措施。这种运行时的安全保障层超越了被动检测,通过设定物理约束或执行路径重定向来确保系统安全。形式化屏蔽方法源于控制理论研究——该理论能在明确假设条件下为已建模的机器人系统提供安全保证——并已扩展至基于学习的屏蔽方法,从而能够应对涉及高维约束及各类机器人平台的复杂应用场景。
除了施加严格的物理约束外,还可以通过运行时策略引导(runtime policy steering)主动管理执行过程中的安全性。与侧重于防止最坏情况安全违规的屏蔽机制不同,引导机制利用预测性验证或基于学习的信号,在故障完全发生前进行干预,从可行操作中选择风险较低或验证器首选的后续动作。这种主动调整在长时程操作任务中尤为关键,因为如果系统能在出现最初预警信号时即刻响应,往往能够完全挽回早期的偏差。
2 运行时适应与任务恢复
因此,执行过程中的安全性不仅仅局限于调整即时运动轨迹,更需要具备结构性的韧性。在长程操作任务中,关键的安全保障环节往往出现在当前执行计划失效之时——无论这种失效是在发生物理碰撞前被主动预判,还是在出现错误后被被动检测到。此时,机器人可能需要请求人工协助、接受轻量级的修正、从结构上调整当前的子目标序列(即重新规划),或者回退至可恢复状态,而无需完全放弃整个任务。因此,在无法直接继续执行既定序列的情况下,要安全地适应变化、保持任务进度并实现任务恢复的操作性问题。
这种恢复逻辑按照“自主性”与“对人依赖度”的维度进行梳理,涵盖从“人工主导干预“到”全自主任务恢复“的各种模式。首先是“风险-觉察型交接”,即在不确定性较高或精度要求极严的情况下,必须由人类全面介入。随后是“交互式修正”,即利用简短的语言指令或物理反馈来修复当前的执行过程,而无需人类完全接管控制权。随着系统自主性的提升,下面要做“主动式与被动式重规划”,即针对检测的偏差修改当前执行规划。最后一步,“自主恢复”模式,在这种模式下,系统需独立诊断故障、生成修正轨迹,并从一个可行的中间状态恢复执行长程任务。
人工干预与控制权移交构成了这一谱系的基准点——虽然这类响应保留的自主性最低,但当无监督执行不再适宜时,它们却是最可靠的安全机制。在此范式下,核心挑战从任务执行本身转移到了精准判定系统何时必须停止运行并将控制权交还给人类操作员。对于长时程操作任务而言,把握这一时机至关重要:在局部看来,不安全的操作延续往往显得“看似合理”,但随着累积偏差、精度约束失效或连锁错误的发生,安全恢复的窗口期最终会彻底丧失。
与那种因风险不可接受而要求系统暂时交出控制权的人工干预模式不同,交互式修正提供了一种干扰性较小、无需完全移交控制权的替代方案。在这种模式下,机器人始终保持在控制回路中,利用外部反馈修复局部故障,从而防止故障蔓延导致整个任务失败。持续的人工干预不仅成本极高,还会导致操作效率低下,因此保持部分自主性至关重要。在长时程操作任务中,许多执行错误(无论是前提条件违背、中间目标定义不明确,还是局部控制轨迹需要微调)若能在影响范围尚小时得到处理,通常都具有很高的可恢复性。因此,修正方法直接针对当前的故障点进行处理,从而维持了系统的整体自主性,避免了从零开始重新执行任务(Celemin,2022)。
运行时策略引导已涵盖一类重要的故障前干预措施:即在当前任务结构依然有效的情况下,系统能够验证或调整后续动作,从而避免不安全结果的发生。然而,长时程执行过程中的故障往往具有更深层的结构性特征。当问题不再仅仅是“下一个动作略显不安全”,而是涉及当前子任务、执行顺序或时间约束的逻辑不一致时,仅在既有任务结构内进行引导便显得力不从心。因此,必须引入重规划机制,将调整层面从动作级提升至任务级,通过修改当前执行序列、控制代码或约束规范,使系统能够基于变更后的状况恢复执行。从具体操作层面看,这一理念包含两种截然不同的模式:主动重规划(在预期故障显现前预先调整动作序列)与被动重规划(在物理故障发生后动态生成新的操作动作以规避故障)。
与“重新规划”(即假设仅需修改当前执行序列便足以挽救既定目标)不同,运行时自适应的最高层级旨在应对那种导致整体任务结构崩溃的系统性故障。在此阶段,局部的修正或序列路径调整已不再奏效,必须进行全面的任务恢复。一旦任务进展陷入根本性停滞,系统就必须明确识别出可恢复的状态,或制定专门的恢复策略,以便在不放弃整个任务周期(episode)的前提下挽救长程任务。这种区分至关重要,因为长程任务中的故障往往具有路径依赖性:一旦前提条件不再满足或物体位置严重错位,能否安全地继续执行,便取决于能否恢复任务的整体架构,而不仅仅是简单地更换下一步动作。
3 接触过程中的物理交互安全性
当操作任务涉及物理接触时,确保执行阶段的安全性会变得极具挑战性。在这一前沿领域,核心问题已从“机器人是否遵循了正确的符号化规划”转变为“执行的动作是否能根据力限制、摩擦或滑移的不确定性以及复杂几何形状,对运动进行安全调节”。许多不可逆的故障都发生在这些接触关键环节:看似正确的动作可能导致插入过程卡死、抓取过载,或者因短暂的交互控制不当而导致任务失稳。
因此,将接触视为一个独特且专门的安全范畴,而不仅仅是通用恢复机制的延伸。主要分析三种不断演进的范式:首先是“自适应柔顺性”(adaptive compliance),即针对交互力进行柔性让步;其次是“形式化约束”(formal constraints),即通过强制执行严格边界来防止灾难性的过载;最后是“分层细化”(hierarchical refinement),即在多个时间尺度上从结构层面协调这些具备接触感知能力的机制。尽管近期关于“接触-密集型安全学习”的综述(Samadikhoshkho,2025;Tsuji,2025;Zhang,2025b)证实了这是一个紧密相关且广泛的研究领域,但本文目标始终明确:评估现有证据究竟证明长程操作(long-horizon manipulation)系统中的物理交互安全性,并明确当前研究中存在的关键空白。
柔顺性与力-觉察的自适应,代表了物理交互安全性中限制最少的一端。其目标是确保执行过程具备足够的响应能力,从而避免因物理接触而导致过载、卡滞、插入不稳定或物体遭受灾难性损坏。长时程操作往往恰恰在这些物理瓶颈处遭遇失败:即便动作在语义层面完美无瑕,若机器人执行时过于僵硬、对力突变反应迟钝,或仅依赖视觉来推断接触状态,该动作仍可能变得不安全。
当柔顺控制与力-觉察的自适应机制不足以应对时,约束性接触调节便会介入。此时,控制目标从平滑接触过程转变为对物理交互施加明确且不可逾越的限制。这一点至关重要,因为在长时程操作任务中,许多接触相关的失效后果往往是不可逆的:瞬时的力过载、不安全的接触状态切换或执行不当的避障动作,都可能导致物体永久性损坏,或使任务状态陷入无法挽回的失控局面。
提升具备接触-觉察能力的安全性能,往往不能仅靠顺应力(柔顺性)或限制力(约束);鉴于接触相关的底层控制所需的响应速度远快于高层任务规划推理,解决这一问题需要从结构层面应对“缓慢的语义推理”与“快速的物理动态”之间固有的时间尺度不匹配。最终形成的接触安全范式将涉及频繁接触的执行过程,定义为在物理瓶颈处进行分层调度与细化的挑战。在这种解耦架构中,标称策略负责引导自由空间中的粗略语义进展,而一个高响应性的辅助机制则在接触发生时接管控制,以稳定局部几何形态、力或对齐状态的偏差。在此类场景下,即便语义规划推理得完美无缺,若缺乏在恰当时间尺度及力-位权衡下运作的接触-觉察物理校正机制,最终仍将导致失败。
前文回顾安全机制在具身智能流程中的介入时机:规划阶段、策略阶段和执行阶段。这里将探讨现有基准测试与评估协议所提供的证据性质。其将评估视为一种透镜,借此解读所报告的安全评分究竟证实了什么,以及这些安全主张的适用边界何在。
这种区分至关重要,因为任务的表面成功与安全执行并不等同。机器人可能在完成长时程操作任务的同时,伴随着不稳定的抓取、过大的接触力、险些发生的事故(near misses)或滞后的干预。反之,如果机器人能及早发现风险、规避危害并保持可恢复的状态,即便任务最终失败,也属于“安全失败”。因此,安全评估的核心问题不仅在于任务最终是否成功,更在于过程中发生了哪些与安全相关的事件:这些事件何时显现、由哪个层级做出响应,以及采取的缓解或恢复措施是否成功避免了致命后果。
因此其既分析提供可复现任务与指标的专用基准测试,也考察针对特定方法的评估框架——因为即便缺乏通用的测试套件,后者的评估方式往往也会塑造人们对安全性的认知。探讨的几个方面包括:现有基准测试中能力与安全性之间的差距;具备安全意识的评估归类为规划层、策略层、运行时层和接触层的证据;为何这些针对特定层级的安全主张尚不足以构成跨层级的过程性安全证据。
1 结果导向型与诊断型操控基准
面向能力的操控基准主要规范结果层面的证据,即评估智体是否完成了任务、达到了目标状态,或在长程序列中取得了进展。尽管此类证据对于比较功能表现至关重要,但它并不等同于安全保障,因为在“最终成功与否”这一二元评价指标下,不安全的中间行为往往难以被察觉。当前的评估体系存在两方面局限:首先,主流基准侧重于能力而非安全性;其次,新兴的关注安全的基准所提供的证据形式各异,若缺乏对评估对象的明确定义,便难以进行比较。
2 包含干预层级的安全证据
针对具身智能流程中不同层级的“证据对象”,安全评估方法已得到相应发展。这种划分并不意味着某个基准测试或评估协议仅限于单一层级,而是旨在明确安全主张所依据的核心对象。规划层级评估,侧重于评估任务规范、生成的规划方案、约束条件以及在执行前的“不安全规划”剔除机制。执行层级评估,考察由策略生成的轨迹是否同时满足任务目标与辅助安全条件。运行时层级评估,关注机器人实际运行过程中的检测、干预与恢复能力。接触层级评估,则量化各项物理交互指标,如作用力、滑移、冲量、碰撞或接触稳定性。
规划层面的安全性评估(证据)旨在考察能否在物理执行之前识别出不安全或无效的任务表征。在此阶段,评估对象可以是任务提示(prompt)、生成的规划、约束集合或形式化规范。规划层面的评估能够在流程早期发现不安全的意图、无效的任务分解、约束违规或与规范不符的情况。早期的基于语言的规划系统虽未明确引入安全性指标,但通过关注可执行性、规划有效性及符号一致性,解决了与安全性相关的规划质量问题(Ahn et al. 2023; Huang et al. 2022a; Singh et al. 2023)。基于affordance的规划、动作词汇限制、程序化接口以及结构化规划问题等方法,均有助于减少无效或不可执行的规划输出。这些标准固然重要,因为它们能防止某些不可行的规划进入执行阶段,但它们并不能保证规划在实际执行时依然保持物理安全性。
“策略层面的证据”旨在评估那些在向环境执行动作之前、用于塑造操作策略的机制所带来的安全影响。值得注意的是,许多“策略阶段”的方法评估的是由预干预措施(如安全强化学习或约束解码)所产生的行为结果,而非直接对单个动作建议进行评分。因此,尽管干预发生在“策略阶段”,但其衡量指标仍属于“行为”层面。此类证据归纳为三个维度:基于约束的证据、基于对齐的证据以及风险压力下的行为表现。
运行时层面的证据用于评估系统在执行过程中的运行行为。该层面侧重于考察系统在部署过程中能否检测出偏离正常运行状态的情况、触发干预措施以及恢复任务进度。与后续的接触层面评估(侧重于测量力或压力等物理量)不同,运行时层面的证据是衡量运行安全性的指标,反映了机器人监控并修正自身执行过程的能力。此类证据归纳为四个维度:包含丰富故障案例的数据集、故障检测与预警、干预与决策推迟,以及故障后的恢复或重规划。
在当前的评估方法中,接触层面的证据最接近于直接评估物理安全性。接触层面的指标能够量化与伤害或破坏任务的交互行为直接相关的物理量,例如接触力、冲量、力矩、滑移或接触稳定性。对于长时程操作任务而言,此类证据尤为重要;因为即便语义层面的动作指令是正确的,若在执行过程中伴随过大的刚性、不稳定的抓取或控制不当的接触,仍可能导致不安全后果。
前文主要探讨在规划、策略、执行和评估阶段,通过各自独立的安全机制来实现安全的长程操作。然而,这些机制提供的安全依据往往局限于其所在的层级:例如,一个经过验证的任务规划在转化为动作抽象时,其安全性可能受到削弱;受约束的策略在涉及复杂接触的执行过程中或在“仿真到现实”(sim-to-real)的迁移中可能失效;而运行时监控器也可能在超出其校准范围的情况下运行。
如图6所示,从两个互补的角度概述未来的研究课题与机遇。

首先,基于现有的机器人安全文献,指出了实现跨层级安全性的潜在途径。这些途径强调了若干关键的层级间接口:在这些接口处,现有的针对特定层级的方法虽能提供部分安全依据,却尚无法支撑起一个连贯的端到端安全论证。
其次,将视野扩展至相关的安全研究领域,探讨长程具身任务如何从这些邻近领域的进展中获益。语义与多模态安全、部署保障与事故经验学习,以及数据、仿真与评估基础设施等,均有望提供有益的概念与工具。
综合来看,这些方向指向“基于证据-标定的跨层级安全”:这并非单一的安全保证,而是一种规范化的方法,旨在组合各种有界限的安全主张,监控其前提假设,并在机器人脱离这些主张成立的适用条件时对其进行修正。
1 长时程操作任务中的跨层安全研究方向
前文已探讨了规划阶段、策略阶段及执行阶段的安全机制。这里重点阐述贯穿各层级的更广泛的安全保障路径。这些路径涵盖了以下议题:如何在抽象层级转换中保留安全相关信息;如何确保安全验证依据在从仿真与基准测试环境迁移至真实硬件时依然有效;如何在不同的物理具身(embodiment)与模态(modality)下重新验证安全主张;如何在数据分布发生偏移时校准不确定性信号;以及如何在长时程任务执行过程中实现过程性安全的可观测性。上述方向并非旨在提供现成的完整解决方案,而是作为切实可行的研究路径,致力于将各层级的局部安全保障转化为更具说服力的跨层安全验证依据。
首要途径是改进安全相关信息在任务跨越抽象层级时的保存方式。在长时程操作中,安全约束很少能始终保持在同一表征形式中。一条自然语言指令可能演变为具体的任务描述、符号目标、时间逻辑约束、空间或对象中心约束、轨迹段,最终演变为包含丰富接触的物理交互。在每个边界处,安全相关信息都可能被削弱或丢失:语义意图可能与物理可行性分离,符号约束可能与几何边界分离,高层级的进度结构可能与接触限制分离。
第二种途径是将“仿真到现实”(sim-to-real)的迁移视为一个涉及安全证据的问题,而不仅仅是性能迁移的问题。许多操作策略和安全机制是在仿真器、精选基准测试集或受限的实验室环境中开发的,在这些环境下,感知、动力学、物体属性以及干预时机都更易于控制。然而,当同一策略部署到实际硬件上时,由于感知噪声、接触物理特性、执行器限制或物体差异等因素的变化,原本在仿真中得到支持的安全主张可能会被削弱甚至失效。
第三种途径是将能力迁移与安全特性迁移分离开来。大规模机器人数据集和通用策略正日益支持跨任务、传感器、动作空间及机器人形态的迁移。近期出现的大规模机器人数据集和基础通用策略极大地丰富了训练数据的多样性,并实现了跨不同平台的无缝适配(O’Neill,2024;Khazatsky,2024;Octo Model Team,2024;Kim,2024b)。这一趋势对于实现可扩展的操作能力至关重要,但也引发了一个新的安全问题:当策略、表征、奖励模型或安全先验被复用于新平台时,原有的安全保证中有哪些部分依然有效?
答案很可能因抽象层级的不同而有所差异。语义先验(例如避开人类或谨慎处理易碎物品)可能比物理约束更容易迁移。空间约束必须基于目标机器人的几何结构、传感器标定、运动学可行性、负载能力及末端工具配置进行重新映射与适配。与接触相关的安全保证则更高度依赖于具体的机器人形态,受限于夹爪柔顺性、触觉-觉察及执行器极限等条件。近期关于力-觉察与触觉-觉察 VLA模型的研究凸显常规 VLA 表征中缺失了大量关于物理交互的信息(Yu,2025b;Zhang,2025f;Huang,2025b;Zhao,2026;Li,2026c)。
模型更新也会带来类似的重新验证问题。VLA策略可能会基于新数据进行微调、蒸馏、对齐或后训练。例如,奖励模型可能根据新的偏好进行更新,或者故障检测器可能基于新的运行轨迹(rollouts)进行重新校准。每一次更新在提升能力的同时,也可能改变动作分布、置信度评分或干预触发机制。因此,未来的研究应当明确界定重新验证的适用范围,特别是在机器人本体、传感器系统、动作空间、数据集或策略模型发生变更时。此外,针对不同机器人具身(embodiments)降低重新验证的负担,也是实现通用机器人模型规模化应用的关键研究方向。
第四种途径是在不同层级和部署条件下,对与安全相关的信号进行校准。长时程操作系统日益依赖多种异构的风险指标,例如语言歧义性、视觉定位不确定性、动作置信度、异常评分、故障检测器输出、力阈值以及人工干预记录。尽管这些信号各有价值,但它们所支持的安全论断并不相同。因此,经形式化验证的约束违规、经统计校准的故障检测器输出以及人工修正信号,不应被视为可互换的证据。
最后一种途径是让部署过程(rollout)中的安全状况全程可见,而不仅仅关注最终结果。在长时程操作任务中,机器人虽能最终完成任务,但过程中可能经历险情(near misses)、抓取不稳、接触力过大、干预滞后或处于无法安全继续的恢复状态;反之,即便任务最终失败,若机器人能及早发现问题、避免损坏并保持可恢复状态,该过程仍具有安全意义。因此,核心问题在于:执行轨迹必须记录哪些具体信息,才能有效区分“安全成功”、“安全失败”、“不安全成功”与“不安全失败”?
2 机遇
除了针对操作(manipulation)的特定安全机制研究外,若干相关的安全研究领域也为实现更安全的“长时程具身智能”(long-horizon embodied AI)提供了宝贵机遇。这些领域积累了成熟的概念、工具、数据集及评估方法,能够强化安全体系架构的各个环节。例如,侧重于保障大语言模型(LLM)和视觉-语言模型(VLM)安全性的语义与多模态安全研究,可提供上游机制,用于识别不安全指令、潜任务约束以及语义落地(grounding)过程中的不确定性。此外,关于部署保障与事故经验学习的实践,有助于明确如何在部署后记录、界定、监控及修订安全声明。同时,大规模机器人数据基础设施、仿真平台及场景生成工具,能够提升安全相关证据的可扩展性,并增强跨平台证据的可比性。
语义与多模态安全:机遇首先源于针对通用人工智能(AI)智体、语言模型及多模态基础模型的安全研究。在纯语言系统中,关于对齐与安全的研究已开发出多种机制,通过人类反馈、明确原则、模型生成的评估意见以及输入输出安全防护措施来引导模型行为(Dong et al. 2025)。RLHF风格的指令微调展示了如何利用人类偏好反馈使模型输出与用户意图保持一致(Ouyang et al. 2022);而“宪法AI”(Constitutional AI,Bai et al. 2022b)则阐明了如何运用类似规则的原则来评估并修正模型行为,从而降低对人工直接标注的依赖。Llama Guard(Inan et al. 2023)等安全护栏模型进一步证明,安全策略可转化为风险分类体系及输入输出分类器;同时,MM-SafetyBench(Liu et al. 2024d)等多模态安全基准则凸显一个问题:即便视觉语言模型(VLM)的语言主干已完成安全对齐,它们在面对不安全的图文组合时仍可能存在脆弱性。
部署保障与事故经验学习:第二个机遇源于系统安全、人工智能(AI)治理及保障工程(assurance engineering)等领域。在安全攸关的领域,只有当系统的安全主张、假设、证据、风险及运行边界均已明确记录并得到维护时,该系统方可部署。诸如目标结构化表示法(Goal Structuring Notation,SCSC Assurance Case Working Group 2021)、UL 4600 等自主系统标准(UL Standards & Engagement 2022)以及 AMLAS 等机器学习保障流程(Hawkins et al. 2021),均强调安全证据必须围绕明确的主张进行构建,而非仅仅报告基准性能指标。对于长时程具身智能(embodied AI)任务而言,这意味着有机会从局部的性能主张转向可审计的部署论证。
大规模数据、仿真与评估基础设施:第三个机遇在于用于收集、整理、仿真及评估机器人安全相关经验的基础设施。近期的大规模数据计划表明,操作(manipulation)领域的研究重心正从孤立的任务演示转向共享的、跨环境及跨具身(multi-embodiment)的数据生态系统。RoboNet、BridgeData V2、Open X-Embodiment、DROID、RH20T 和 AgiBot World 等数据集(Dasari et al. 2020; Walke et al. 2023; O’Neill et al. 2024; Khazatsky et al. 2024; Fang et al. 2024; Bu et al. 2025)显著扩展了机器人经验的规模与多样性;与此同时,Octo 和 OpenVLA 等通用策略(Octo Model Team et al. 2024; Kim et al. 2024b)展示了此类数据如何支持跨任务、跨传感器及跨具身的广泛预训练与适应。这种向数据规模化发展的趋势为提升安全性提供了重要契机,因为更广泛的数据覆盖有望减少由常规分布飘移(distribution shifts)引发的脆弱行为。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐



所有评论(0)