面向长程任务的安全具身智能：机器人操作的跨层分析（上）

硅谷秋水

14人浏览 · 2026-07-07 00:15:00

硅谷秋水 · 2026-07-07 00:15:00 发布

26年6月来自韩国UNIST和首尔大学的论文“Safe Embodied AI for Long-horizon Tasks: A Cross-layer Analysis of Robotic Manipulation”。

人们日益期望具身人工智能（Embodied AI）系统能够在物理环境中进行长时程（long-horizon）的推理与行动。这种能力的提升使得安全性问题变得至关重要，因为物理世界中的故障可能导致人员受伤、物体损坏及工作场所秩序混乱。尽管安全具身人工智能已备受关注，但相关研究在规划、策略设计和运行时执行等层面仍显得较为分散。长时程机器人操作是探讨这一问题的典型领域，因为语义映射偏差、子任务层面的错误传播、执行偏差以及涉及复杂接触的物理风险，都可能在同一个闭环系统中累积。因此，本文从具身人工智能的视角，对长时程机器人操作中的安全性问题进行系统性综述。

其根据干预发生的阶段（规划阶段、策略阶段及执行阶段）对现有文献进行分类，并分析各类研究所提供的证据强度，区分形式化保证、统计学支持以及经验性安全启发式方法。该框架明确基础能力研究、直接安全机制以及基准测试或评估研究各自的角色，同时也揭示哪些安全主张有充分依据，而哪些仍缺乏直接支持。其指出当前存在的若干缺口，包括策略阶段安全性的证据不足、针对复杂接触长时程操作的形式化支持薄弱、由不确定性触发的干预机制尚不成熟，以及缺乏针对操作任务的专用安全基准测试。最后，展望未来的研究方向，重点关注跨层级安全保障、评估体系设计以及长时程机器人智体在现实世界中的更安全部署。

具身智能（Embodied AI）系统正日益部署于开放且具有实际物理影响的环境中。随着机器人技术与基础模型、视觉-语言-动作（VLA）系统及通用智体架构的深度融合，核心挑战已发生转变：关键问题不再是这些系统能否完成任务，而是在现实世界中能否安全地完成任务（Liu et al. 2025c; Firoozi et al. 2025; Hu et al. 2023; Kawaharazuka et al. 2025）。这种紧迫性源于具身系统不仅仅生成预测或内容；它们的输出会驱动硬件、操纵物体、与物理世界发生接触，并能直接影响人类及周围环境。因此，具身智能的安全性必须被视为系统的核心属性，而非事后附加的可选约束。

核心难点不仅在于机器人可能发生故障，更在于长程（long-horizon）具身系统可能以具有滞后性、累积性和部分可观测性的方式发生故障（Ross et al. 2011）。错误可能始于语义映射偏差或视觉幻觉（Zhou et al. 2024b; Zhai et al. 2023），经由定义不明确的规划目标或策略层面的不匹配而扩散，最终在机器人面临不确定性、干扰或环境变化并进行高频接触交互的后续阶段才显现出来（Ravichandran et al. 2026; Feng et al. 2025b; Ouyang et al. 2025; Song et al. 2025）。因此，系统可能在局部表现良好，同时却在不断累积隐性风险。图1展示了这一背景：长程操作任务中的安全性并非局限于单一模块，而是源于语义映射、动作生成、执行过程与物理反馈之间的相互作用。
请添加图片描述

在本综述中，采用广义的具身安全概念。安全性不仅限于即时的避障或避免超出作用力阈值，还涵盖了可能引发物理、操作或针对人类的风险，或者在长程任务执行过程中导致任务可恢复性不可逆恶化的各类安全相关故障。尽管机器人学习、控制理论和可靠人工智能（Reliable AI）领域的现有文献已阐明了具身智能（Embodied AI）中安全性的某些特定方面，但大多数研究工作仍处于零散状态，缺乏一个整体性框架。安全控制与运行时屏蔽（runtime shielding）技术为在已知动力学模型下的底层约束满足提供了严谨的工具（Ames et al. 2019; Bansal et al. 2017; Wabersich et al. 2023; Hwang et al. 2024）；与此同时，安全强化学习（Safe RL）则侧重于具备约束感知能力的探索与策略部署（Liu et al. 2022, 2025a; Ji et al. 2024b; Gu et al. 2024）。此外，关于对齐（alignment）与护栏机制（guardrails）的研究涵盖了多模态安全问题，包括应对有害指令及行为约束（Bai et al. 2022a; Ji et al. 2023a, 2024a; Inan et al. 2023; Chi et al. 2024）。再者，物理层面的安全性受 ISO 10218 和 ANSI/RIA R15.06 等工业标准的规范（International Organization for Standardization 2025; Robotic Industries Association 2012）。尽管取得了上述进展，这些领域的研究通常是相互独立的；然而，许多具身智能系统的失效恰恰源于这些层面之间未被充分考量的相互作用。本综述旨在梳理这一分散的研究图景，分析不同方法论如何界定安全性，并明确分析与支撑具身智能端到端安全性所需的各项整合要素。

本综述并不试图对具身智能安全性的所有方面进行详尽回顾，而是将“长时程机器人操作任务”（long-horizon robotic manipulation）作为分析重点，以此作为切入这一复杂领域的关键锚点。其并未将操作任务简单地视为更广泛领域的一个粗浅替代；之所以采用它，是因为它集中体现了在其他领域中往往相互独立的几类安全挑战：语义任务规范（Ahn et al. 2023; Huang et al. 2023）、跨子任务的延迟错误传播（Yang et al. 2026; Huang et al. 2026a）、涉及频繁接触的物理交互（He et al. 2025; Yu et al. 2025b），以及即便任务表面上成功完成却依然存在的潜在不安全行为（Zhang et al. 2025d; Lu et al. 2026）。例如，操作序列早期的语义落地（grounding）或规划错误可能处于潜状态，直到后续与物体的交互触发故障（Guo et al. 2024）。因此，操作任务构成了检验跨层级安全主张的一项严苛压力测试。

在整个具身智能（Embodied AI）领域评估安全性时，还需要区分任务领域与机器人平台。具身智能涵盖了多个机器人学领域，包括导航（Shah et al. 2023）、足式运动（Lee et al. 2020）和操作（Ahn et al. 2023）。这些领域与机器人平台或应用类别有所不同：人形机器人（Cao 2025）、移动操作机器人（Ghodsian et al. 2023）、服务机器人（Nanavati et al. 2023）和自动驾驶车辆（Bathla et al. 2022）等平台，都可以在单一的部署系统中实现或结合上述多个领域的功能。

长程机器人操作（long-horizon robotic manipulation）中的安全性不能仅仅视为某个独立模块或指标的属性，而必须理解为整个系统的一种涌现特性。任务在多个阶段都可能变得不安全，例如：指令含糊不清、目标映射（grounding）错误、子任务序列中违反了隐含的前置条件，或策略目标不匹配。即便在执行过程中，安全性也可能因不确定性导致的偏差，或因过大作用力、卡滞、损坏等危险物理交互而受损。因此，某种在单一层面上提升安全性的方法，并不能从本质上保证整个具身系统（embodied system）的安全性。

鉴于此，本文将安全性视为一个跨层级的安全评估问题。核心探讨不仅关注机器人是否完成了任务，更着眼于安全假设在何处引入、如何在系统中演变，以及有哪些证据支持由此得出的安全结论。这种视角对于长程操作至关重要，因为其中的风险往往具有滞后性和组合性：一个看似合理的局部目标解读可能导致不安全的规划；而一个有效的规划，也可能引发不安全的操作建议或不可恢复的接触错误。

在本综述中，“安全性”是指针对长程任务中可能导致人身伤害、物体损坏、违反特定约束或陷入不可恢复任务状态的故障，进行预防、检测和缓解。这涵盖了以下方面：(i) 物理安全：涉及对人类、机器人、被操作物体或环境造成的伤害；(ii) 流程安全：涉及在任务执行全过程中维护任务顺序、前置条件、约束条件及可恢复状态；(iii) 运行安全：涉及避免进入那种继续自主执行变得不安全或不再合理的状态；以及 (iv) 语义安全：涉及危险指令、目标映射错误、虚构的affordances或被遗漏的约束条件，这些因素可能使原本看似合理的执行过程变得不安全。这些类别构成了长程具身智能系统安全性中各不相同且相互独立的组成部分。因此，本综述深入探讨了针对性的细粒度安全措施，以应对长程任务挑战（在机器人操作中尤为明显）所带来的风险。

这种界定也决定了处理相关概念的方式。可靠性、鲁棒性和对齐（alignment）本身并不直接构成安全性的证据；只有当明确关联到降低危害、避免不安全状态或缓解故障传播时，它们才符合相关定义。同样，诸如对抗性攻击、数据投毒、提示词注入、越狱、模型窃取以及通用机器人网络安全等议题，也不在本次综述的独立探讨范围内。尽管这些问题至关重要，但它们主要涉及安全边界，而非功能安全。

本文相关文献的梳理主要围绕两个维度展开：
• 干预环节（Intervention locus）：明确安全机制介入流程的具体阶段——即部署前、动作生成期间或物理执行期间。
• 证据边界（Evidence boundary）：界定所报告安全成效的适用范围与局限性。

为支撑上述维度，采用“风险压力”（risk pressures）作为描述性术语，将具体机制与其所应对的安全问题联系起来。图2总结了干预环节这一视角。
请添加图片描述

本综述的第二个主要维度是证据界限。文献中关于安全性的主张，不仅在作用机制上各不相同，其支撑证据的严谨程度也存在差异。为避免夸大主张，本综述利用表3中总结的分类体系，将证据的严谨程度与其适用的对象区分开来。
请添加图片描述

就严谨程度而言，将安全性证据分为三大类：形式化证据、统计性证据和经验性证据。如表3详述，这些类别构成了一个保证程度的谱系——从形式化方法所提供的已证实正确性，到基准测试驱动的经验性研究所观察到的结果。为保持一致性，根据论文分析或验证所直接支持的最强安全性主张，将其归入相应的证据类别。若某项研究基于明确假设（如定理、证书或约束满足的逻辑验证）推导出确定性的安全结论，则视为提供了形式化证据；若其支持概率性的安全表述（如针对安全相关事件的校准风险估计、置信界限或机会约束保证），则视为提供了统计性证据；若其主要通过仿真、数据集、基准测试或案例研究中观察到的行为来支持安全性，且不具备形式化或概率性保证，则视为提供了经验性证据。尽管形式化保证能提供最强的局部主张，但其本质上受限于抽象鸿沟；相比之下，经验性证据虽能提供关于行为的实用见解，却缺乏针对长尾风险的内在泛化能力。

除了干预环节和证据边界外，本文还确定一系列具有代表性的安全关切，这些关切界定了不同机制旨在解决的问题。至关重要的是，必须将这些安全关切（即可能导致失效的潜在状况）与安全机制（如监测、屏蔽或恢复）区分开来；后者是系统针对上述状况所采取的应对措施。某种机制之所以失效，其关键在于它导致潜在隐患未能得到缓解或无法恢复。

规划阶段的安全性关注的是在行为实际执行之前就已发生的故障，即语义或规范层面的错误最初转化为下游物理风险的时刻。在这一阶段，系统需要确定实际要求的任务是什么、哪些约束条件定义了该任务，以及由此生成的规划结构是否足够连贯合理，从而值得付诸执行。该层面的错误可能通过两种截然不同但又相互关联的方式传播：目标解读或约束构建方面的失误可能导致任务规范错误，而规划结构方面的失误则可能产生无效或不安全的任务序列。因此，规划阶段的安全性关注的是在执行开始前必须进行安全干预的环节，以及哪些规划对象必须尽早确保其正确性、可审查性和可执行性，以防止后续出现物理故障。

图 3 总结了这一演进过程，展示了涵盖基础构建、规划结构化以及空间/模型支持各阶段的主要规划对象及对故障敏感的接口。

主要探讨的内容分成三步，包括：1）安全任务展开（rollout）所需的基础性假设，包括目标、初始状态、约束条件及可执行任务意图的构建方式；2）如何通过分解、规范化、验证及可执行性检查，将已确立基础的任务转化为长时程规划结构；3）在执行前，如何通过未来状态预测、基于场景的空间约束设定以及运动可行性推理，使经过验证的规划方案更贴近物理世界。
请添加图片描述

1 目标与任务规范的具体化

为了确保部署安全，系统必须首先将目标、初始世界状态及相关约束具体化为下游规划模块能够实际使用的任务规范。如果目标、状态或约束的具体化有误，那么后续的正确性检查和运行时安全机制从一开始便是在错误的任务对象上进行操作。因此，探讨内容是：目标与初始状态的具体化、确定哪些约束应纳入任务规范，以及最终将具体化后的任务意图映射为可执行接口的过程。

2 长程规划的构建与验证

尽管确立了必须作为任务规范进行具体落实的内容，下面要探讨的是：如何将该规范组织成可验证的长程规划。即便任务已得到完美落实，若子目标的排序缺乏连贯性、时间约束定义不明确，或验证检查未能对规划形成有效制约，仍可能导致结构性失效或逻辑死锁。因此，需要分析的是：子任务分解、形式化时空规范的制定，以及执行前的验证。

3 基于空间与模型的规划支持

尽管定义了任务的语义意图，并将其组织为逻辑上已验证的序列，但在规划阶段仍面临一项本质上属于物理层面的挑战：即在执行开始前，将这一抽象序列转化为一种基于场景且运动可行的规范。第三步需要通过三种互补机制来应对这一转变。首先，世界模型和预见性方法将未来状态预测引入规划循环。其次，空间与以物体为中心的表征明确了规划在场景中的具体作用位置。最后，集成式任务与运动规划（TAMP）将上述要素与关于抓取、运动学及碰撞的显式推理结合起来。

长时程操作任务中的失败，往往始于微小的状态漂移或子任务转换不匹配，而非表现为立即可见的碰撞或不可行的动作。因此，稳健的执行前评估不能仅判断紧接的下一步操作是否可行，还必须预估该步骤可能产生的中间状态。世界模型与前瞻性方法通过将对未来状态的预期直接融入规划阶段的风险分析之中，从而满足了这一需求。

尽管逻辑上有效的符号化规划规定了动作序列，但它并未确定执行这些动作所需的物理操作点或空间关系。在长程任务中，即便子任务标签相同，若抓取对象的部位或目标相对位姿不同，其可达性、接触稳定性及放置结果也可能截然不同。因此，完整的规划规范不仅需要明确“做什么”，还必须精确指定“在何处”执行动作。

为了实现物理执行，系统还必须确定实现任务所需的具体抓取方式、位姿以及避障轨迹。其核心操作在于将具象化的任务意图综合为一种统一的表征，从而将符号结构与连续几何约束有机结合起来。

“策略执行阶段的安全性”（policy-time safety）关注的是操作策略在向物理环境提交下一个动作之前是如何形成的——例如在强化学习（RL）或模仿学习（IL）的训练过程中。如果说前面评估的是抽象任务表述中的安全相关风险，那么现在则侧重于策略层本身：即在决策时刻，候选动作、子任务转换以及习得偏好是如何生成的。在“高层规划+底层控制”这一标准双层架构下，这涵盖了策略的动作生成阶段，以及用于修改策略允许提出动作的“包装器”（wrappers）（Liu et al. 2025c）。

如图4所示策略执行阶段安全性的概览。1）定义可用的策略类（Π），考察决定策略输出内容的基础架构、动作空间、可执行接口及上下文结构。2）关注显式约束（𝐶_𝑖 (𝜋)），探讨解码、学习和序列生成过程如何受到限制，以阻断不安全的动作提议。3）探讨目标塑造（𝐽_obj），即如何将安全性直接融入策略训练的偏好之中。4）分析长程操作任务如何改变策略执行阶段的失效结构，重点关注程序性进展、阶段转换以及风险的滞后累积。

请添加图片描述

需要注意的是，策略执行阶段的安全性主要关注动作提交前的程序性和语义性风险，其层级低于规划阶段安全机制中所涉及的抽象任务级考量。当对齐（alignment）、鲁棒性（robustness）和奖励塑造（reward shaping）与降低危害、满足约束、抑制不安全提议或缓解失效传播明确相关时，它们便被视为安全性的佐证。

1 策略类、接口与长时程上下文

在策略底层架构层面，定义策略类 Π 时，不能仅关注任务性能，还需考量主干网络为“安全塑形”（safety shaping）所提供的预承诺结构。策略可以呈现多种动作表征形式，例如连续控制量、离散动作tokens，或是技能调用、程序代码行等更高层级的可执行接口。这些架构层面的选择至关重要，因为它们决定了哪些候选动作能够被表征、哪些动作格式可受约束，以及在动作承诺前能够采用何种形式的策略运行期塑形。

2 约束-觉察策略生成

约束-觉察策略生成侧重于构建策略，旨在候选策略空间内限制或过滤不安全行为，或者降低此类行为发生的可能性。尽管已定义可用的动作表示与接口，这里将探讨如何对这些要素实施主动限制。具体分为两个步骤：首先回顾在策略生成阶段直接注入约束的方法，随后探讨在训练过程中将这些安全结构内化的约束学习与安全优化方法。这些机制共同提供不同强度的安全保障，涵盖从基于显式形式化模型的规范相关限制，到针对不安全候选动作的经验性减少等多种形式。

约束注入（Constraint injection）是在执行前强制实施特定约束或拦截特定不安全提议的最直接方法。这些方法不单纯依赖训练数据分布来规避不安全行为，而是主动限制了动作空间。根据策略接口的不同，其实现形式多种多样：例如，在明确的时间约束下对token化的后续生成内容进行掩码处理或降低权重（Kapoor et al. 2025）；将生成的程序行与可用 API 进行比对，或执行类似断言的符号状态检查（Singh et al. 2023）；以及通过安全层、投影操作或可微分优化模块来修改连续动作（Dalal et al. 2018; Amos et al. 2018）。然而，其安全覆盖范围始终严格受限于所建模规则的准确性、系统接口特性以及规范本身的质量。

虽然“约束注入”是在决策时刻过滤不安全动作，但“约束学习”则致力于将安全性直接融入策略优化过程。这种范式从根本上改变了策略的训练方式，旨在从底层将与安全相关的约束内化到学习的参数之中。约束学习通常通过两种主要途径实现：将显式安全约束纳入奖励模型，或者利用形式化安全证书主动引导策略的学习与探索。

3 对齐与目标塑造

明确的约束条件可以在策略执行前阻断某些不安全的候选动作，但它们本身并不能决定目标函数具体奖励哪些行为。这对安全性至关重要，因为策略执行期间的风险不仅限于即时的物理碰撞，还包括语义层面的不对齐、面向人类时的不安全行为，以及目标设定不当（即目标误设）——后者会增加有害或灾难性偏离预期的行为随时间推移而发生的可能性。因此，这里重点从动作空间的明确限制转向目标塑造，探讨如何通过设计奖励、偏好和反馈机制，降低策略倾向于采取不安全、语义不对齐或不符合人类偏好行为的风险。在长时程操作任务中，这一点尤为重要，因为许多失败并非源于某个明显的无效动作，而是源于目标设定不当。